このトピックでは、EMR クラスターのさまざまなインスタンスノード上のコンポーネントのデプロイの詳細について説明します。

EMR クラスターを作成すると、コンポーネントは、「インスタンスのタイプ」に基づいてインスタンスノードにデプロイされます。 たとえば、Hadoop HDFS の NameNode コンポーネントはマスターインスタンスノードにデプロイされます。 大規模なクラスターの場合は、ブートストラップアクションを使用して、カスタムのデプロイと割り当てを完了することができます。 たとえば、スタンドアロン ZooKeeper クラスターは、Hive メタストアとして Alibaba Cloud RDS インスタンスを使用します。 次のテーブルでは、さまざまなインスタンスノードで実行されるサービスコンポーネントについて説明します。

Hadoop クラスター

Hadoop クラスターで実行されるサービスコンポーネントのデプロイの詳細
  • 必要なサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    HDFS
    • KMS
    • SecondaryNameNode
    • HttpFS
    • HDFS Client
    • NameNode
    • DataNode
    • HDFS Client
    YARN
    • ResourceManager
    • App Timeline Server
    • JobHistory
    • WebAppProxyServer
    • Yarn Client
    • Yarn Client
    • NodeManager
    Hive
    • Hive MetaStore
    • HiveServer2
    • Hive Client
    		 Hive Client
    Spark ジョブ
    • Spark Client
    • SparkHistory
    • ThriftServer
    		 Spark Client
    Knox Knox N/A
    Zeppelin Zeppelin N/A
    Tez
    • Tomcat
    • Tez Client
    		 Tez Client
    Ganglia
    • Gmond
    • Httpd
    • Gmetad
    • Ganglia Client
    • Gmond
    • Ganglia Client
    Pig Pig Client Pig Client
    Sqoop Sqoop Client Sqoop Client
    Bigboot
    • Bigboot Client
    • Bigboot Monitor
    • Bigboot Client
    • Bigboot Monitor
    OpenLDAP OpenLDAP N/A
    Hue Hue N/A
  • オプションサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    Flume
    • Flume Agent
    • Flume Client
    • Flume Agent
    • Flume Client
    Livy Livy N/A
    Superset Superset N/A
    Flink
    • FlinkHistoryServer
    • Flink Client
    		 Flink Client
    Ranger
    • RangerPlugin
    • RangerAdmin
    • RangerUserSync
    		 RangerPlugin
    Storm
    • Storm Client
    • UI
    • Nimbus
    • ログビューア
    • Storm Client
    • Supervisor
    • Logviewer
    Phoenix Phoneix Client Phoneix Client
    Analytics Zoo
    • Analytics-Zoo-Scala
    • Analytics-Zoo-Python
    • Analytics-Zoo-Scala
    • Analytics-Zoo-Python
    SmartData
    • JindoFS Namespace Service
    • JindoFS Storage Service
    • SmartData Client
    • JindoFS Storage Service
    • SmartData Client
    Kudu
    • Kudu Master
    • Kudu Client
    • Kudu Tserver
    • Kudu Master
    • Kudu Client
    HBase
    • HMaster
    • HBase Client
    • ThriftServer
    • HBase Client
    • HRegionServer
    ZooKeeper
    • ZooKeeper フォロワー
    • ZooKeeper Client
    • ZooKeeper リーダー
    • ZooKeeper フォロワー
    • ZooKeeper Client
    Oozie Oozie N/A
    Presto
    • Presto Client
    • PrestoMaster
    • Presto Client
    • PrestoWorker
    Impala
    • Impala Runtime と Shell
    • Impala Catalog Server
    • Impala StateStore Server
    • Impala Runtime と Shell
    • Impala Daemon Server
    • Impala StateStore Server

Druid クラスター

Druid クラスター上のサービスコンポーネントのデプロイの詳細
  • 必要なサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    Druid
    • Druid クライアント
    • コーディネーター
    • オーバーロード
    • ブローカー
    • MiddleManager
    • Historical
    • Druid Client
    HDFS
    • KMS
    • SecondaryNameNode
    • HttpFS
    • HDFS Client
    • NameNode
    • DataNode
    • HDFS Client
    Ganglia
    • Gmond
    • Httpd
    • Gmetad
    • Ganglia Client
    • Gmond
    • Ganglia Client
    ZooKeeper
    • ZooKeeper フォロワー
    • ZooKeeper Client
    • ZooKeeper リーダー
    • ZooKeeper フォロワー
    • ZooKeeper Client
    OpenLDAP OpenLDAP N/A
  • オプションサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    YARN
    • ResourceManager
    • App Timeline Server
    • JobHistory
    • WebAppProxyServer
    • Yarn Client
    • Yarn Client
    • NodeManager
    Superset Superset N/A

Kafka クラスター

Kafka クラスター上のサービスコンポーネントのデプロイの詳細
  • 必要なサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    Kafka-Manager Kafka Manager N/A
    Kafka
    • Kafka Client
    • KafkaMetadataMonitor
    • Kafka Rest Proxy
    • Kafka Broker コントローラー
    • Kafka Schema Registry
    • Kafka Broker ブローカー
    • Kafka Client
    Ganglia
    • Gmond
    • Httpd
    • Gmetad
    • Ganglia Client
    • Gmond
    • Ganglia Client
    ZooKeeper
    • ZooKeeper フォロワー
    • ZooKeeper Client
    • ZooKeeper リーダー
    • ZooKeeper フォロワー
    • ZooKeeper Client
  • オプションサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    Ranger
    • RangerPlugin
    • RangerUserSync
    • RangerAdmin
    		 RangerPlugin
    Knox Knox N/A
    OpenLDAP OpenLDAP N/A

Zookeeper クラスター

ZooKeeper クラスター上のサービスコンポーネントのデプロイの詳細
サービス名 マスターインスタンスノード コアインスタンスノード
Ganglia N/A
  • Gmond
  • Httpd
  • Gmetad
  • Ganglia Client
ZooKeeper N/A
  • ZooKeeper リーダー
  • ZooKeeper Client
  • ZooKeeper フォロワー

Data Science クラスター

Data Science クラスター上のサービスコンポーネントのデプロイの詳細
  • 必要なサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    HDFS
    • KMS
    • SecondaryNameNode
    • HttpFS
    • HDFS Client
    • NameNode
    • DataNode
    • HDFS Client
    Jupyter Jupyter Jupyter
    Ganglia
    • Gmond
    • Httpd
    • Gmetad
    • Ganglia Client
    • Gmond
    • Ganglia Client
    ZooKeeper
    • ZooKeeper フォロワー
    • ZooKeeper Client
    • ZooKeeper リーダー
    • ZooKeeper フォロワー
    • ZooKeeper Client
    Analytics Zoo
    • Analytics-Zoo-Python
    • Analytics-Zoo-Scala
    • Analytics-Zoo-Python
    • Analytics-Zoo-Scala
    ApacheDS ApacheDS N/A
    Tensorflow on YARN
    • TensorFlow-On-YARN
    • TensorFlow-On-YARN-Gateway
    • TensorFlow-On-YARN-History-Server
    • TensorFlow-On-YARN-Client
    • TensorFlow-On-YARN-Gateway
    Zeppelin Zeppelin N/A
    Spark ジョブ
    • Spark Client
    • ThriftServer
    • SparkHistory
    		 Spark Client
    YARN
    • ResourceManager
    • App Timeline Server
    • JobHistory
    • WebAppProxyServer
    • Yarn Client
    • Yarn Client
    • NodeManager
  • オプションサービス
    サービス名 マスターインスタンスノード コアインスタンスノード
    Hue Hue RangerPlugin
    Hive
    • HiveServer2
    • Hive MetaStore
    • Hive Client
    		 Hive Client
    Tensorflow Tensorflow Tensorflow