E-MapReduce（EMR）クラスターは、マスター、コア、タスクの 3 つのカテゴリのノードで構成されます。
- マスターノード: Hadoop HDFS の NameNode プロセスと Hadoop YARN の ResourceManager プロセスを実行します。
- コアノード: Hadoop HDFS の DataNode プロセスと Hadoop YARN の NodeManager プロセスを実行します。
- タスクノード: Hadoop YARN の NodeManager プロセスを実行し、計算のみを実行します。
マスターノード
マスターノードには、Hadoop YARN の ResourceManager など、クラスターサービスの管理コンポーネントがデプロイされています。
Web UI にアクセスして、クラスター内のサービスの実行状況を表示できます。クラスターでジョブをテストまたは実行するには、マスターノードに接続し、コマンドラインでジョブを送信します。マスターノードへの接続方法の詳細については、クラスターへのログオンをご参照ください。
コアノード
クラスター内のコアノードは、マスターノードによって管理されます。コアノードは、Hadoop HDFS の DataNode プロセスを実行して、クラスターのすべてのデータを保存します。また、Hadoop YARN の NodeManager などのコンピューティングサービスプロセスを実行して、コンピューティングタスクを実行します。
データストレージとコンピューティングワークロードの増加に対応するために、クラスターの実行に影響を与えることなく、いつでもコアノードをスケールアウトできます。コアノードは、異なるストレージメディアを使用してデータを保存できます。詳細については、ローカルディスクおよびブロックストレージの概要をご参照ください。
タスクノード
タスクノードは、コンピューティングタスクのみを実行します。HDFS データの保存には使用できません。クラスターのコアノードが十分なコンピューティング能力を提供している場合、タスクノードは必要ありません。クラスター内のコアノードのコンピューティング能力が不足した場合、いつでもクラスターにタスクノードを追加できます。これらのタスクノードで Hadoop MapReduce タスクと Spark Executor を実行して、追加のコンピューティング能力を提供できます。
タスクノードは、クラスターの実行に影響を与えることなく、いつでもクラスターに追加または削除できます。