このトピックでは、高可用性(HA)ではないクラスターと HA クラスターにおける Hadoop 分散ファイルシステム(HDFS)コンポーネントのデプロイメントトポロジについて説明します。
非 HA クラスター
| ノード | コンポーネント | 説明 |
| master-1-1、または一部のバージョンでは emr-header-1 | NameNode | NameNode は、外部の読み取りおよび書き込みサービスを提供します。 |
| セカンダリ NameNode | セカンダリ NameNode は、NameNode の EditLog ファイルを FsImage ファイルにマージして、NameNode の再起動を高速化します。 | |
| core-1-1 または emr-worker-x | DataNode | DataNode は、ノード上のデータディスクとして機能し、HDFS のデータブロックを管理および格納します。 |
HA クラスター
| ノード | コンポーネント | 説明 |
| master-1-1、または一部のバージョンでは emr-header-1 | ZKFailoverController(ZKFC) | ZKFC は、NameNode のステータスに基づいてプライマリ/セカンダリの選出と切り替えを実行するために動作する独立したプロセスです。 |
| NameNode | NameNode のグループでは、アクティブ状態のプライマリ NameNode が読み取りおよび書き込みサービスを提供し、他のセカンダリ NameNode はスタンバイ状態です。プライマリ NameNode のみが外部の読み取りおよび書き込みサービスを提供できます。 | |
| JournalNode | JournalNode は、NameNode の EditLog ファイルを格納します。ほとんどの場合、3 つの JournalNode がグループとして使用されます。 NameNode は、2 つの JournalNode が正常で、JournalNode にデータを書き込むことができる場合にのみサービスを提供できます。 | |
| ZooKeeper | E-MapReduce(EMR)クラスターの ZooKeeper です。 ZKFC は、ZooKeeper によって提供される機能に基づいて選出を実装します。他のコンポーネントの HA ステータスも ZooKeeper に依存します。 | |
| master-1-2、または一部のバージョンでは emr-header-2 | ZKFC | ZKFC は、NameNode のステータスに基づいてプライマリ/セカンダリの選出と切り替えを実行するために動作する独立したプロセスです。 |
| NameNode | NameNode のグループでは、アクティブ状態のプライマリ NameNode が読み取りおよび書き込みサービスを提供し、他のセカンダリ NameNode はスタンバイ状態です。プライマリ NameNode のみが外部の読み取りおよび書き込みサービスを提供できます。 | |
| JournalNode | JournalNode は、NameNode の EditLog ファイルを格納します。ほとんどの場合、3 つの JournalNode がグループとして使用されます。 NameNode は、2 つの JournalNode が正常で、JournalNode にデータを書き込むことができる場合にのみサービスを提供できます。 | |
| ZooKeeper | EMR クラスターの ZooKeeper です。 ZKFC は、ZooKeeper によって提供される機能に基づいて選出を実装します。他のコンポーネントの HA ステータスも ZooKeeper に依存します。 | |
| master-1-3、または一部のバージョンでは emr-header-3 または emr-worker-1 | *ZKFC | ZKFC は、NameNode のステータスに基づいてプライマリ/セカンダリの選出と切り替えを実行するために動作する独立したプロセスです。 説明 デフォルトでは、EMR V5.8.0 以降の Hadoop 3.x を使用する HA クラスターには、3 つの ZKFC と NameNode のグループがデプロイされます。 ZKFC と NameNode のグループは master-1-3 にデプロイされます。 |
| *NameNode | NameNode のグループでは、アクティブ状態のプライマリ NameNode が読み取りおよび書き込みサービスを提供し、他のセカンダリ NameNode はスタンバイ状態です。プライマリ NameNode のみが外部の読み取りおよび書き込みサービスを提供できます。 説明 デフォルトでは、EMR V5.8.0 以降の Hadoop 3.x を使用する HA クラスターには、3 つの ZKFC と NameNode のグループがデプロイされます。 ZKFC と NameNode のグループは master-1-3 にデプロイされます。 | |
| JournalNode | JournalNode は、NameNode の EditLog ファイルを格納します。ほとんどの場合、3 つの JournalNode がグループとして使用されます。 NameNode は、2 つの JournalNode が正常で、JournalNode にデータを書き込むことができる場合にのみサービスを提供できます。 | |
| ZooKeeper | EMR クラスターの ZooKeeper です。 ZKFC は、ZooKeeper によって提供される機能に基づいて選出を実装します。他のコンポーネントの HA ステータスも ZooKeeper に依存します。 | |
| core-1-1 または emr-worker-x | DataNode | DataNode は、ノード上のデータディスクとして機能し、HDFS のデータブロックを管理および格納します。 |