すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:HDFS のデプロイメントトポロジ

最終更新日:Jan 11, 2025

このトピックでは、高可用性(HA)ではないクラスターと HA クラスターにおける Hadoop 分散ファイルシステム(HDFS)コンポーネントのデプロイメントトポロジについて説明します。

非 HA クラスター

ノードコンポーネント説明
master-1-1、または一部のバージョンでは emr-header-1NameNodeNameNode は、外部の読み取りおよび書き込みサービスを提供します。
セカンダリ NameNodeセカンダリ NameNode は、NameNode の EditLog ファイルを FsImage ファイルにマージして、NameNode の再起動を高速化します。
core-1-1 または emr-worker-xDataNodeDataNode は、ノード上のデータディスクとして機能し、HDFS のデータブロックを管理および格納します。

HA クラスター

ノードコンポーネント説明
master-1-1、または一部のバージョンでは emr-header-1ZKFailoverController(ZKFC)ZKFC は、NameNode のステータスに基づいてプライマリ/セカンダリの選出と切り替えを実行するために動作する独立したプロセスです。
NameNodeNameNode のグループでは、アクティブ状態のプライマリ NameNode が読み取りおよび書き込みサービスを提供し、他のセカンダリ NameNode はスタンバイ状態です。プライマリ NameNode のみが外部の読み取りおよび書き込みサービスを提供できます。
JournalNodeJournalNode は、NameNode の EditLog ファイルを格納します。ほとんどの場合、3 つの JournalNode がグループとして使用されます。 NameNode は、2 つの JournalNode が正常で、JournalNode にデータを書き込むことができる場合にのみサービスを提供できます。
ZooKeeperE-MapReduce(EMR)クラスターの ZooKeeper です。 ZKFC は、ZooKeeper によって提供される機能に基づいて選出を実装します。他のコンポーネントの HA ステータスも ZooKeeper に依存します。
master-1-2、または一部のバージョンでは emr-header-2ZKFCZKFC は、NameNode のステータスに基づいてプライマリ/セカンダリの選出と切り替えを実行するために動作する独立したプロセスです。
NameNodeNameNode のグループでは、アクティブ状態のプライマリ NameNode が読み取りおよび書き込みサービスを提供し、他のセカンダリ NameNode はスタンバイ状態です。プライマリ NameNode のみが外部の読み取りおよび書き込みサービスを提供できます。
JournalNodeJournalNode は、NameNode の EditLog ファイルを格納します。ほとんどの場合、3 つの JournalNode がグループとして使用されます。 NameNode は、2 つの JournalNode が正常で、JournalNode にデータを書き込むことができる場合にのみサービスを提供できます。
ZooKeeperEMR クラスターの ZooKeeper です。 ZKFC は、ZooKeeper によって提供される機能に基づいて選出を実装します。他のコンポーネントの HA ステータスも ZooKeeper に依存します。
master-1-3、または一部のバージョンでは emr-header-3 または emr-worker-1*ZKFCZKFC は、NameNode のステータスに基づいてプライマリ/セカンダリの選出と切り替えを実行するために動作する独立したプロセスです。
説明 デフォルトでは、EMR V5.8.0 以降の Hadoop 3.x を使用する HA クラスターには、3 つの ZKFC と NameNode のグループがデプロイされます。 ZKFC と NameNode のグループは master-1-3 にデプロイされます。
*NameNodeNameNode のグループでは、アクティブ状態のプライマリ NameNode が読み取りおよび書き込みサービスを提供し、他のセカンダリ NameNode はスタンバイ状態です。プライマリ NameNode のみが外部の読み取りおよび書き込みサービスを提供できます。
説明 デフォルトでは、EMR V5.8.0 以降の Hadoop 3.x を使用する HA クラスターには、3 つの ZKFC と NameNode のグループがデプロイされます。 ZKFC と NameNode のグループは master-1-3 にデプロイされます。
JournalNodeJournalNode は、NameNode の EditLog ファイルを格納します。ほとんどの場合、3 つの JournalNode がグループとして使用されます。 NameNode は、2 つの JournalNode が正常で、JournalNode にデータを書き込むことができる場合にのみサービスを提供できます。
ZooKeeperEMR クラスターの ZooKeeper です。 ZKFC は、ZooKeeper によって提供される機能に基づいて選出を実装します。他のコンポーネントの HA ステータスも ZooKeeper に依存します。
core-1-1 または emr-worker-xDataNodeDataNode は、ノード上のデータディスクとして機能し、HDFS のデータブロックを管理および格納します。