HDFS Web UI へのアクセス - E-MapReduce - Alibaba Cloud ドキュメントセンター

このトピックでは、NameNode エンドポイントの取得、NameNode UI ホームページの参照、NameNode 起動プロセスの理解など、NameNode Web UI へのアクセス方法について説明します。

NameNode Web UI へのアクセス

SSH トンネルまたはコンソールを使用して NameNode Web UI にアクセスできます。詳細については、「オープンソースコンポーネントの Web UI にアクセスするための SSH トンネルの作成」および「オープンソースコンポーネントの Web UI へのアクセス」をご参照ください。

NameNode エンドポイント

バージョン	エンドポイント	説明
Hadoop 3.x	http://${namenode_hostname}:9870	${namenode_hostname} を対応するノードのホスト名に置き換えてください。
Hadoop 2.x	http://${namenode_hostname}:50070	${namenode_hostname} を対応するノードのホスト名に置き換えてください。

NameNode UI ホームページ

概要

概要の見出しの下の最初の行には、現在の NameNode のホスト名が表示されます。括弧内の値 (アクティブまたはスタンバイ) は、ノードの高可用性 (HA) 状態を示します。次の表に、その他のパラメーターを示します。

パラメーター	説明
Namespace	NameNode のネームサービスエンドポイントです。
NameNode ID	現在の NameNode のサービス ID です。
Started	NameNode が最後に起動した時刻です。
Version	HDFS のバージョンです。
Compiled	ビルドとコンパイルに関する情報です。
Cluster ID	HDFS クラスター識別子です。
Block Pool ID	HDFS ブロックプール ID です。

サマリー

NameNode Web UI のサマリーページには、設定容量、DFS 使用量 (使用済み容量とパーセンテージ)、DFS 残量 (残量とパーセンテージ)、ライブノード、デッドノード、デコミッション中のノード、最終チェックポイント時刻、有効なイレイジャーコーディングポリシーなど、主要なクラスターメトリックが 2 列のテーブルに表示されます。このページの上部には、ヒープと非ヒープメモリの使用量も表示されます。

主な情報は次のとおりです：

セキュリティ：クラスターで Kerberos 認証が有効になっているかどうかを示します。
セーフモード：クラスターがセーフモード (読み取り専用) であるかどうかを示します。
ファイル、ディレクトリ、およびブロックの数は、アクティブ NameNode とスタンバイ NameNode で異なる場合があります。これは想定どおりの動作です。この場合、アクティブ NameNode のデータが信頼できる情報源となります。

NameNode ジャーナルステータス

アクティブ NameNode は書き込みモードで動作します。このページの上部には、Written txid が表示されます。その下には、Journal Manager 列と State 列があるステータステーブルがあります。Quorum Journal Manager (QJM) の行には、3 つの JournalNode のアドレスとそれぞれの Written txid 値が一覧表示されます。FileJournalManager の行には、EditLog ファイルへのパスが表示されます。

アクティブノードの Quorum Journal Manager (QJM) のステータスを監視するときは、各 JournalNode の Written txid 値を注意深く観察してください。値が 0 のままだったり、他の 2 つの JournalNode と大幅に異なったりする場合は、対応する JournalNode をリセットする必要があります。
スタンバイ NameNode は読み取りモードで動作します。

スタンバイノードの Quorum Journal Manager (QJM) ステータスは通常読み取りモードのため、特別な注意は必要ありません。

NameNode ストレージ

NameNode ストレージページには、/mnt/disk1/hdfs/name (Type: IMAGE, State: Active) と /mnt/disk1/hdfs/edits (Type: EDITS, State: Active) の 2 つのストレージディレクトリが表示されます。

NameNode は FsImage のチェックポイント処理を非同期に実行するため、イメージタイプのステータスを注意深く監視する必要があります。たとえば、スタンバイノード上のイメージタイプが長時間 Failed 状態のままであると、EditLog ファイル (edits) が蓄積される可能性があります。この状況で NameNode が再起動すると、滞留した edits を読み込むのにかなりの時間がかかります。

NameNode 起動プロセス

NameNode Web UI の起動プログレスページでは、各起動フェーズの完了率と経過時間を確認できます。テーブルには、フェーズ、完了、経過時間の 3 つの列があります。

NameNode は、FsImage の読み込み、EditLog の読み込み、DataNode からのブロック報告の待機という、いくつかの主要なステップで起動します。通常、これらのステップは迅速に完了します。ステップに時間がかかりすぎる場合は、最適化が必要になることがあります。

Load FsImage および Wait Reported blocks ステージに時間がかかりすぎる場合は、GC パラメーターを調整する必要があるかどうかを確認してください。
Load edits ステージに時間がかかりすぎる場合は、JournalNode にログのバックログがないか確認してください。JournalNode ディレクトリの詳細については、「HDFS コンポーネントが使用するローカルディスクディレクトリ」をご参照ください。

E-MapReduce:NameNode Web UI