全部產品
Search
文件中心

E-MapReduce:HDFS Web UI介紹

更新時間:Jul 01, 2024

本文為您介紹如何訪問HDFS Web介面,包括擷取NameNode服務地址、瀏覽NameNode UI首頁,並提供有關啟動NameNode UI的相關說明。

訪問HDFS Web UI

您可以通過SSH隧道和控制台兩種方式訪問HDFS Web UI,具體操作請參見通過SSH隧道方式訪問開源組件Web UI訪問連結與連接埠

NameNode服務地址

版本

訪問地址

說明

hadoop 3.x

http://${namenode_hostname}:9870

${namenode_hostname}需要替換為對應節點的hostname。

hadoop 2.x

http://${namenode_hostname}:50070

${namenode_hostname}需要替換成對應節點的hostname。

NameNode UI首頁介紹

Overview

Overview

其中,第一行Overview後,為當前NameNode節點的hostname,括弧內為active或standby,對應當前節點的高可用狀態。其他參數說明如下。

參數

說明

Namespace

NameNode的nameservice地址。

NameNode ID

當前NameNode的Service ID。

Started

NameNode本次啟動時間。

Version

HDFS版本號碼。

Compiled

編譯相關資訊。

Cluster ID

HDFS叢集標識。

Block Pool ID

HDFS Block Pool標識。

Summary

Summary

主要資訊說明如下:

  • Security:表示叢集是否開啟了Kerberos安全認證。

  • Safemode:表示叢集是否處理唯讀狀態。

  • 檔案、目錄和資料區塊的數量,Active NameNode和Standby NameNode的統計有一定差異,屬於正常現象。在這種情況下,應以Active NameNode提供的資料為標準。

NameNode Journal Status

NameNode在高可用模式下,需要重點關注,其中:

  • Active NameNode為寫入模式Active NameNode為寫入模式

    監控Active節點的QJM(Quorum Journal Manager)狀態時,需密切觀察每個Journal Node上的Written txid的ID值。如果發現某個ID持續為0,或與其他兩個Journal Node的ID值差異顯著,則需要重設對應的Journal Node。

  • Standby NameNode為讀模式Standby NameNode為讀模式

    通常,Standby節點上的QJM狀態設定為讀模數式,不需要特別關注。

NameNode Storage

NameNode Storage

由於NameNode非同步進行FsImage checkpointing,所以需要密切關注Image Type狀態。例如,如果Standby Node的Image Type長時間顯示為Failed,則會導致編輯日誌(edits)的堆積。在這樣的情形下,如果發生NameNode重啟,則會消耗較多時間來讀取堆積的edits檔案。

NameNode UI啟動說明

NameNode UI啟動

NameNode的啟動主要包括負載檔案系統鏡像(Load FsImage)、載入編輯日誌(Load edits)和等待資料節點報告其持有的資料區塊(Wait Reported blocks)幾個關鍵步驟。正常情況下,這些步驟應該相對迅速完成,但如果某些步驟耗時過長,可能需要採取最佳化措施。

  • 如果Load FsImage和Wait Reported blocks階段耗時過長,可以檢查是否需要調整GC參數。

  • 如果Load edits階段耗時過長,可以檢查JournalNode下是否積壓了大量尚未處理的日誌。JournalNode的目錄資訊請參見HDFS組件使用的本地磁碟目錄

相關文檔

如果在使用HDFS過程中遇到任何問題或故障,詳情請參見常見問題和故障診斷