全部產品
Search
文件中心

E-MapReduce:E-MapReduce Doctor

更新時間:Mar 13, 2025

E-MapReduce Doctor(簡稱EMR Doctor)是E-MapReduce產品自研的面向開源巨量資料叢集的智能營運診斷系統。通過EMR Doctor(即監控診斷頁面的“健康診斷”和“叢集日報”功能)可以全域瞭解叢集的健康情況和動態走勢,為營運決策和資源最佳化提供有力的資訊支撐。

作為EMR叢集的營運人員,通常需要關注以下內容:

  • 叢集的整體穩定性,包含關鍵服務元件的狀態監控和異常處理。例如YARN、HDFS、Hive和Spark等。

  • 叢集的整體有效性,例如叢集的負載、叢集的記憶體和CPU有效利用率等。

  • 叢集使用者的SLA,能夠保證關鍵任務在擷取足夠資源的條件下按時完成。

EMR Doctor作為開源巨量資料叢集的管家,提供以下能力:

  • 及時掌握叢集健康情況,提供關鍵服務的使用建議,降低叢集營運的成本並不斷提升穩定性。

  • 擷取叢集資源的使用和分配狀況,合理配置硬體資源,提升叢集資源的利用效率。

  • 輔助調優各個組件以及運行任務,提出可操作的最佳化建議,保證整體資料和計算鏈路的高效與穩定。

EMR Doctor的主要特點如下:

  • 提供深層次的診斷服務,以評估叢集或節點的健康狀態,並展示異常問題及相應的修複建議。詳情請參見啟用健康診斷

  • 提供叢集的日報功能,並提供量化打分、智能建議,您可以清晰到擷取到叢集的健康狀態以及改進建議。詳情請參見查看叢集日報與分析

  • 通過對叢集中各種資訊進行融合分析,並根據智能演算法進行智能診斷分析,減少巨量資料平台繁重和重複的勞動。