E-MapReduce Doctor(簡稱EMR Doctor)是E-MapReduce產品自研的面向開源巨量資料叢集的智能營運診斷系統。通過EMR Doctor(即監控診斷頁面的“健康診斷”和“叢集日報”功能)可以全域瞭解叢集的健康情況和動態走勢,為營運決策和資源最佳化提供有力的資訊支撐。
作為EMR叢集的營運人員,通常需要關注以下內容:
叢集的整體穩定性,包含關鍵服務元件的狀態監控和異常處理。例如YARN、HDFS、Hive和Spark等。
叢集的整體有效性,例如叢集的負載、叢集的記憶體和CPU有效利用率等。
叢集使用者的SLA,能夠保證關鍵任務在擷取足夠資源的條件下按時完成。
EMR Doctor作為開源巨量資料叢集的管家,提供以下能力:
及時掌握叢集健康情況,提供關鍵服務的使用建議,降低叢集營運的成本並不斷提升穩定性。
擷取叢集資源的使用和分配狀況,合理配置硬體資源,提升叢集資源的利用效率。
輔助調優各個組件以及運行任務,提出可操作的最佳化建議,保證整體資料和計算鏈路的高效與穩定。