為了便於查看叢集資源使用方式及Auto Scaling的效果,EMR提供了基於YARN的指標大盤,您也可以基於歷史YARN叢集指標,來配置和最佳化自訂Auto Scaling規則。本文為您介紹如何在EMR控制台查看EMR叢集資源。
前提條件
已建立資料湖(DataLake)或自訂情境(Custom)類型的叢集,且選擇了YARN服務。建立叢集詳情,請參見建立叢集。
操作步驟
方式一:查看YARN資源使用率環比
進入Auto Scaling頁面。
登入EMR on ECS。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
單擊目的地組群的叢集名稱。
單擊上方的Auto Scaling。
在Auto Scaling配置頁面,您可以查看YARN資源使用率環比。
您可以查看當前叢集近30天內的資源使用率變化曲線,並且可以對比幾天前的資源使用率曲線,以查看叢集的資源是否浪費。系統會檢測當前叢集的資源使用狀態,自動推薦配置Auto Scaling規則。您可以參考推薦規則為叢集節點群組配置Auto Scaling,具體操作請參見建立自訂Auto Scaling策略、建立託管Auto Scaling策略。
方式二:查看YARN詳細指標資料
進入指標監控頁面。
登入EMR on ECS。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
單擊目的地組群的叢集名稱。
單擊上方的監控診斷。
單擊指標監控頁簽。
在Dashboard下拉框中,選擇YARN-HOME,大盤展示了叢集YARN的指標資料,可以調整時間長度查看過去叢集的使用方式。
大盤中的Yarn Scaling是YARN彈性指標,可以協助您深入瞭解叢集中啟動並執行容器和節點資源使用方式,進一步瞭解叢集的Auto Scaling的效果,從而更有效地評估叢集Auto Scaling的效果。