查看調度資源大盤 - Dataphin

調度資源大盤展示Dataphin叢集已配置調度資源的使用及分配情況。您可以查看並分析全域資源總量配置及單個任務資源分派的情況，可以有效地提升資源使用率並降低成本，同時也能減少因調度資源緊張而造成大量任務堆積的可能性，增強平台的穩定性。

前提條件

請聯絡Dataphin部署團隊部署Prometheus監控並採集監控資料，才可正常使用調度資源大盤。

元倉租戶下管理中心 > 資源設定 > 資源監控中調度資源大盤開關已開啟，操作詳情請參見資源監控。

許可權說明

僅超級管理員、系統管理員以及擁有研發-修改資源大盤預設叢集許可權點的自訂全域角色支援修改調度資源大盤中的預設展示叢集。

功能說明

調度資源大盤從資源分派和資源消耗兩個視角為您提供Dataphin叢集調度資源的統計分析，核心關注CPU和記憶體兩個指標。此外，針對資源使用率較低可能造成資源浪費、或利用率過高可能產生記憶體溢出等風險的任務，通過待最佳化工作清單進行展示，便於您及時發現並處理，增強平台穩定性並減少資源成本消耗。
資源大盤共有三個模組（資源分派、資源消耗和建議最佳化任務），您可以通過查看當前最新快照值，快速定位佔用資源較多導致任務堆積的阻塞任務並及時處理；也可以根據一段時間內的趨勢變化，判斷是否有最佳化空間，以提升資源使用率。

資料統計頻率

每分鐘統計1次。針對分配資源，取目前時間點的快照值；針對消耗資源，取過去1分鐘內的峰值（即分鐘內峰值）。每次頁面重新整理觸發頁面資料更新。

調度資源大盤入口

在Dataphin首頁的頂部功能表列中，選擇研發 > 任務營運。
在左側導覽列選擇概覽 > 調度資源大盤，進入調度資源大盤頁面。

租戶資源大盤頁面介紹

說明

mesos架構的Dataphin執行個體，不支援租戶資源大盤。

區塊	說明
①來源叢集	預設選擇預設調度叢集，可切換為已開啟指標採集，且狀態為正常的叢集，同時支援修改調度資源大盤中的預設展示叢集。
②資源概覽	支援查看和統計所選來源叢集分配的資源，包含CPU分配值和記憶體配置值。 CPU分配值：當來源叢集為預設叢集時：展示當前租戶CPU的分配值（c），以及當前租戶設定的可用範圍（可用上下限）。當來源叢集為註冊調度叢集時：展示所選來源叢集在當前租戶中所有資源群組的CPU已指派值的和（同資源消耗地區中，選擇全部資源群組時的分配值），以及可用範圍。其中，可用範圍上限為所選來源叢集的資源總量；可用範圍下限為所選來源叢集在當前租戶中所有資源群組的可用下限之和。記憶體配置值：當來源叢集為預設叢集時：展示當前租戶記憶體的分配值（G），以及當前租戶設定的可用範圍（可用上下限）。當來源叢集為註冊調度叢集時：展示所選來源叢集在當前租戶中所有資源群組的記憶體已指派值的和（同資源消耗地區中，選擇全部資源群組時的分配值），以及可用範圍。其中，可用範圍上限為所選來源叢集的資源總量；可用範圍下限為所選來源叢集在當前租戶中所有資源群組的可用下限之和。說明 K8s架構下的Dataphin執行個體，若不支援自訂資源群組功能，則僅展示CPU和記憶體的分配值。
③資源消耗	分別展示當前租戶CPU和記憶體，在指定的時間和資源群組內的消耗。時間篩選：預設選擇3h，可選擇最近3h、6h、12h、24h、3d、7d，或自訂時間範圍，其中自訂時間範圍的起始時間跨度為`[10分鐘，15天]`。資源群組篩選：預設選擇全部資源群組，可選擇所選來源叢集下的資源群組。來自預設調度叢集下的資源群組，不支援選擇來自註冊調度叢集的資源群組。 CPU分配值/記憶體配置值：每個統計時間點已指派給任務的CPU/記憶體總量，圖中將以Max和Min標註所選時間範圍內的最大值和最小值。可用下限/可用下限：根據資源群組篩選中所選的資源群組，展示當前租戶或所選資源群組CPU/記憶體的可用上下限。運行中執行個體總數：每個統計時間點狀態為運行中的執行個體總數，包括周期執行個體、補資料執行個體、手動執行個體。等待中執行個體總數：每個統計時間等待調度資源的執行個體數。說明 K8s架構下的Dataphin執行個體，若不支援自訂資源群組功能，則不支援資源群組篩選，且圖中不展示可用上下限。
④建議最佳化任務	分別以CPU和記憶體維度展示當前租戶的建議最佳化任務，僅統計生產環境中，使用所選調度叢集資源的周期任務（不包含SQL等共用容器任務）。工作清單中包含以下參數：任務名稱：展示任務名稱和任務ID，單擊任務名稱跳轉至任務營運 > 周期任務頁面。營運負責人：當前任務的營運負責人。所屬專案：當前任務所屬的專案名稱。最近一次分配CPU/最近一次分配記憶體：當前任務最近一次執行時，分配給此任務的資源總量。最近一次消耗CPU/最近一次消耗記憶體：當前任務最近一次執行時，實際消耗的資源總量。最近一次消耗率：當前任務最近一次執行時，資源的消耗率（`資源消耗率=任務執行時實際消耗的資源總量/任務執行時已指派給任務的資源總量`）。最近一次運行時間長度：當前任務最近一次執行時的運行時間長度。近7次消耗值：該任務對應的周期執行個體和補資料執行個體，最近7次啟動並執行資源消耗值。近7次平均運行時間長度：該任務對應的周期執行個體和補資料執行個體，最近7次啟動並執行平均時間長度。操作：您可在操作列對對應任務進行查看資源詳情和資源配置操作。查看資源詳情：單擊表徵圖，開啟任務資源詳情對話方塊，可查看當前任務的基本資料、資源詳情（最近1次運行詳情或最近7次運行趨勢）和資源分派消耗趨勢。資源配置：單擊表徵圖，跳轉至當前任務對應開發頁面。您可以在列表右上方篩選符合要求的任務，支援的篩選項包含：最近一次消耗率 >> 低於 >> 25%/50%/75% 最近一次消耗率 >> 高於 >> 50%/75%/90% 最近一次分配CPU/最近一次分配記憶體 >> TOP20/TOP50/TOP100 最近一次消耗CPU/最近一次消耗記憶體 >> TOP20/TOP50/TOP100 單擊列表右上方的匯出，將當前篩選條件下的工作清單匯出為Excel，其中近7次消耗值的每一個值將使用半形逗號（,）分隔並放置在同一儲存格中。

最佳化任務關注建議

某任務在一段時間內資源分派值遠大於消耗值，且已耗用時間較長，建議您重點關注，避免影響即席查詢等任務的執行，影響下遊業務使用。
某任務在一段時間內資源分派值遠大於消耗值，但已耗用時間較短，建議您適當關注，可將空餘資源分派給其他資源緊張的任務。
某任務在一段時間內資源消耗值接近於分配值，建議您適當關注，避免因資源不足而導致運行延遲或運行失敗。
某任務記憶體消耗率達到過100%，建議您重點關注，適當增加記憶體配置，避免後續由於記憶體溢出等異常導致運行失敗，影響資料產出。

叢集資源大盤頁面介紹

區塊	說明
①來源叢集	預設選擇預設調度叢集，可切換為已開啟指標採集，且狀態為正常的叢集，同時支援修改調度資源大盤中的預設展示叢集。
②資源概覽	支援查看和統計所選來源叢集分配的資源，包含CPU分配值和記憶體配置值。 CPU分配值：展示預設調度叢集CPU的分配值（c）、可用量（c）和分配率（%）。記憶體配置值：展示預設調度叢集記憶體的分配值（G）、可用量（G）和分配率（%）。
③資源消耗	分別展示預設調度叢集下CPU和記憶體的消耗。時間篩選：預設選擇3h，可選擇最近3h、6h、12h、24h、3d、7d。 CPU分配值/記憶體配置值：每個統計時間點已指派給任務的CPU/記憶體總量，圖中將以Max和Min標註所選時間範圍內的最大值和最小值。 CPU消耗值/記憶體消耗峰值：每個統計時間點任務執行實際消耗的CPU/記憶體總量。運行中執行個體總數：每個統計時間點狀態為運行中的執行個體總數，包括周期執行個體、補資料執行個體、手動執行個體。
④建議最佳化任務	消耗值和分配值相差較大時，建議您已通過最佳化工作清單查詢消耗率過低的任務，調整資源配置以提升整體資源使用率。詳細說明請參見建議最佳化任務、最佳化任務關注建議。說明僅Mesos架構的Dataphin執行個體，支援建議最佳化任務。