全部產品
Search
文件中心

Dataphin:自訂調度資源群組概述

更新時間:Jan 25, 2025

Dataphin支援調度資源分組管理的功能。您可以將資源劃分為不同配額的資源群組,不同資源群組之間的資源配額互相獨立,並為不同租戶、專案下的任務分別指定可使用資源群組,從而保障核心任務的資源不被搶佔,同時也提升資源使用率。

使用限制

  • 當前僅支援基於最新架構部署的客戶使用自訂資源群組功能,詳情請聯絡產品營運團隊。

  • 預設叢集預設可管控的用於調度的CPU資源量最多為72core,如需增加可管控資源量,您可進行增購。實際可分配的資源總量請參見調度資源大盤

許可權說明

支援超級管理員系統管理員資源群組的負責人管理自訂資源群組(編輯、啟用、停用、刪除)。

應用情境

保障核心任務:通過資源群組管理可保障核心任務優先運行,防止低優先順序任務先運行時搶佔大量調度資源而導致高優任務一直在等待調度資源狀態。

按需分配 :資源群組支援按照專案分配資源,可使不同業務部門所使用的資源解耦。從而實現業務部門按需結算等應用情境。

名詞解釋

調度資源:調度資源指任務產生的執行個體調度所消耗的資源,支援將當前租戶可使用的所有調度資源分派為不同的資源群組並關聯到可使用的專案,不同資源群組之間資源相互隔離互不影響。

租戶預設資源群組:每個租戶有且僅有一個,在建立租戶時系統自動產生,不支援刪除。從預設叢集建立自訂資源群組時,自動從租戶預設資源群組分配對應資源。為了保證所有任務均有可使用的調度資源,需要設定租戶預設資源群組保留的最小資源百分比,從而保證在調度運行時,如果指定的資源群組狀態不可用,可以使用租戶預設資源群組進行兜底,避免影響任務運行。

自訂資源群組:在每個租戶內,可以進一步劃分為多個自訂資源群組。自訂資源群組可以設定應用情境,以便更好的管控資源使用範圍。應用情境包括任務日常調度批量營運操作。

  • 任務日常調度:任務日常調度的自訂資源群組可用於即席查詢、臨時運行、周期調度等情境,需要配置可使用該資源群組的關聯專案。

  • 批量營運操作:批量營運操作的資源群組可用於對生產任務執行補資料等操作時,臨時指定單次調度使用的資源群組。

資源群組優先順序:優先使用每個任務配置的資源群組;如果任務在產生執行個體時指定的自訂資源群組已被停用或刪除,執行個體資源群組將自動切換為所在專案的預設資源群組;如果專案預設資源群組狀態也不可用,將繼續自動切換為使用租戶預設資源群組。任務指定資源群組>任務所屬專案的專案預設資源群組>租戶預設資源群組。 此外,如果執行個體調度執行時指定的資源群組已經被停用或刪除,將自動切換為租戶預設資源群組執行。

流程概述

  1. 完成Daptahin部署後,系統將根據預設叢集中可用於任務調度的資源及根據購買資訊配置的可用調度資源量最終確定您預設叢集可用的資源總量。其中:

    • 可用CPU總量 = min(叢集配置可用於調度的CPU資源量,已購買的可用於自訂資源群組配置的CPU資源量 )。

    • 可用記憶體總量 = 叢集配置可用於調度的記憶體資源量。

  2. 如果開啟了自訂資源群組功能,則建立租戶時,需要給每個租戶分配最多可佔用預設叢集調度資源的百分比,請參見租戶設定

  3. 在每個租戶下,您可結合資源管控訴求建立多個自訂資源群組,並指定每個自訂資源群組使用的調度叢集及佔用叢集可用資源的百分比。

    • 基於租戶預設叢集建立自訂資源群組時,將從租戶預設資源群組(預設叢集)自動扣除自訂資源群組配置所需的資源百分比。

    • 基於自訂叢集建立資源群組時,將從自訂叢集中自動扣除自訂資源群組配置所需的資源百分比。

資源群組生效優先順序

任務調度運行時,優先使用任務調度配置指定的資源群組;如果指定資源群組狀態異常或已被刪除,則會使用任務所屬專案的專案預設資源群組;如果專案預設資源群組也不可用,將切換為租戶預設資源群組兜底。 此外,如果您希望通過調整資源群組實現緊急限流,可將指定資源群組的資源分派量修改為0,則任務將一直處於等待調度資源狀態,直到資源群組有可用資源。

任務資源群組配置說明

周期任務和手動任務均支援配置調度資源群組。Basic模式專案下,任務測試回合、冒煙、周期調度均使用配置的調度資源群組;Dev-Prod模式專案下,任務測試回合、冒煙及開發環境調度預設使用開發專案配置的專案預設資源群組,不支援自訂修改;生產任務周期調度預設使用每個任務指定的資源群組。

資源群組配置入口

  1. 在Dataphin首頁,單擊頂部功能表列中的管理中心->系統設定

  2. 按照以下操作指引,進入資源設定頁面。

    依次單擊資源設定->資源群組配置

    image