訓推一體是在同一GPU叢集上同時運行推理服務和訓練任務。通過父子級資源配額的算力搶佔機制,推理自動搶佔訓練資源;結合EAS定時擴縮容和DLC閑時資源,白天保障推理、夜間自動訓練,實現GPU叢集全時段高效利用。
背景資訊
情境樣本
假設您有128卡GPU,分配給三個團隊:
A團隊負責推理服務,資源優先順序最高。
B、C團隊負責模型訓練,優先順序低於推理。
A團隊推理資源不足時,系統自動回收B、C團隊的訓練資源。
白天EAS自動擴容保障推理;夜間EAS縮容釋放GPU,訓練任務自動啟動。
B、C團隊各自獨立管理資源和任務,互不干擾。
方案介紹
EAS推理服務部署在父配額上,DLC訓練任務部署在子配額上。推理需要資源時,自動搶佔訓練算力。結合EAS定時擴縮容(白天擴、夜間縮)和DLC閑時資源(夜間利用空閑算力訓練),全程無需人工幹預。
以上圖情境為例,操作步驟如下:
建立Quota 1(128卡GPU),開啟子級算力搶佔開關。再建立兩個子配額:Quota 1.1(48卡)和Quota 1.2(80卡)。
為A團隊建立workspace_a,綁定Quota 1。在Quota 1上部署EAS推理服務,配置定時擴縮容。
為B團隊建立workspace_b,綁定Quota 1.1。在Quota 1.1上建立DLC訓練任務,開啟閑時資源。
為C團隊建立workspace_c,綁定Quota 1.2。在Quota 1.2上建立DSW執行個體進行開發。
操作步驟
準備AI計算資源(通用計算資源或靈駿智算資源)。通用資源集區必須建立2.0版本,才可同時用於EAS、DLC、DSW。詳情參見資源集區。
建立資源配額。
建立三個工作空間並綁定配額。詳情參見建立及管理工作空間。
A團隊:workspace_a,綁定Quota 1。
B團隊:workspace_b,綁定Quota 1.1。
C團隊:workspace_c,綁定Quota 1.2。
使用父配額Quota1建立EAS推理服務,並配置定時擴縮容。詳情參見服務部署。
典型的定時擴縮容配置:
早晨 8:00 擴容到目標副本數,保障白天推理高峰。
晚上 22:00 縮容到0個或少量副本,釋放GPU資源給訓練任務。
詳細配置參見定時自動擴縮容功能。
使用子配額建立DLC訓練任務或DSW執行個體,並開啟閑時資源。詳情參見建立訓練任務。
開啟閑時資源後,訓練任務可利用配額外的空閑算力。夜間EAS縮容釋放的GPU會自動分配給訓練任務。
詳細配置參見使用閑時資源。
為A、B、C團隊添加工作空間管理員權限。詳情參見配置工作空間。更多角色說明參見附錄:角色及許可權列表。
功能情境
情境一:推理資源不足,搶佔訓練任務
在資源配額(Quota)頁面,單擊Quota 1,在概覽頁面開啟子級算力搶佔開關。
開啟後,A團隊提交推理服務時若資源不足,系統自動回收B、C團隊的訓練資源,優先保障推理。
情境二:團隊B和團隊C的資源再分配
根據團隊需求調整Quota 1.1和Quota 1.2的資源。在資源配額(Quota)頁面找到目標Quota,單擊操作列的擴縮容。詳情參見Quota擴縮容。
將Quota 1.1從48卡擴容到56卡(新增8卡)。
將Quota 1.2從80卡縮容到72卡(減少8卡)。
情境三:團隊B和團隊C的許可權隔離
Quota 1.1綁定workspace_b,Quota 1.2綁定workspace_c,B、C團隊在各自工作空間中獨立管理資源和任務。詳情參見工作空間調度中心。
配置資源使用角色:在工作空間配置頁面,選擇調度配置頁簽,在資源使用地區為指定配額選擇可使用角色,單擊+添加新增配置行,完成後單擊儲存。