全部產品
Search
文件中心

Platform For AI:訓推一體資源管理

更新時間:Jul 14, 2026

訓推一體是在同一GPU叢集上同時運行推理服務和訓練任務。通過父子級資源配額的算力搶佔機制,推理自動搶佔訓練資源;結合EAS定時擴縮容和DLC閑時資源,白天保障推理、夜間自動訓練,實現GPU叢集全時段高效利用。

背景資訊

情境樣本

假設您有128卡GPU,分配給三個團隊:

  • A團隊負責推理服務,資源優先順序最高。

  • B、C團隊負責模型訓練,優先順序低於推理。

  • A團隊推理資源不足時,系統自動回收B、C團隊的訓練資源。

  • 白天EAS自動擴容保障推理;夜間EAS縮容釋放GPU,訓練任務自動啟動。

  • B、C團隊各自獨立管理資源和任務,互不干擾。

方案介紹

EAS推理服務部署在父配額上,DLC訓練任務部署在子配額上。推理需要資源時,自動搶佔訓練算力。結合EAS定時擴縮容(白天擴、夜間縮)和DLC閑時資源(夜間利用空閑算力訓練),全程無需人工幹預。

以上圖情境為例,操作步驟如下:

  • 建立Quota 1(128卡GPU),開啟子級算力搶佔開關。再建立兩個子配額:Quota 1.1(48卡)和Quota 1.2(80卡)。

  • 為A團隊建立workspace_a,綁定Quota 1。在Quota 1上部署EAS推理服務,配置定時擴縮容。

  • 為B團隊建立workspace_b,綁定Quota 1.1。在Quota 1.1上建立DLC訓練任務,開啟閑時資源。

  • 為C團隊建立workspace_c,綁定Quota 1.2。在Quota 1.2上建立DSW執行個體進行開發。

操作步驟

  1. 準備AI計算資源(通用計算資源或靈駿智算資源)。通用資源集區必須建立2.0版本,才可同時用於EAS、DLC、DSW。詳情參見資源集區

  2. 建立資源配額。

    1. 建立Quota1,配置以下關鍵參數。詳情參見建立資源配額通用計算資源配額

      • 選擇規則/資源(128卡GPU)。

      • 開啟子级算力抢占開關。開啟後,父配額上的EAS推理服務可搶佔子配額上的訓練資源。

    2. 在Quota1的操作列,單擊新增子级资源配额,建立兩個子配額。詳情參見建立父子Quota

      • Quota 1.1:48卡GPU。

      • Quota 1.2:80卡GPU。

  3. 建立三個工作空間並綁定配額。詳情參見建立及管理工作空間

    • A團隊:workspace_a,綁定Quota 1。

    • B團隊:workspace_b,綁定Quota 1.1。

    • C團隊:workspace_c,綁定Quota 1.2。

  4. 使用父配額Quota1建立EAS推理服務,並配置定時擴縮容。詳情參見服務部署

    典型的定時擴縮容配置:

    • 早晨 8:00 擴容到目標副本數,保障白天推理高峰。

    • 晚上 22:00 縮容到0個或少量副本,釋放GPU資源給訓練任務。

    詳細配置參見定時自動擴縮容功能

  5. 使用子配額建立DLC訓練任務或DSW執行個體,並開啟閑時資源。詳情參見建立訓練任務

    開啟閑時資源後,訓練任務可利用配額外的空閑算力。夜間EAS縮容釋放的GPU會自動分配給訓練任務。

    詳細配置參見使用閑時資源

  6. 為A、B、C團隊添加工作空間管理員權限。詳情參見配置工作空間。更多角色說明參見附錄:角色及許可權列表

功能情境

情境一:推理資源不足,搶佔訓練任務

資源配額(Quota)頁面,單擊Quota 1,在概覽頁面開啟子級算力搶佔開關。

開啟後,A團隊提交推理服務時若資源不足,系統自動回收B、C團隊的訓練資源,優先保障推理。

情境二:團隊B和團隊C的資源再分配

根據團隊需求調整Quota 1.1和Quota 1.2的資源。在資源配額(Quota)頁面找到目標Quota,單擊操作列的擴縮容。詳情參見Quota擴縮容

  • 將Quota 1.1從48卡擴容到56卡(新增8卡)。

  • 將Quota 1.2從80卡縮容到72卡(減少8卡)。

情境三:團隊B和團隊C的許可權隔離

Quota 1.1綁定workspace_b,Quota 1.2綁定workspace_c,B、C團隊在各自工作空間中獨立管理資源和任務。詳情參見工作空間調度中心

配置資源使用角色:在工作空間配置頁面,選擇調度配置頁簽,在資源使用地區為指定配額選擇可使用角色,單擊+添加新增配置行,完成後單擊儲存

相關文檔