閑時資源允許DLC任務使用其他資源配額(Quota)的空閑算力,在不影響正常業務的前提下提升資源使用率、降低訓練成本。
功能介紹
PAI平台中,不同業務團隊使用各自的Quota提交訓練任務。但某些Quota在特定時段可能閑置,而其他團隊可能因Quota不足而排隊,導致資源浪費。
為解決這一問題,DLC提供了閑時資源功能。您可以提交閑時計算任務,利用其他Quota的空閑算力,提升整體資源使用率。
實現原理如下:
提交到通用計算資源Quota的閑時任務, 可以使用所屬Quota下的空閑資源; 提交到靈駿智算資源Quota的閑時任務, 可以使用該租戶所有Quota下(同規格資源)的空閑資源。
閑時計算任務使用當前或其他Quota的空閑資源,不受本Quota資源總量限制。
當空閑資源被原Quota任務需要時,閑時計算任務自動終止並歸還資源。
配合AIMaster和EasyCKPT功能,閑時任務可自動儲存進度並續跑,避免算力浪費。
前提條件
已建立預付費資源配額(通用計算資源或靈駿智算資源),並綁定到工作空間。具體操作,請參見資源配額(Quota)功能介紹。
提交DLC任務使用閑時資源
在控制台提交DLC訓練任務時,在资源信息地區,選擇靈駿智算或者通用計算的資源配額後,可配置闲时资源,關鍵參數說明如下,更多詳情請參見建立訓練任務。

參數
描述
资源类型
選擇通用計算資源或靈駿智算資源。
說明靈駿智算資源適用於高效能AI訓練。
资源来源
選擇资源配额。
闲时资源
取值如下:
可接受:作業可以使用租戶下所有的閑時計算資源,也可以使用選擇的Quota,以出隊為準。
只接受:作業僅接受閑時計算資源。
使用閑時資源啟動並執行任務,可能會因資源回收而被中斷,請確保程式碼封裝含Checkpoint機制,以便任務重新啟動續跑。詳情請參見EasyCkpt:AI大模型高效能狀態儲存恢複。
當選擇了可接受選項,任務在出隊時使用選擇的Quota計算資源,則屬於正常保障任務,不會觸發閑時資源搶佔機制。
自动容错
閑時任務可能被搶佔,建議開啟自动容错功能。開啟後,資源被回收時系統會自動尋找新資源並重新運行任務。配置方法請參見AIMaster:彈性自動容錯引擎。

查看DLC任務資源使用詳情。
在工作清單或詳情中,查看資源使用方式。

配額內:表示任務使用已關聯Quota的資源。
配額外:表示任務使用閑時共用資源。
閑時任務使用共用資源出隊時,不展示節點名稱。

當任務使用的閑時資源被搶佔回收時,在任務詳情頁面的執行個體(Pod)狀態將被標記為被抢占。
當借出資源的Quota組有新任務需要調度且資源不足時,系統會回收閑時資源以保障該任務。此時,使用該閑時資源的任務執行個體狀態被標記為被搶佔。
相關文檔
閑時任務可能被搶佔,建議啟用AIMaster:彈性自動容錯引擎功能實現任務自動續跑。同時推薦使用EasyCkpt:AI大模型高效能狀態儲存恢複組件,在任務被搶佔時減少訓練進度損失。