闲时资源允许DLC任务使用其他资源配额(Quota)的空闲算力,在不影响正常业务的前提下提升资源利用率、降低训练成本。
功能介绍
PAI平台中,不同业务团队使用各自的Quota提交训练任务。但某些Quota在特定时段可能闲置,而其他团队可能因Quota不足而排队,导致资源浪费。
为解决这一问题,DLC提供了闲时资源功能。您可以提交闲时计算任务,利用其他Quota的空闲算力,提升整体资源利用率。
实现原理如下:
提交到通用计算资源Quota的闲时任务, 可以使用所属Quota下的空闲资源; 提交到灵骏智算资源Quota的闲时任务, 可以使用该租户所有Quota下(同规格资源)的空闲资源。
闲时计算任务使用当前或其他Quota的空闲资源,不受本Quota资源总量限制。
当空闲资源被原Quota任务需要时,闲时计算任务自动终止并归还资源。
配合AIMaster和EasyCKPT功能,闲时任务可自动保存进度并续跑,避免算力浪费。
前提条件
已创建预付费资源配额(通用计算资源或灵骏智算资源),并绑定到工作空间。具体操作,请参见资源配额(Quota)功能介绍。
提交DLC任务使用闲时资源
在控制台提交DLC训练任务时,在资源信息区域,选择灵骏智算或者通用计算的资源配额后,可配置闲时资源,关键参数说明如下,更多详情请参见创建训练任务。

参数
描述
资源类型
选择通用计算资源或灵骏智算资源。
说明灵骏智算资源适用于高性能AI训练。
资源来源
选择资源配额。
闲时资源
取值如下:
可接受:作业可以使用租户下所有的闲时计算资源,也可以使用选择的Quota,以出队为准。
只接受:作业仅接受闲时计算资源。
使用闲时资源运行的任务,可能会因资源回收而被中断,请确保代码包含Checkpoint机制,以便任务重新启动续跑。详情请参见EasyCkpt:AI大模型高性能状态保存恢复。
当选择了可接受选项,任务在出队时使用选择的Quota计算资源,则属于正常保障任务,不会触发闲时资源抢占机制。
自动容错
闲时任务可能被抢占,建议开启自动容错功能。开启后,资源被回收时系统会自动寻找新资源并重新运行任务。配置方法请参见AIMaster:弹性自动容错引擎。

查看DLC任务资源使用详情。
在任务列表或详情中,查看资源使用情况。

配额内:表示任务使用已关联Quota的资源。
配额外:表示任务使用闲时共享资源。
闲时任务使用共享资源出队时,不展示节点名称。

当任务使用的闲时资源被抢占回收时,在任务详情页面的实例(Pod)状态将被标记为被抢占。
当借出资源的Quota组有新任务需要调度且资源不足时,系统会回收闲时资源以保障该任务。此时,使用该闲时资源的任务实例状态被标记为被抢占。
相关文档
闲时任务可能被抢占,建议启用AIMaster:弹性自动容错引擎功能实现任务自动续跑。同时推荐使用EasyCkpt:AI大模型高性能状态保存恢复组件,在任务被抢占时减少训练进度损失。