全部产品
Search
文档中心

人工智能平台 PAI:使用闲时资源

更新时间:Jul 10, 2026

闲时资源允许DLC任务使用其他资源配额(Quota)的空闲算力,在不影响正常业务的前提下提升资源利用率、降低训练成本。

功能介绍

PAI平台中,不同业务团队使用各自的Quota提交训练任务。但某些Quota在特定时段可能闲置,而其他团队可能因Quota不足而排队,导致资源浪费。

为解决这一问题,DLC提供了闲时资源功能。您可以提交闲时计算任务,利用其他Quota的空闲算力,提升整体资源利用率。

实现原理如下:

  • 提交到通用计算资源Quota的闲时任务, 可以使用所属Quota下的空闲资源; 提交到灵骏智算资源Quota的闲时任务, 可以使用该租户所有Quota下(同规格资源)的空闲资源。

  • 闲时计算任务使用当前或其他Quota的空闲资源,不受本Quota资源总量限制。

  • 当空闲资源被原Quota任务需要时,闲时计算任务自动终止并归还资源。

  • 配合AIMaster和EasyCKPT功能,闲时任务可自动保存进度并续跑,避免算力浪费。

前提条件

已创建预付费资源配额(通用计算资源灵骏智算资源),并绑定到工作空间。具体操作,请参见资源配额(Quota)功能介绍

提交DLC任务使用闲时资源

  1. 在控制台提交DLC训练任务时,在资源信息区域,选择灵骏智算或者通用计算的资源配额后,可配置闲时资源,关键参数说明如下,更多详情请参见创建训练任务

    image

    参数

    描述

    资源类型

    选择通用计算资源灵骏智算资源

    说明

    灵骏智算资源适用于高性能AI训练。

    资源来源

    选择资源配额

    闲时资源

    取值如下:

    • 可接受:作业可以使用租户下所有的闲时计算资源,也可以使用选择的Quota,以出队为准。

    • 只接受:作业仅接受闲时计算资源。

    使用闲时资源运行的任务,可能会因资源回收而被中断,请确保代码包含Checkpoint机制,以便任务重新启动续跑。详情请参见EasyCkpt:AI大模型高性能状态保存恢复

    当选择了可接受选项,任务在出队时使用选择的Quota计算资源,则属于正常保障任务,不会触发闲时资源抢占机制。

    自动容错

    闲时任务可能被抢占,建议开启自动容错功能。开启后,资源被回收时系统会自动寻找新资源并重新运行任务。配置方法请参见AIMaster:弹性自动容错引擎image

  2. 查看DLC任务资源使用详情。

    • 在任务列表或详情中,查看资源使用情况。image

      • 配额内:表示任务使用已关联Quota的资源。

      • 配额外:表示任务使用闲时共享资源。

    • 闲时任务使用共享资源出队时,不展示节点名称。

      image

    • 当任务使用的闲时资源被抢占回收时,在任务详情页面的实例(Pod)状态将被标记为被抢占

      当借出资源的Quota组有新任务需要调度且资源不足时,系统会回收闲时资源以保障该任务。此时,使用该闲时资源的任务实例状态被标记为被抢占。

相关文档

闲时任务可能被抢占,建议启用AIMaster:弹性自动容错引擎功能实现任务自动续跑。同时推荐使用EasyCkpt:AI大模型高性能状态保存恢复组件,在任务被抢占时减少训练进度损失。