PAI-EAS Spot基于竞价实例，是成本效益高的在线推理部署方案，适合成本敏感但可容忍短暂中断的场景。通过合理配置Spot服务、容错机制和弹性扩缩容，可在控制成本的同时保持服务稳定。
适用场景
非关键业务：即使偶尔遇到服务中断也不会造成重大影响的应用。
可容错处理：能通过重试或其他容错手段应对短暂服务中断。
成本优化需求高：通过使用灵活、低价的计算资源降低运营成本。
Spot服务配置方法
登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。
在推理服务页签，单击部署服务，然后在自定义模型部署区域，单击自定义部署。
在资源部署模块中，资源类型选择公共资源，选择资源规格（推荐使用L或H机型），单击打开竞价模式，填写出价。单击历史价格曲线，查看该机型过去48小时的市场价记录作为出价参考。
在部署资源区域可添加多行资源规格，分别设置竞价开关及出价金额。竞价型保留时长选择无确定保护期间。
重要出价不等于成交价，市场价才是成交价！出价是客户愿意支付的最高价格。只要市场价低于出价，资源就会被保留。持有期间，实际支付遵循市场价，而非出价。
非常建议客户将出价设定为目录价格的20%。例如，对于8核单卡L20的按量付费目录价为14.4元/小时，目前市场上的Spot价格不会超过目录价的20%，即2.88元/小时。这样可确保在享受价格优惠的同时稳定使用所需资源。详情请参见竞价实例选择。
建议您同时配置常规型实例，避免竞价实例抢占失败导致服务部署失败。
服务部署成功后，可在EAS服务详情页查看该机型过去48小时的价格波动，了解成本变化。部署完成后，在服务详情页的服务实例区域可查看抢占型实例运行状态，单击实例后右侧面板展示实例规格价格（¥/时）折线图，其中蓝色实线表示实例规格原价，紫色虚线表示可用区Spot市场价。
Spot回收和容错机制
EAS平台侧回收机制
当Spot实例即将被回收时，EAS预计会在大约5分钟前收到预警通知。接到通知后，EAS实例开始优雅退出，从即将回收的实例上平稳移出流量，避免请求中断。同时，EAS自动启动新实例，按用户配置中指定的机型顺序依次尝试部署。此流程最大限度减少回收影响，保障业务连续运行。
必须配置常规型实例，防止所有Spot实例被占用，确保服务持续可用。
触发回收机制后切换回Spot实例
当Spot实例被回收并替换为常规型资源后，如需在库存恢复时切换回竞价实例，请使用”实例重建”功能。
通过“实例重建”功能释放实例资源并重新创建相同配置实例：
在服务实例区域，单击目标实例操作列的下拉菜单，选择实例重建。
用户配置策略建议
当Spot实例即将被回收时，EAS会自动启动新实例并开始优雅退出。为提升服务稳定性和新实例拉起效率，建议采用以下配置策略。
配置多规格实例
建议配置多种规格的资源以提升稳定性。配置列表中至少包含一种常规型资源（关闭竞价开关）作为保底。EAS将按指定的机型顺序依次尝试部署，确保服务稳定启动。多实例选择功能多规格实例选择。
在部署资源区域，可添加多种资源规格（最多10种），为每种竞价实例设置出价（元/小时）。在竞价型保留时长区域，选择无确定保护期间或设定实例使用1小时。
配置本地目录内存缓存
配置本地目录内存缓存可提升Spot回收后新实例的启动速度。空闲内存将模型文件缓存到节点内存后，新实例无需从挂载数据集读取模型，缩短扩容耗时，减少服务中断时间。
建议创建EAS服务时开启内存缓存加速，以提升实例扩容效率，详情请参见模型缓存加速。
在服务功能区域，打开内存缓存加速开关，开启后可单击修改配置调整缓存参数。
下表展示了开启内存缓存加速（cachefs）后的效果。以Stable Diffusion模型为例：开启后，新实例初始化时可直接从服务内其他实例内存读取模型（cachefs远端命中），大幅降低模型加载耗时。
模型 | 模型大小 | 模型加载耗时（s） | |
OSS挂载 | cachefs远端命中 | ||
anything-v4.5.safetensors | 7.2G | 89.88 | 15.18 |
Anything-v5.0-PRT-RE.safetensors | 2.0G | 16.73 | 5.46 |
cetusMix_Coda2.safetensors | 3.6G | 24.76 | 7.13 |
chilloutmix_NiPrunedFp32Fix.safetensors | 4.0G | 48.79 | 8.47 |
CounterfeitV30_v30.safetensors | 4.0G | 64.99 | 7.94 |
deliberate_v2.safetensors | 2.0G | 16.33 | 5.55 |
DreamShaper_6_NoVae.safetensors | 5.6G | 71.78 | 10.17 |
pastelmix-fp32.ckpt | 4.0G | 43.88 | 9.23 |
revAnimated_v122.safetensors | 4.0G | 69.38 | 3.20 |
使用企业版ACR
为加快Spot回收后新实例的镜像拉取速度，建议使用企业版ACR并开启镜像加速。加速镜像地址格式为在普通镜像URL后添加_accelerated后缀，部署EAS服务时请选择企业版ACR实例所在的VPC网络。
使用企业版ACR，选择标准版实例规格，创建镜像仓库时开启镜像加速，以提升新实例扩容效率，详情请参见镜像加速。
在镜像加速选项中选择完整模式。
搭配弹性扩缩容
当业务负载波动明显时，建议开启水平自动扩缩容，采用专属资源组保底+Spot资源弹性+常规资源兜底的策略，实现平稳拉起并提升性价比。具体配置如下：
购买EAS预付费/后付费专属资源组，保障服务的承载流量下限。在控制台配置GPU、CPU和内存需求，确保服务可拉起。
开启EAS弹性资源池配置多种资源规格，按照资源排序优先选择竞价资源，最后为保底资源，波峰时优先使用Spot资源，Spot不足时自动切换常规资源，兼顾性价比与扩容稳定性。
弹性资源池中配置三种资源规格：ecs.gn8v-8x.48xlarge（竞价开启，出价33元/小时）、ecs.gn8is-8x.32xlarge（竞价开启，出价25元/小时）作为竞价资源，ml.gu7i.c8m30.1-gu30（竞价关闭）作为保底资源。竞价型保留时长设定为设定实例使用1小时。
服务部署完成后，在详情页开启水平自动弹性扩缩容，可通过QPS、CPU利用率、GPU利用率和队列长度等指标触发扩缩容，也可自定义指标。
在自动弹性扩缩容设置弹窗中，配置最小实例数和最大实例数（例如分别设置为 2 和 10），选择扩缩容指标并设置阈值（例如 GPU利用率阈值 设置为 60%），单击开启。
也可根据业务流量的时间规律开启定时扩缩容。
在定时自动扩缩容设置对话框中，单击添加创建定时任务，配置任务名称、目标实例数和调度周期（支持按星期、天或Cron表达式三种方式设置），并选择执行时间，系统将自动生成对应的cron表达式（例如
0 0 9 * * *表示每天9时执行）。配置完成后单击确定。
创建实例时，优先使用专属资源组，其次按弹性资源池的排序依次尝试可用资源。
例如，当专属资源组资源已用满，需要弹到公共资源池创建多个实例时，系统会判断当前ecs.gn8v-8x.48xlarge库存足够创建几个实例，如果资源不够则判断ecs.gn8is-8x.32large可创建几个实例，如果都不够则采用ml.gu7i.c8m30.1-gu30来创建剩余实例。
例如，如果需要在专属资源组的基础上弹出来8个实例，此时可能出现的情况是，专属资源组有2个实例，ecs.gn8v-8x.48xlarge有3个实例，ecs.gn8is-8x.32large有2个实例，ml.gu7i.c8m30.1-gu30有3个实例。
EAS弹性配置详情请参见以下文档：