PAI-EAS Spot基於競價執行個體，是成本效益高的線上推理部署方案，適合成本敏感但可容忍短暫中斷的情境。通過合理配置Spot服務、容錯機制和彈性擴縮容，可在控製成本的同時保持服務穩定。
適用情境
非關鍵業務：即使偶爾遇到服務中斷也不會造成重大影響的應用。
可容錯處理：能通過重試或其他容錯手段應對短暫服務中斷。
成本最佳化需求高：通過使用靈活、低價的計算資源降低營運成本。
Spot服務配置方法
登入PAI控制台，在頁面上方選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。
在推理服务頁簽，單擊部署服务，然後在自定义模型部署地區，單擊自定义部署。
在資源部署模組中，資源類型選擇公共资源，選擇資源規格（推薦使用L或H機型），單擊開啟競價模式，填寫出價。單擊歷史價格曲線，查看該機型過去48小時的市場價記錄作為出價參考。
在部署資源地區可添加多行資源規格，分別設定競價開關及出價金額。競價型保留時間長度選擇無確定保護期間。
重要出價不等於成交價，市場價才是成交價！出價是客戶願意支付的最高價格。只要市場價低於出價，資源就會被保留。持有期間，實際支付遵循市場價，而非出價。
非常建議客戶將出價設定為目錄價格的20%。例如，對於8核單卡L20的隨用隨付目錄價為14.4元/小時，目前市場上的Spot價格不會超過目錄價的20%，即2.88元/小時。這樣可確保在享受價格優惠的同時穩定使用所需資源。詳情請參見競價執行個體選擇。
建議您同時配置常規型執行個體，避免競價執行個體搶佔失敗導致服務部署失敗。
服務部署成功後，可在EAS服務詳情頁查看該機型過去48小時的價格波動，瞭解成本變化。部署完成後，在服務詳情頁的服務執行個體地區可查看搶佔型執行個體運行狀態，單擊執行個體後右側面板展示執行個體規格價格（¥/時）折線圖，其中藍色實線表示執行個體規格原價，紫色虛線表示可用性區域Spot市場價。
Spot回收和容錯機制
EAS平台側回收機制
當Spot執行個體即將被回收時，EAS預計會在大約5分鐘前收到預警通知。接到通知後，EAS執行個體開始優雅退出，從即將回收的執行個體上平穩移出流量，避免請求中斷。同時，EAS自動啟動新執行個體，按使用者配置中指定的機型順序依次嘗試部署。此流程最大限度減少回收影響，保障業務連續運行。
必須配置常規型執行個體，防止所有Spot執行個體被佔用，確保服務持續可用。
觸發回收機制後切換回Spot執行個體
當Spot執行個體被回收並替換為常規型資源後，如需在庫存恢複時切換回競價執行個體，請使用”執行個體重建”功能。
通過“執行個體重建”功能釋放執行個體資源並重新建立相同配置執行個體：
在服務執行個體地區，單擊目標執行個體操作列的下拉式功能表，選擇執行個體重建。
使用者配置策略建議
當Spot執行個體即將被回收時，EAS會自動啟動新執行個體並開始優雅退出。為提升服務穩定性和新執行個體拉起效率，建議採用以下配置策略。
配置多規格執行個體
建議配置多種規格的資源以提升穩定性。配置列表中至少包含一種常規型資源（關閉競價開關）作為保底。EAS將按指定的機型順序依次嘗試部署，確保服務穩定啟動。多執行個體選擇功能多規格執行個體選擇。
在部署資源地區，可添加多種資源規格（最多10種），為每種競價執行個體設定出價（元/小時）。在競價型保留時間長度地區，選擇無確定保護期間或設定執行個體使用1小時。
配置本地目錄記憶體緩衝
配置本地目錄記憶體緩衝可提升Spot回收後新執行個體的啟動速度。空閑記憶體將模型檔案快取到節點記憶體後，新執行個體無需從掛載資料集讀模數型，縮短擴容耗時，減少服務停機時間。
建議建立EAS服務時開啟記憶體緩衝加速，以提升執行個體擴容效率，詳情請參見模型緩衝加速。
在服務功能地區，開啟記憶體緩衝加速開關，開啟後可單擊修改配置調整緩衝參數。
下表展示了開啟記憶體緩衝加速（cachefs）後的效果。以Stable Diffusion模型為例：開啟後，新執行個體初始化時可直接從服務內其他執行個體記憶體讀模數型（cachefs遠端命中），大幅降低模型載入耗時。
模型 | 模型大小 | 模型載入耗時（s） | |
OSS掛載 | cachefs遠端命中 | ||
anything-v4.5.safetensors | 7.2G | 89.88 | 15.18 |
Anything-v5.0-PRT-RE.safetensors | 2.0G | 16.73 | 5.46 |
cetusMix_Coda2.safetensors | 3.6G | 24.76 | 7.13 |
chilloutmix_NiPrunedFp32Fix.safetensors | 4.0G | 48.79 | 8.47 |
CounterfeitV30_v30.safetensors | 4.0G | 64.99 | 7.94 |
deliberate_v2.safetensors | 2.0G | 16.33 | 5.55 |
DreamShaper_6_NoVae.safetensors | 5.6G | 71.78 | 10.17 |
pastelmix-fp32.ckpt | 4.0G | 43.88 | 9.23 |
revAnimated_v122.safetensors | 4.0G | 69.38 | 3.20 |
使用企業版ACR
為加快Spot回收後新執行個體的鏡像拉取速度，建議使用企業版ACR並開啟鏡像加速。加速鏡像地址格式為在普通鏡像URL後添加_accelerated尾碼，部署EAS服務時請選擇企業版ACR執行個體所在的VPC網路。
使用企業版ACR，選擇標準版執行個體規格，建立鏡像倉庫時開啟鏡像加速，以提升新執行個體擴容效率，詳情請參見鏡像加速。
在鏡像加速選項中選擇完整模式。
搭配彈性擴縮容
當業務負載波動明顯時，建議開啟水平自動擴縮容，採用專屬資源群組保底+Spot資源彈性+一般資源兜底的策略，實現平穩拉起並提升性價比。具體配置如下：
購買EAS預付費/後付費專屬資源群組，保障服務的承載流量下限。在控制台配置GPU、CPU和記憶體需求，確保服務可拉起。
開啟EAS弹性资源池配置多種資源規格，按照資源排序優先選擇競價資源，最後為保底資源，波峰時優先使用Spot資源，Spot不足時自動切換一般資源，兼顧性價比與擴容穩定性。
彈性資源集區中配置三種資源規格：ecs.gn8v-8x.48xlarge（競價開啟，出價33元/小時）、ecs.gn8is-8x.32xlarge（競價開啟，出價25元/小時）作為競價資源，ml.gu7i.c8m30.1-gu30（競價關閉）作為保底資源。競價型保留時間長度設定為設定執行個體使用1小時。
服務部署完成後，在詳情頁開啟水平自動彈性擴縮容，可通過QPS、CPU利用率、GPU利用率和隊列長度等指標觸發擴縮容，也可自訂指標。
在自動彈性擴縮容設定彈窗中，配置最小執行個體數和最大執行個體數（例如分別設定為 2 和 10），選擇擴縮容指標並設定閾值（例如 GPU利用率閾值 設定為 60%），單擊開啟。
也可根據業務流量的時間規律開啟定時擴縮容。
在定時自動擴縮容設定對話方塊中，單擊添加建立定時任務，配置任務名稱、目標執行個體數和調度周期（支援按星期、天或Cron運算式三種方式設定），並選擇執行時間，系統將自動產生對應的cron運算式（例如
0 0 9 * * *表示每天9時執行）。配置完成後單擊確定。
建立執行個體時，優先使用專屬資源群組，其次按彈性資源集區的排序依次嘗試可用資源。
例如，當專屬資源群組資源已用滿，需要彈到公用資源集區建立多個執行個體時，系統會判斷當前ecs.gn8v-8x.48xlarge庫存足夠建立幾個執行個體，如果資源不夠則判斷ecs.gn8is-8x.32large可建立幾個執行個體，如果都不夠則採用ml.gu7i.c8m30.1-gu30來建立剩餘執行個體。
例如，如果需要在專屬資源群組的基礎上彈出來8個執行個體，此時可能出現的情況是，專屬資源群組有2個執行個體，ecs.gn8v-8x.48xlarge有3個執行個體，ecs.gn8is-8x.32large有2個執行個體，ml.gu7i.c8m30.1-gu30有3個執行個體。
EAS彈性配置詳情請參見以下文檔：