EAS架構及使用方法 - Platform For AI

模型訓練完成後，可以通過EAS（Elastic Algorithm Service）快速部署為線上推理服務或AI-Web應用。EAS支援異構資源，結合自動擴縮容、一鍵壓測、灰階發布、即時監控等能力，以更低成本保障高並發情境下的服務穩定性與商務持續性。

EAS產品功能

EAS功能詳細說明

基礎設施層：支援異構硬體（CPU或GPU），提供AI專屬GU機型和搶佔型執行個體（Spot），兼顧效能與成本效率。
容器調度層：通過彈性與定時擴縮容、彈性資源集區等機制，動態匹配業務負載變化，提升資源使用率。
- 彈性擴縮容：根據即時負載自動調整執行個體數量，應對不可預測的流量高峰，避免資源閑置或過載。
- 定時擴縮容：適用於有規律的業務周期（如早高峰、促銷活動），提前設定擴縮策略，精準控制資源投入。
- 彈性資源集區：如果專屬資源群組內資源已經佔滿，系統自動將新增執行個體調度至隨用隨付的公用資源群組，以保障服務的穩定性。
模型部署層：整合發布、壓測、監控全流程功能，簡化營運操作，提升部署可靠性。
- 一鍵壓測：支援動態加壓並自動探測服務極限，即時查看秒級監控資料與壓測報告，快速評估服務能力。
- 灰階發布：可將多個服務加入同一灰階群組，靈活分配生產與灰階流量比例，安全驗證新版本效果。
- 即時監控：部署後可在控制台查看QPS、響應時間長度、CPU利用率等關鍵計量，全面掌握服務運行狀態。
- 流量鏡像：將線上流量按比例複製到測試服務，用於驗證新服務效能和可靠性，不影響真實使用者請求。
推理能力：提供三類推理模式：
- 即時同步推理：適用於搜尋推薦、對話機器人等情境，具備高吞吐、低延遲特性。系統還可以根據業務需求適配合理的部署機型，以實現最佳的運行效果。
- 近即時非同步推理：適用於線上服務中逐條請求處理的長耗時任務（如文圖產生、視頻處理等），內建訊息佇列，支援彈性擴縮，免營運。
- 離線批量推理：適用於響應時間長度不敏感、需批量處理的情境，例如語音資料批量文本轉換等。同時支援搶佔型資源執行個體，以控製成本。

計費說明

當您使用EAS部署服務，可能會涉及計算資源、系統硬碟和專屬網關的使用和計費：

計算資源：包括公用資源、專屬資源、靈駿智算資源。
系統硬碟（可選）：提供免費額度（公用資源30G，專屬資源200G），使用額外系統硬碟需單獨計費。
專屬網關（可選）：部署預設使用共用網關（免費），如果您有安全隔離、存取控制、自訂網域名等需求，可以付費購買專屬網關，使用專屬網關需手動設定。

關於計費模式，EAS提供以下2種計費模式。

隨用隨付：根據服務運行時間長度進行計費（非服務調用量）。適合不確定的、需求波動大的情境。
訂用帳戶：先付費再使用，可以享受更優惠的價格。適合長期穩定的業務。

對於SDWebUI和ComfyUI，EAS提供了Serverless版本，服務部署完全免費，僅在服務調用時根據實際推理時間長度計費。

重要

如果使用了彈性公網、 OSS、NAS 等其他阿里雲服務，將產生歸屬於其他雲端服務的費用。

更多請參見模型線上服務（EAS）計費說明。

使用流程

步驟1：準備工作

準備推理資源
根據模型大小、並發需求和預算，選擇合適的EAS資源類型。EAS專屬資源或靈駿智算資源，需先購買再使用。資源選型及購買配置指導請參見EAS部署資源概述。
準備模型及代碼檔案等
準備已訓練好的模型、代碼處理檔案以及其他依賴項，將檔案上傳至指定雲產品儲存如OSS。通過儲存掛載來擷取服務部署過程依賴的資料。

步驟2：部署服務

部署工具：支援通過控制台、EASCMD命令列、SDK的方式部署和管理服務。
- 控制台：提供自訂部署和情境化部署方式，操作便捷，適合新手使用。
- EASCMD命令列：支援服務建立、更新、查看等，適合熟悉EAS部署的演算法人員。
- SDK：適用於大規模統一調度營運。
部署方式：支援鏡像方式部署（推薦）和Processor方式部署。區別請參見部署原理。

步驟3：調用與壓測服務

將模型部署為WebUI應用：通過控制台在瀏覽器中開啟互動式頁面，直接體驗模型能力。
將模型部署為API服務：
- 可通過服務線上調試發送HTTP請求，驗證推理功能是否正常。
- 通過API實現同步或非同步呼叫。EAS支援通過共用網關、專屬網關、高速直連等多種服務調用。
使用EAS內建的通用壓測工具對部署的服務進行一鍵壓測，來測試EAS服務在壓力下的效能表現，從而瞭解服務進行模型推理的處理能力。更多關於壓測服務的操作詳情，請參見自動壓測。

步驟4：監控服務與服務擴縮容

服務運行正常後，建議開通服務監控警示，及時掌握資源使用方式、效能指標和潛在異常，確保服務健康運行。
開啟水平或定時自動擴縮容功能，實現線上服務計算資源的即時動態管理。詳見Auto Scaling。

步驟5：非同步推理服務

對於文生圖、視頻處理等耗時較長的請求，建議啟用非同步推理。通過佇列服務接收請求，處理完成後將結果寫入輸出隊列，用戶端非同步查詢結果，避免請求堆積丟失，提高了系統輸送量。EAS支援根據隊列積壓程度自動擴縮容，智能調控執行個體數量。更多介紹請參見非同步推理服務。

步驟6：服務更新

在推理服務列表中，單擊目標服務操作列下的更新，可以更新服務版本。

警告

服務更新過程中將暫時中斷運行，可能導致依賴此服務的請求失敗，請務必謹慎操作。

服務更新完成後，單擊目前的版本，查看版本資訊或切換服務版本。

快速開始

參見模型線上服務 EAS 快速入門。

情境案例

常見問題

Q：專屬資源 vs 公用資源？

公用資源：適合對成本敏感、效能波動容忍度較高的開發測試或小規模業務。成本較低，但高峰期可能存在資源爭用。
專屬資源：適合對服務穩定性和效能有高要求的生產環境核心業務。物理隔離無搶佔風險，彈性資源集區特性允許在專屬資源用滿後，自動溢出到公用資源，兼顧成本與高峰期的業務穩定性。對於庫存緊張的機型，需要通過專屬資源鎖定購買。

Q：EAS相比自建服務有什麼優勢？

EAS提供託管營運：自動處理資源調度、故障恢複和監控，提供標準化的Auto Scaling、灰階發布功能。開發人員可專註模型開發，省去營運成本，加速上線。

Q：服務報錯怎麼辦？

請參考EAS常見問題擷取解決方案。

Platform For AI：EAS概述