Platform For AI：EAS概述

靈活的資源與成本管理

• 異構硬體支援：支援CPU、GPU及AI專屬GU機型，滿足不同模型的效能需求。

• 成本最佳化：支援搶佔型執行個體，顯著降低計算成本。通過定時擴縮容，可根據業務周期提前設定策略，精準控制資源投入。

• 彈性資源集區：當專屬資源組用滿後，可自動將新增執行個體調度至公用資源群組，兼顧成本控制與服務穩定性。

全面的穩定性與高可用保障

• 彈性擴縮容：根據即時負載自動調整服務副本數量，應對不可預測的流量高峰，避免資源閑置或服務過載。

• 高可用機制：自動故障恢複，確保服務連續性。專屬資源為物理隔離，無資源搶佔風險。

• 安全發布：支援灰階發布，按比例分配流量至新版本驗證。支援流量鏡像，將線上流量複製到測試服務驗證可靠性，不影響真實使用者請求。

高效的部署與營運

• 一鍵壓測：支援動態加壓並自動探測服務效能極限，即時查看秒級監控資料與壓測報告，協助您快速評估服務能力。

• 即時監控：提供QPS、響應時間長度、CPU利用率等關鍵計量的即時監控，支援開通服務監控警示，全面掌握服務運行狀態。

• 多種部署方式：支援通過鏡像（推薦）或Processor部署方式部署服務，滿足不同技術棧的需求。

多樣的推理模式

• 即時同步推理：高吞吐、低延遲，適用於搜尋推薦、對話機器人等對響應延遲敏感的情境。

• 近即時非同步推理：內建訊息佇列，適用於文圖產生、視頻處理等長耗時任務。根據隊列積壓程度自動擴縮容，避免請求堆積。

• 離線批量推理：適用於對響應時間長度不敏感的批量處理情境，如語音資料批量轉換。支援搶佔型資源執行個體以降低成本。

步驟1：準備工作

1. 準備推理資源：根據模型大小、並發需求和預算，選擇合適的EAS資源類型。資源選型及購買指導請參見EAS部署資源概述。

   說明

   僅公用資源無需提前購買，可直接使用；其他資源類型（EAS資源群組、資源配額）需先購買再使用。

2. 準備檔案：將訓練好的模型、代碼處理檔案及依賴項上傳至OSS等雲端儲存，以便後續通過儲存掛載在服務中使用。

步驟3：調用與壓測服務

• Web應用：若部署為AI-Web應用，可直接在瀏覽器中開啟互動頁面進行體驗。

• API服務：可通過服務線上調試功能驗證服務功能，或通過API進行同步/非同步呼叫，參見服務調用。

• 服務壓測：使用內建的一鍵壓測工具，測試服務在壓力下的效能表現，請參見服務壓測。

步驟4：監控與管理服務

1. 監控與警示：在推理服務列表中查看服務運行狀態及資源群組資訊，可按資源群組篩選服務。建議開通服務監控警示以即時掌握服務健康情況。

2. Auto Scaling：根據業務需求配置彈性擴縮容或定時擴縮容策略，動態管理計算資源。

3. 服務更新：在操作列下單擊更新以部署新版本。更新完成後，可查看版本資訊或切換版本。

   警告

   服務更新過程中將暫時中斷運行，可能導致依賴此服務的請求失敗，請謹慎操作。

4. 服務遷移：如需跨地區遷移EAS服務配置，可使用EASCMD命令列工具匯出源地區的服務配置，然後在目標地區使用該配置建立新服務。

Q：專屬資源 vs 公用資源？

• 公用資源：適合對成本敏感、可容忍效能波動的開發測試或小規模業務。成本較低，但高峰期可能存在資源爭用。

• 專屬資源：適合對穩定性和效能有高要求的生產環境。物理隔離無搶佔風險，彈性資源集區特性允許在專屬資源用滿後自動溢出到公用資源，兼顧成本與高峰期穩定性。庫存緊張的機型需通過專屬資源鎖定購買。

Q：EAS相比自建服務有什麼優勢？

EAS提供託管營運：自動處理資源調度、故障恢複和監控，內建Auto Scaling、灰階發布功能。開發人員可專註模型開發，省去營運成本，加速上線。