Platform For AI：配置部署資源

選擇資源類型

選擇建議：

• 測試和開發：使用公用資源，按需付費，無需前期投入。高峰期可能資源不足，詳見公用資產庫存不足怎麼辦。

• 生產環境（穩定業務）：使用EAS 專屬資源群組或資源配額（通用計算2.0），資源獨享、效能穩定，支援預付費降低成本。

• 生產環境（流量波動）：使用虛擬資源群組，專屬資源或資源配額保底，公用資源應對峰值。

• 大模型或特殊硬體：使用資源配額（靈駿智算），訪問高效能硬體。

選擇執行個體規格

根據模型大小和推理負載，選擇 CPU 或 GPU 機型規格。

• 競價執行個體：使用公用資源時，可開啟競價模式並設定出價上限，以低於常規執行個體的價格使用空閑資源。競價執行個體可能被回收，適用於對中斷不敏感的推理任務。

• GPU驱动版本：選擇 GPU 執行個體時，可指定 GPU 驅動版本（服务功能>资源配置），以滿足特定模型或架構的運行要求。

配置系統硬碟

系統硬碟用於儲存運行時產生的臨時資料。不同資源類型的預設配置如下：

• 公用資源：免費提供 30 GiB 系統硬碟，超出部分按用量付費。

• EAS 資源群組或資源配額：預設 60 GiB 系統硬碟，修改容量後從宿主機劃分。

配置共用記憶體

共用記憶體允許容器內的多個進程直接讀寫同一塊記憶體地區，避免資料複製開銷，適用於需要高效處理序間通訊的情境。

使用多進程推理架構（如 vLLM tensor parallel、多 worker 並發推理）時，建議根據模型大小配置足夠的共用記憶體。

設定副本數

副本數即服務啟動並執行執行個體數量。建議配置多個副本，避免單點故障導致服務不可用。

配置調度策略

使用 EAS 資源群組或資源配額時，可通過以下策略最佳化資源調度：

• 弹性资源池：當自有資源不足時，自動使用公用資源（隨用隨付）擴容以應對突發流量；縮容時優先釋放公用資源執行個體，節約成本。詳情請參見彈性資源集區。

• 指定节点调度：將服務限定在指定節點上運行。未指定時，非排除節點均可被使用。

• 高优资源重调度：開啟後，系統周期性將執行個體從低優先順序資源（如公用資源）遷移到高優先順序資源（如專屬資源群組），最佳化成本。適用於變換導致執行個體臨時調度到公用資源、或需要遷移常規執行個體到競價執行個體以節約成本的情境。

• 资源亲和性调度：使用公用資源群組中的靈駿智算資源進行多機分布式推理時，建議在服务功能地區開啟資源親和性調度，將按您填寫的 HPN Zone 將執行個體調度至指定超節點網路域，確保 RDMA 高速互聯。

GPU 切分與分布式推理

• GPU 切分：將一張 GPU 卡的算力和顯存切分給多個服務執行個體共用使用，提升 GPU 利用率，降低部署成本。適用於模型較小或推理負載不高的情境。僅使用EAS資源群組和資源配額時支援開啟。

• 多機分布式推理：將單個服務執行個體部署在多台機器上，突破單機硬體限制，支援超大規模模型的部署與運行。

常見問題