EAS 服務部署將您的模型或演算法封裝為線上推理服務。EAS提供情境化部署、自訂部署和JSON獨立部署三種方式,最終都產生同一份JSON服務配置。
工作原理(鏡像部署)
EAS服務運行在一個或多個隔離的容器執行個體中。啟動過程包含以下核心要素:
鏡像 :一個包含作業系統、基礎庫(如CUDA)、語言環境(如Python)和必要依賴的唯讀模板。可使用PAI提供的官方鏡像,也可以自訂鏡像以滿足特定業務需求。
代碼與模型 :您的商務邏輯代碼和模型檔案。推薦儲存在Object Storage Service或Apsara File Storage NAS中。這能實現代碼/模型與環境解耦,無需重建鏡像即可更新。
儲存掛載:EAS啟動時,將您指定的外部儲存路徑掛載到容器本地目錄,使容器內代碼可直接存取外部隱藏檔。
運行命令:容器啟動後需要執行的第一個命令。通常用於啟動HTTP服務以接收推理請求。
整個流程如下:
拉取指定的鏡像來建立容器。
將外部儲存掛載到容器的指定路徑。
在容器內執行運行命令。
命令成功執行後,在指定連接埠監聽並處理推理請求。
EAS支援鏡像部署和Processor部署兩種部署方式。推薦使用鏡像部署。因為鏡像部署提供了更高的靈活性和可維護性,而Processor部署在環境和架構存在較多限制。
三種部署方式
EAS 控制台提供以下三種部署方式。三種方式最終都提交同一份 JSON 服務配置,區別在於配置的產生方式。
部署方式 | 說明 | 適用情境 | 詳細文檔 |
情境化模型部署 | 基於預填模板,僅需修改少量參數。 | 部署主流模型或工具(OpenClaw、LLM、RAG 等),快速上線。 | |
自訂部署 | 在控制台表單中填寫配置,由控制台產生 JSON。 | 單個服務的互動式部署,覆蓋大部分常用配置。 | |
JSON獨立部署 | 直接編輯完整 JSON 配置。 | 批量或版本化部署、CI/CD 整合,或使用控制台未提供的配置項。 |
JSON配置還可以通過eascmd用戶端工具或 PAI Python SDK進行部署。
重要配置項
部署服務時,除了選擇部署方式,通常還需要配置以下內容:
計算資源:選擇資源類型、配置系統硬碟等。詳情請參見資源配置。
儲存掛載:將模型檔案和資料從 OSS、NAS 等外部儲存掛載到服務容器。詳情請參見儲存掛載。
網路訪問:佈建服務的網路環境,如Virtual Private Cloud、公網訪問等。詳情請參見EAS訪問公網或內網資源。
動態參數:為服務配置可在運行時動態更新的索引值對,無需重啟即可調整推理行為。詳情請參見配置動態參數。
常見問題
Q:百鍊平台訓練的模型如何部署到 PAI-EAS?
百鍊平台的模型不支援直接匯出到 PAI-EAS 部署。