通過控制台自訂部署 - Platform For AI

EAS（Elastic Algorithm Service）的自訂部署提供高度靈活和全面的AI推理服務託管能力，支援將任意演算法或模型封裝成線上服務。

說明

推薦優先嘗試情境化部署（適用於 LLM、ComfyUI 等），不滿足需求時，再使用自訂部署。

快速開始：部署一個簡單的Web服務

本節使用鏡像部署模式，快速部署一個簡單的Web服務。

第1步：準備代碼檔案

將如下Flask應用代碼儲存為app.py檔案。注意，服務監聽在8000連接埠。

app.py

from flask import Flask

app = Flask(__name__)

@app.route('/hello')
def hello_world():
    #  這裡是模型推理或其他商務邏輯
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

第2步：上傳代碼至OSS

將app.py檔案上傳到OSS Bucket中（請確保OSS Bucket與EAS工作空間在同一地區）。例如，上傳至oss://examplebucket/code/目錄下。

第3步：配置並部署服務

登入PAI控制台，在頁面上方選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。
在推理服务頁簽，單擊部署服务。然後在自定义模型部署地區，單擊自定义部署。
在配置頁面，如下填寫環境資訊和資源資訊地區的關鍵參數：
- 部署方式：選擇镜像部署。
- 镜像配置：選擇官方镜像python-inference:3.9-ubuntu2004。
- 儲存掛載：將包含app.py的OSS目錄掛載到容器的/mnt/data/路徑下。
  - Uri：選擇代碼所在的OSS目錄，本例中為oss://examplebucket/code/。
  - 挂载路径：為該目錄在容器內指定本地路徑，本例中為/mnt/data/。
- 运行命令：由於app.py已被掛載到容器的/mnt/data/目錄，因此啟動命令為：python /mnt/data/app.py。
- 三方库配置：本範例程式碼依賴的flask庫未包含在使用的官方鏡像中。可以在三方库列表直接添加flask。EAS會在服務啟動時自動安裝。
- 資源配置：為服務分配合適的計算資源。對於這個簡單樣本，一個小型CPU執行個體即可滿足需求。
  - 资源类型：公用資源。
  - 资源规格：ecs.c7.large。
完成配置後，單擊部署。服務狀態變為运行中時，即表示部署成功，可進行服務調用。

更多配置說明

配置運行環境

在环境信息地區，佈建服務的運行環境與依賴項。

參數	描述
镜像配置	服務的運行環境基礎。可以使用PAI提供的官方鏡像，或通過自定义镜像或輸入镜像地址使用自行構建的鏡像，詳情請參見自訂鏡像。說明若鏡像中包含WebUI，开启Web应用，EAS 會自動啟動Web伺服器，方便直接存取前端頁面。
存储挂载	將存放在OSS、NAS等雲端儲存上的模型、代碼或資料掛載到容器的本地路徑，實現代碼/資料與環境解耦，便於獨立更新。詳情請參見儲存掛載。
数据集挂载	若希望對模型或資料進行版本化管理，可使用数据集功能掛載。詳見建立及管理資料集。
运行命令	設定鏡像啟動命令（例如`python /run.py`）。
端口号	設定服務監聽的連接埠。連接埠號碼在一些情境中為可選。例如，在使用者服務中不依賴由EAS網關匯入的流量，而是使用者在鏡像中自行通過訂閱訊息佇列的方式擷取訊息，則此情境中鏡像連接埠號碼可選填。重要 EAS引擎固定佔用8080和9090連接埠，部署新服務時請避開這兩個連接埠，以免衝突導致服務無法啟動。
三方库配置	若僅需額外安裝少數Python庫，在此處直接添加庫名或指定一個requirements.txt文件路径，避免重新構建鏡像。
环境变量	以索引值對形式為服務執行個體設定環境變數。

配置計算資源

在资源信息地區，為服務配置計算資源，包括選擇資源類型與執行個體規格、配置系統硬碟、設定副本數和調度策略等。詳情請參見資源配置。

佈建服務網路

专有网络：若服務需要訪問公網資源、訪問VPC內的資料庫或訊息佇列，或希望用戶端通過VPC直連調用，需配置專用網路。詳情請參見EAS訪問公網或內網資源。
服務調用：部署完成後，根據業務情境選擇合適的調用方式（網關、NLB、Nacos、gRPC）。詳情請參見服務調用。

保障服務安全

在服务功能地區佈建服務的鑒權和資料安全：

參數	描述
自定义鉴权	如果不想使用系統自動產生的Token，可在此處自訂服務訪問的鑒權Token。
配置安全加密环境	與系統信任管理服務整合，保證服務在部署和調用過程中資料、模型和代碼的安全加密，實現可信推理。該功能主要針對掛載的隱藏檔，請先完成儲存掛載再開啟。詳情請參見安全加密推理服務。
实例RAM角色	為執行個體關聯RAM角色後，服務內代碼可基於STS臨時憑證訪問其他雲資源，無需配置固定的AccessKey，從而降低密鑰泄漏風險。詳情請參見配置EAS RAM角色。
AI安全护栏	對 LLM 推理服務的輸入和輸出進行Alibaba Content Security Service檢測，攔截有害內容。支援 OpenAI Completions（文生文）、Chat Completions（文生文）、Image Generation（文生圖）介面。。說明該功能僅限華東2（上海）地區使用。
可见范围	控制服務在服務列表中的可見範圍：工作空间内可见：工作空間內所有成員均可查看該服務。適用於團隊協作情境。仅创建者可见：僅服務建立者本人可查看該服務。適用於個人測試或敏感服務情境。

保障服務穩定運行

在服务功能地區，可進行以下穩定性相關配置：

服务响应超时时长：配置每個請求的逾時時間，預設為5秒。大模型推理或流式輸出等長耗時情境需適當調大，避免請求被截斷。
健康检查：系統定期探測執行個體的存活狀態，在執行個體異常時自動拉起新執行個體，實現故障自愈。詳情請參見健全狀態檢查。
算力检测与容错：即時監測分布式推理服務的算力健康狀態，實現故障自動檢測與智能自愈。詳情請參見算力檢測與容錯。
發布與更新策略：灰階發布、變換、優雅退出、更新計劃等，確保服務版本升級過程中業務不中斷。詳情請參見發行管理。

提升服務效能

通過儲存加速和智能調度提升服務效能，加快啟動速度、提高輸送量並降低延遲。

分布式缓存加速：將掛載的OSS等儲存中的模型或資料檔案快取到執行個體本地，減少I/O延遲。詳情請參見模型緩衝加速。
模型权重服务 (MoWS)：通過模型權重的本機快取和跨執行個體共用，顯著提升大規模執行個體部署情境下的擴縮容效率和服務啟動速度。詳情請參見模型權重服務。
LLM智能路由：當LLM服務有多個後端執行個體時，根據後端負載動態分發請求，均衡各執行個體的算力和顯存使用，提升叢集資源使用率。詳情請參見LLM智能路由部署。

佈建服務觀測

在服务功能地區開啟以下觀測功能，洞察服務狀態和排查問題：

參數

描述

保存调用记录

將服務的所有請求和響應記錄持久化儲存到大数据MaxCompute或日志服务SLS中，用於審計、分析或問題排查。

大数据MaxCompute：選擇一個已建立的MaxCompute项目（如無請建立MaxCompute專案），並配置MaxCompute数据表名稱。部署服務時，系統會自動在選定的專案中建立此表。
日志服务SLS：選擇一個已建立的SLS项目（如無，請建立Project），並配置logstore名稱。部署服務時，系統會自動在選定的專案中建立此 Logstore。

链路追踪

部分官方鏡像已內建採集組件，可一鍵開啟鏈路追蹤功能。對於其他鏡像，可通過簡單配置整合ARMS探針，實現服務調用鏈路的端到端監控。可參見EAS中開啟LLM應用鏈路追蹤（Tracing）。配置方法如下：

運行命令增加aliyun-bootstrap -a install && aliyun-instrument python app.py，用以安裝探針並使用ARMS Python探針啟動應用（請將app.py替換為用於提供預測服務的主檔案）。
三方庫配置增加aliyun-bootstrap，用於從PyPI倉庫下載探針安裝器。

使用非同步與彈性服務

非同步推理：對於AIGC、視頻處理等長耗時推理情境，建議開啟异步队列，用戶端發起調用後可立即獲得響應，並通過輪詢或回調方式擷取最終結果。詳情請參見部署非同步推理服務。
彈性Job服務：在服务功能地區開啟任务模式，可將推理服務部署為按需執行的Job服務，適用於批量資料處理、定時任務等情境。任務完成後資源自動釋放，節約成本。詳情請參見彈性Job服務。

編輯JSON配置

在服务配置地區查看當前介面配置對應的完整 JSON，並支援直接編輯。

說明

對於自動化和精細化配置情境，還可以直接使用 JSON 檔案來定義和部署服務。詳情請參見JSON部署。