Platform For AI：將模型部署為線上服務

PAI-EAS

模型線上服務EAS（Elastic Algorithm Service）是PAI提供的模型線上服務平台，支援一鍵部署模型為線上推理服務或AI-Web應用。它提供彈性擴縮容、資源群組管理、版本控制、資源監控等功能，協助您以較低的資源成本擷取高並發且穩定的線上演算法模型服務。更多內容參見EAS概述。

計費說明

本文樣本使用公用資源建立EAS服務，計費方式為隨用隨付。不需要使用服務時請及時停止或刪除服務，以免繼續計費。

使用EAS部署模型

完整的DSW開發模型到EAS部署案例可參考五. 使用 EAS 部署模型服務。

1. 登入PAI控制台，在頁面上方選擇目標地區，並選擇目標工作空間。然後左側導覽列單擊模型在线服务（EAS） > 部署服务 > 自定义部署。

2. 配置如下關鍵參數，其他參數保持預設即可。完整配置參數參見自訂部署。

   • 部署方式：選擇镜像部署。

   • 镜像配置：鏡像提供模型啟動並執行環境，可以選擇官方鏡像、自訂鏡像或輸入鏡像地址。

     如果您是在DSW開發的模型，可以選擇镜像地址，然後複製DSW中使用的鏡像。在 DSW 開發機執行個體列表中，找到目標執行個體的鏡像版本列，單擊該鏡像地址旁的複製表徵圖即可複製鏡像地址。

     或者使用DSW的鏡像製作功能，將鏡像推送至Container ServiceACR中供EAS使用。詳情參見製作DSW執行個體鏡像。

   • 存储挂载：您可以將應用的代碼檔案上傳至OSS並配置掛載地址。在直接掛載配置中，將類型選擇為 OSS，設定 Uri 為 OSS 路徑（例如 oss://bucket名稱/目錄/），將掛載路徑設定為 /mnt/data/，並根據需要配置是否唯讀開關。

     本文使用如下簡單樣本進行測試，該代碼檔案已上傳至 OSS 中。

     樣本應用代碼 web.py

     from bottle import Bottle, run
     
     # 建立一個執行個體
     app = Bottle()
     
     # 定義一個路由，返回“Hello, World”
     @app.route('/hello', method=['GET', 'POST'])
     def hello():
         # 此處實際使用時替換為入參解析和模型調用
         
         return 'Hello, World!'
     
     # 運行伺服器
     if __name__ == '__main__':
         run(app, host='0.0.0.0', port=9000)

   • 运行命令：填寫啟動命令，啟動範例程式碼。樣本中，运行命令為 python /mnt/data/web.py，端口号為 9000。

   • 端口号：填寫web.py中使用的連接埠9000。

   • 三方库配置：在三方庫配置處，可添加鏡像中缺失的三方庫，樣本如下：在三方庫列表頁簽下的輸入框中填寫需要的三方庫名稱，如 numpy bottle。

   • 资源类型：選擇公共资源，资源规格選擇ecs.gn7i-c16g1.4xlarge即可。

   單擊部署。當服務狀態為运行中時，代表部署成功。

服務調用測試

在模型部署成功後，可使用EAS線上調試功能測試服務介面。操作如下：

1. 在EAS執行個體列表頁，單擊執行個體名稱進入執行個體資訊頁，然後單擊在线调试。

2. 以上文的 web.py 應用為例，輸入請求地址，然後單擊发送请求，如果返回”hello World!”則請求成功。請求路徑為 /api/predict/pai_eas_test/hello，HTTP 方法選擇 POST。

3. 如果您想使用公網地址或VPC地址調用，參見服務調用。