Platform For AI：將模型部署為線上服務

PAI-EAS

模型線上服務EAS（Elastic Algorithm Service）是PAI提供的模型線上服務平台，可支援您一鍵部署模型為線上推理服務或AI-Web應用。它提供了的彈性擴縮容、資源群組管理、版本控制、資源監控等功能，可以支撐您以較低的資源成本擷取高並發且穩定的線上演算法模型服務。更多內容請參見EAS概述。

計費說明

本文樣本將使用公用資源建立EAS服務，計費方式為隨用隨付。當您不需要使用服務時請及時停止或刪除服務，以免繼續計費。

使用EAS部署模型

完整的在DSW開發模型到EAS部署案例您可以參考使用EAS將模型部署為線上服務。

1. 登入PAI控制台，在頁面上方選擇目標地區，並選擇目標工作空間。然後左側導覽列單擊模型在线服务（EAS） > 部署服务 > 自定义部署。

2. 配置如下關鍵參數配置，其他參數預設即可。完整配置參數請參見自訂部署。

   • 部署方式：選擇镜像部署。

   • 镜像配置：鏡像提供模型啟動並執行環境，可以選擇官方鏡像、自訂鏡像或輸入鏡像地址。

     如果您是在DSW開發的模型，可以選擇镜像地址，然後複製DSW中使用的鏡像。

     

     或者也可以使用DSW的鏡像製作功能，將鏡像推送至Container ServiceACR中供EAS使用。詳情見製作DSW執行個體鏡像。

   • 存储挂载：您可以將應用的代碼檔案上傳至OSS中並配置掛載地址。

     

     本文使用如下簡單樣本進行測試，該代碼檔案已上傳至上圖所示的OSS中。

     樣本應用代碼 web.py

     from bottle import Bottle, run
     
     # 建立一個執行個體
     app = Bottle()
     
     # 定義一個路由，返回“Hello, World”
     @app.route('/hello', method=['GET', 'POST'])
     def hello():
         # 此處實際使用時替換為入參解析和模型調用
         
         return 'Hello, World!'
     
     # 運行伺服器
     if __name__ == '__main__':
         run(app, host='0.0.0.0', port=9000)

   • 运行命令：填寫啟動命令，啟動範例程式碼。

     

   • 端口号：填寫web.py中使用的連接埠9000。

   • 三方库配置：在三方庫配置處，您可以添加鏡像中缺失的三方庫，樣本如下：

     

   • 资源类型：選擇公共资源，资源规格選擇ecs.gn7i-c16g1.4xlarge即可。

   單擊部署。當服務狀態為运行中時，代表部署成功。

服務調用測試

在模型部署成功後，可以使用EAS線上調試功能測試服務介面。操作如下：

1. 在EAS執行個體列表頁，單擊執行個體名稱進入執行個體資訊頁，然後再單擊選擇在线调试。

2. 以上文的web.py應用為例，輸入請求地址 ，然後單擊发送请求，如果返回“hello World!”則請求成功。

3. 如果您想要使用公網地址調用，或者VPC地址調用，請參見服務調用。