您获得训练好的模型后,可以使用PAI-EAS快速将其部署为RESTful API,实现模型在线服务。针对不同方式获取的训练模型,PAI-EAS支持不同的部署方式,本文介绍如何使用不同的方式进行服务部署,包括通过控制台上传模型、PAI-Studio一键部署、PAI-DSW内部署及本地客户端部署。

前提条件

已获得训练好的模型。

背景信息

PAI-EAS支持以下多种部署方式,以满足您部署通过各种方式获取的训练模型的需求:
  • 控制台上传部署

    如果训练好的模型存储在本地、OSS或公网地址,您可以在PAI EAS模型在线服务页面上传该模型,将其部署为在线服务。

  • PAI-Studio一键部署

    如果您使用PAI-Studio训练模型,可以在实验画布的上方选择部署 > 模型在线部署,将训练完成的模型一键部署为在线服务。

  • 本地客户端部署

    通过客户端工具EASCMD,您可以在自己服务器上对模型服务进行管理,包括创建、查看、删除及修改服务。

  • PAI-DSW部署

    由于PAI-DSW已预置EASCMD客户端,因此使用PAI-DSW训练的模型可以直接部署为在线服务。

控制台上传部署

PAI EAS模型在线服务页面,可以直接上传训练完成的模型,并将其部署为在线模型服务。

  1. 进入PAI EAS模型在线服务页面。
    1. 登录PAI控制台
    2. 在左侧导航栏,选择模型部署 > 模型在线服务(EAS)
  2. PAI EAS模型在线服务页面,单击模型上传部署
  3. 模型配置面板,配置参数。
    区域 参数 描述
    资源组 资源组种类 支持使用公共资源组或已购买(创建)的专属资源组部署模型服务。
    模型 Processor种类

    资源组种类公共资源组时,支持除Blade以外的预置官方Processor(详情请参见预置Processor使用说明),不支持自定义Processor。

    资源组种类为专属资源组时,支持所有的预置官方Processor(详情请参见预置Processor使用说明)和自定义Processor。

    资源种类 资源组种类公共资源组时,该参数生效。
    Processor语言 Processor种类自定义processor时,该参数生效。支持cppjavapython
    Processor包 Processor种类自定义processor时,该参数生效。您可以通过以下任何一种方式配置该参数:
    • Processor包后面的文本框,输入可以公开访问的URL地址。
    • 单击Processor包后的上传本地文件,并根据提示上传已下载的Processor文件。

      系统会将文件上传至当前地域的官方OSS路径,并自动配置Processor包

      说明 通过本地上传的方式,可以使系统在模型部署时,快速加载Processor。
    Processor主文件 Processor种类自定义processor时,该参数生效。自定义Processor包的主文件。
    模型文件 您可以通过以下任何一种方式配置该参数:
    • 本地上传
      1. 单击本地上传
      2. 单击上传本地文件,并根据提示上传本地模型文件。
    • OSS文件导入

      单击OSS文件导入,并下方列表中选择模型文件所在的OSS路径。

    • 公网下载地址

      单击公网下载地址,并在下方文本框中输入可以公开访问的URL地址。

  4. 单击下一步
  5. 部署详情及配置确认面板,配置参数。
    1. 单击新建服务
      PAI-EAS支持以下三种在线部署方式:
      • 新建服务:表示新部署一个服务,本文使用该方式部署模型。
      • 增加已有服务版本:为已有的服务新增一个版本,服务版本在原有服务的版本号基础上加1。详细的操作方法请参见增加已有服务版本
      • 新增蓝绿部署:为已有的服务新增一个关联服务,可以配置两个服务的流量分配。详细的操作方法请参见新增蓝绿部署
    2. 输入自定义模型名称,并配置相关参数。
      参数 描述
      模型部署占用资源 实例数 建议配置多个服务实例,以避免单点部署带来的风险。
      Quota 资源组种类公共资源组时,该参数生效。1 Quota等于1核加4 GB内存,Quota取值范围为1~100。
      核数 资源组种类为专属资源组时,该参数生效。
      内存数(M) 资源组种类为专属资源组时,该参数生效。
      说明
      • 单实例内的CPU、GPU及内存需要位于同一台机器上。如果资源不够,则会导致部署失败。
      • 对于高稳定性要求的正式服务,建议使用包含多台机器的资源组,并部署多个服务实例。
    3. 单击部署

PAI-Studio一键部署

PAI-Studio是PAI经典的可视化建模平台,训练完成的模型可以通过画布上方的部署 > 模型在线部署,一键部署至PAI-EAS,详情请参见基于实验模板快速构建实验

PAI-Studio中可以一键部署至PAI-EAS的算法包括GBDT二分类、线性支持向量机、逻辑回归二分类、逻辑回归多分类、随机森林、KMeans、线性回归、GBDT回归(因为GBDT回归算法不支持INT类型数据输入,所以部署前请确保GBDT算法的输入为DOUBLE类型)及TensorFlow等。

本地客户端部署

通过客户端工具EASCMD,您可以在自己服务器上对模型服务进行管理,包括创建、查看、删除及修改服务。EASCMD客户端的下载及认证方式请参见下载并认证客户端,具体命令的使用方法详情请参见命令使用说明
说明 部署模型时,需要使用AccessKey授权,您可以登录用户信息管理控制台,查看AccessKey。

PAI-DSW部署

PAI-DSW是PAI针对深度学习推出的交互式云端开发环境,提供高性能GPU卡和开放的交互式编程环境。因为PAI-DSW已预置EASCMD客户端工具,所以PAI-DSW训练完成的模型可以直接部署至PAI-EAS,详细的命令使用方式请参见命令使用说明
说明 部署模型时,需要使用AccessKey授权,您可以登录用户信息管理控制台,查看AccessKey。