自定义组件创建后,可在 Designer 中与官方组件串联使用。以 PyTorch 类型组件(代码目录为 OSS Bucket)为例,介绍如何在 Designer 中使用自定义组件。
使用限制
仅支持在 Designer 中使用通用训练资源公共资源组运行自定义组件。
前提条件
已将执行代码上传到 OSS Bucket 路径,详情参见上传文件。本示例的执行代码示例为main.py和requirements.txt。
操作步骤
创建 Pytorch 类型的自定义组件。
进入新建组件页面,创建 Pytorch 类型的自定义组件,详细操作步骤与参数说明参见创建自定义组件,本示例的核心配置要点如下。
执行配置
参数
描述
任务类型
选择 Pytorch。
执行镜像
选择社区镜像:
pytorch-training:1.12-cpu-py39-ubuntu20.04。执行代码
配置为代码入口文件(main.py、requirements.txt)所在的 OSS Bucket 路径。
执行命令
配置为:
python main.py $PAI_USER_ARGS --train $PAI_INPUT_TRAIN --test $PAI_INPUT_TEST --model $PAI_OUTPUT_MODEL --checkpoints $PAI_OUTPUT_CHECKPOINTS && echo "job finished"。管道及参数配置各参数约束条件配置为:param1范围
[1,10],param2范围(0,1),param3枚举test1/test2/test3,param5枚举1/2/4/8。参数
描述
输入
单击
配置两个输入管道:输入名称分别配置为:train、test。
输入来源:OSS。
是否必填分别配置为:是、否。
描述分别配置为:训练数据、测试数据。
输出
单击
配置两个输出管道:输出名称分别配置为:model、checkpoints。
存储类型:OSS。
是否必填:是。
描述分别配置为:模型数据、算法 checkpoints。
参数
单击
配置五个参数:参数名称分别配置为:param1、param2、param3、param4、param5。
参数类型分别配置为:Int、Float、String、Bool、Int。
默认值分别配置为:6、0.3、test1、true、2。
约束条件配置:单击默认值后的约束,为每个参数配置约束条件。
是否必填分别配置为:是、是、是、否、否。
训练约束
参数
描述
开启训练约束
打开开启训练约束开关。
机器类型
选择 CPU 和 GPU。
支持多机
选择支持。
支持多卡
选择不支持。
新建空白工作流并双击工作流名称进入工作流页面,详情参见创建工作流:空白工作流。
本示例的组件名称为 component。将左侧自定义组件目录中的 component(1.0) 拖入画布,使用方式与 Designer 内置组件一致。右侧自动展示参数设置面板,显示已配置的参数及其可视化控件。
组件创建后,Designer 的算法树中会展示当前工作空间的自定义组件。
输入、输出通道会转换为 Designer 组件的输入和输出。拖入画布后,组件上方连接训练数据和测试数据两个输入节点,下方输出模型数据和算法 checkpoints 两个节点。
参数会转换为 Designer 组件右侧面板的可视化控件:数值型参数(如 param1,范围 [1,10])显示为带范围约束的输入框;枚举型参数(如 param3、param5)显示为下拉框;布尔型参数(如 param4)显示为复选框。面板下方还包含 model 和 checkpoints 的 OSS 路径输入框。
每个输出通道对应一个 OSS 目录选择控件。例如 model(模型数据)和 checkpoints(算法 checkpoints)分别对应独立的 OSS 路径选择输入框。
训练约束配置转换为 Designer 的执行调优配置。选中组件节点后,单击右侧执行调优 Tab,可配置资源组、机器实例类型(CPU 或 GPU)、机器数量及最大运行时长(秒)等参数。
如果组件不满足使用场景,您可以在组件列表页面更新配置或新增版本,详情参见管理自定义组件。