您可以根據具體演算法使用情境自訂演算法組件,自訂群組件建立成功後即可在Designer中使用該組件進行模型訓練。本文以建立PyTorch類型的自訂群組件,代碼目錄為OSS Bucket為例,為您介紹如何在Designer中使用自訂群組件。
使用限制
僅支援在Designer中使用通用訓練資源公用資源群組運行自訂群組件。
前提條件
已將執行代碼上傳到了OSS Bucket路徑,具體操作請參見上傳檔案。本樣本的執行程式碼範例為main.py和requirements.txt。
操作步驟
-
建立Pytorch類型的自訂群組件。
進入新群組件頁面,建立Pytorch類型的自訂群組件,詳細操作步驟與更多參數配置說明,請參見建立自訂群組件,本樣本的核心配置要點如下。
-
執行配置
參數
描述
任务类型
選擇Pytorch。
執行鏡像
選擇社区镜像:
pytorch-training:1.12-cpu-py39-ubuntu20.04。執行代碼
配置為代碼入口檔案(main.py、requirements.txt)所在的OSS Bucket路徑。
执行命令
配置為:
python main.py $PAI_USER_ARGS --train $PAI_INPUT_TRAIN --test $PAI_INPUT_TEST --model $PAI_OUTPUT_MODEL --checkpoints $PAI_OUTPUT_CHECKPOINTS && echo "job finished"。 -
管道及參數配置各參數約束條件配置為:param1範圍
[1,10],param2範圍(0,1),param3枚舉test1/test2/test3,param5枚舉1/2/4/8。參數
描述
輸入
單擊
配置兩個輸入管道:-
輸入名稱分別配置為:train、test。
-
輸入來源:OSS。
-
是否必填分別配置為:是、否。
-
描述分別配置為:訓練資料、測試資料。
输出
單擊
配置兩個輸出管道:-
輸出名稱分別配置為:model、checkpoints。
-
存储类型:OSS。
-
是否必填:是。
-
描述分別配置為:模型資料、演算法checkpoints。
参数
單擊
配置五個參數:-
參數名稱分別配置為:param1、param2、param3、param4、param5。
-
參數類型分別配置為:Int、Float、String、Bool、Int。
-
默认值分別配置為:6、0.3、test1、true、2。
-
約束條件配置:單擊預設值後的約束,為每個參數配置約束條件。
-
是否必填分別配置為:是、是、是、否、否。
-
-
訓練約束
參數
描述
開啟訓練約束
開啟開啟訓練約束開關。
機器類型
選擇CPU和GPU。
支援多機
選擇支持。
支援多卡
選擇不支持。
-
-
建立空白工作流程並雙擊工作流程名稱進入工作流程頁面,具體操作,請參見建立工作流程:空白工作流程。
-
本樣本的組件名稱為component,您可以在左側組件列表直接將其拖入右側畫布中,即可使用自訂群組件,其使用方式和Designer內建演算法組件一致。將左側自訂群組件目錄中的component(1.0)拖拽至中央畫布,右側將自動展示該組件的參數設定面板,可查看已配置的各參數及其可視化控制項。
當自訂群組件建立成功後,Designer中會在演算法樹中展示當前工作空間中的自訂群組件。
-
自訂群組件的輸入、輸出通道會被轉換為Designer組件的輸入和輸出。拖入畫布後,工作流程中該組件上方串連訓練資料和測試資料兩個輸入節點,下方輸出模型資料和演算法checkpoints兩個節點。
-
自訂群組件的參數會轉換為Designer組件的可視化控制項。自訂群組件的參數配置會被轉換為 Designer 組件右側參數設定面板中的對應控制項。數值型參數(如 param1,範圍[1,10],預設值6)顯示為帶範圍約束的輸入框;浮點型參數(如 param2,範圍(0,1),預設值0.3)同理;枚舉型參數(如 param3、param5)顯示為下拉框;布爾型參數(如 param4)顯示為複選框。面板下方還包含 model 模型資料和 checkpoints 演算法checkpoints 的可選 OSS 路徑輸入框,以及 OSS RAM 角色授權狀態。
-
每個輸出通道會對應一個OSS目錄選擇控制項,讓您可以選擇對應的輸出目錄。例如,model(模型資料)和checkpoints(演算法checkpoints)輸出通道分別對應獨立的OSS直接選取輸入框,位於組件右側參數設定面板的輸出配置地區。
-
自訂群組件訓練約束配置轉換為Designer組件執行調優配置。在畫布中選中自訂群組件節點後,單擊右側屬性面板的執行調優 Tab,可配置資源群組(如公用資源群組)、機器執行個體類型(CPU 或 GPU)、機器數量及最大運行時間長度(秒)等執行參數。
-
後續,如果自訂群組件不滿足您的使用情境,您還可以在組件列表頁面更新自訂群組件相關配置或新增組件版本,詳情請參見管理自訂群組件。