Platform For AI：建立自訂群組件

背景資訊

自訂群組件底層採用阿里雲開源的 KubeDL，一個基於 Kubernetes 的 AI 工作負載管理架構。

建立自訂群組件時，您可以選擇任務類型（Tensorflow、PyTorch、XGBoost、ElasticBatch）、建立輸入輸出管道、配置超參等。組件建立後會轉換為 Designer 介面可視化參數，詳情參見操作步驟。

• 不同任務類型會注入對應的環境變數，您可通過這些變數擷取機器數量和拓撲資訊，詳情參見附錄1：任務類型介紹。

• 在執行命令中通過環境變數讀取輸入輸出管道和超參資料，詳情參見如何讀取管道及超參資料。

• 也可以直接通過容器內掛載路徑訪問輸入輸出管道，詳情參見輸入輸出目錄結構。

前提條件

已建立工作空間。自訂群組件與工作空間綁定。詳情參見建立及管理工作空間。

操作步驟

1. 進入組件管理頁面。

   1. 登入PAI 控制台。

   2. 在左側導覽列單擊工作空间列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。

   3. 在左側導覽列，選擇AI资产管理>自定义组件。

2. 在組件列表頁面，單擊新群組件，並在新群組件頁面配置以下參數。

   • 基本資料配置

     參數	描述
     组件名称	自訂群組件名稱，在同一個地區下要求主帳號內唯一。
     組件描述	簡要描述自訂群組件，便於區分不同組件。
     组件版本	建立的自訂群組件版本號碼。 說明 建議使用 x.y.z 格式管理版本。例如首個版本為 1.0.0，修複問題時升級為 1.0.1，功能更新時升級為 1.1.0。
     版本描述	對當前建立的自訂群組件版本進行描述。例如：初始版本。

   • 執行配置

     參數	描述
     任务类型	選擇任務類型。支援 Tensorflow、PyTorch、XGBoost、ElasticBatch 四種類型，分別對應KubeDL中的TFJob、PyTorchJob、XGBoostJob、ElasticBatchJob四種任務類型。詳情參見附錄：任務類型介紹。
     執行鏡像	當前支援選擇社区镜像、官方镜像和自定义镜像，您也可以在镜像地址頁簽配置三種類型的鏡像地址。 說明 為保證任務穩定性，請使用同一 Region 下阿里雲鏡像服務（ACR）。 僅支援 ACR 個人版，不支援企業版。鏡像地址請填寫 VPC 地址，格式為：registry-vpc.${region}.aliyuncs.com。 請勿在同一版本中頻繁更新自訂鏡像，否則鏡像緩衝無法及時重新整理，導致任務啟動時間延長。 鏡像中必須包含 sh shell 命令，系統通過 sh -c 方式執行命令。 自訂鏡像中須包含 Python 環境和 pip 命令，否則任務可能運行失敗。
     執行代碼	自訂群組件的代碼目錄支援 OSS 目錄和 Git 地址： OSS 掛載：組件運行時，該 OSS 目錄中的檔案會下載到/ml/usercode/目錄下，您可以通過命令執行該目錄下的檔案。 說明 建議該目錄只存放演算法必需的檔案，檔案過多會導致啟動逾時。 代碼目錄中存在 requirements.txt 時，運行時會自動執行pip install -r requirements.txt安裝相關依賴。 PAI 代碼配置：配置 Git 程式碼程式庫。
     执行命令	組件鏡像的執行命令。通過環境變數擷取實際值，格式如下： python main.py $PAI_USER_ARGS --{CHANNEL_NAME} $PAI_INPUT_{CHANNEL_NAME} --{CHANNEL_NAME} $PAI_OUTPUT_{CHANNEL_NAME} && sleep 150 && echo "job finished" 通過 PAI_USER_ARGS、PAI_INPUT_{CHANNEL_NAME}、PAI_OUTPUT_{CHANNEL_NAME} 環境變數讀取超參、輸入和輸出管道資料，詳情參見如何讀取管道及超參資料。 例如：輸入管道名稱分別為test、train；輸出管道名稱分別為model、checkpoints，則配置樣本如下： python main.py $PAI_USER_ARGS --train $PAI_INPUT_TRAIN --test $PAI_INPUT_TEST --model $PAI_OUTPUT_MODEL --checkpoints $PAI_OUTPUT_CHECKPOINTS && sleep 150 && echo "job finished" 代碼入口檔案 main.py 的參數解析邏輯樣本如下，實際使用時將您的演算法邏輯整合進去即可： import os import argparse import json def parse_args(): """解析給到指令碼的arguments.""" parser = argparse.ArgumentParser(description="PythonV2 component script example.") # input & output channels parser.add_argument("--train", type=str, default=None, help="input channel train.") parser.add_argument("--test", type=str, default=None, help="input channel test.") parser.add_argument("--model", type=str, default=None, help="output channel model.") parser.add_argument("--checkpoints", type=str, default=None, help="output channel checkpoints.") # parameters parser.add_argument("--param1", type=int, default=None, help="param1") parser.add_argument("--param2", type=float, default=None, help="param2") parser.add_argument("--param3", type=str, default=None, help="param3") parser.add_argument("--param4", type=bool, default=None, help="param4") parser.add_argument("--param5", type=int, default=None, help="param5") args, _ = parser.parse_known_args() return args if __name__ == "__main__": args = parse_args() print("Input channel train={}".format(args.train)) print("Input channel test={}".format(args.test)) print("Output channel model={}".format(args.model)) print("Output channel checkpoints={}".format(args.checkpoints)) print("Parameters param1={}".format(args.param1)) print("Parameters param2={}".format(args.param2)) print("Parameters param3={}".format(args.param3)) print("Parameters param4={}".format(args.param4)) print("Parameters param5={}".format(args.param5)) 範例程式碼運行時的日誌輸出如下： Input channel train=/ml/input/data/train Input channel test=/ml/input/data/test/easyrec_config.config Output channel model=/ml/output/model/ Output channel checkpoints=/ml/output/checkpoints/ Parameters param1=6 Parameters param2=0.3 Parameters param3=test1 Parameters param4=True Parameters param5=2 job finished

   • 管道及參數

     單擊配置自訂群組件的輸入管道（Input Channel）、輸出管道（Output Channel）和參數。名稱命名格式如下：

     • 要求全域唯一，且互相不能重複。

     • 支援數字、字母、底線（_）和減號（-），不能以底線開頭。

       說明

       名稱中不支援的字元（僅支援字母、數字和底線）會被替換為底線，小寫字母會轉為大寫。請避免轉換後產生衝突，例如 test_model 和 test-model 轉換後都是 PAI_HPS_TEST_MODEL。

     管道及參數配置與 Designer 組件介面參數的對應關係：

     具體參數配置說明如下：

     參數	描述
     輸入	通過輸入管道擷取輸入資料或 Fine-tune 模型，支援配置以下參數： 輸入名稱：參照介面提示配置輸入管道名稱。 輸入來源：指定輸入管道讀取 OSS、NAS 或 MaxCompute 路徑的資料。輸入資料會掛載到訓練容器的/ml/input/data/{channel_name}/目錄下，組件可像讀取本地檔案一樣訪問 OSS、NAS 或 MaxCompute 上的資料。
     输出	輸出管道用於儲存訓練模型、Checkpoints等結果，支援配置以下參數： 輸出名稱：參照介面提示配置輸出管道名稱。 存储类型：指定一個 OSS 或 MaxCompute 目錄，該目錄會掛載到訓練容器的/ml/output/{channel_name}/下。
     参数	超參資訊，支援配置以下參數： 參數名稱：參照介面提示配置參數名稱。 參數類型：目前支援配置Int、Float、String、Bool四種類型。 約束：選擇除Bool外的參數類型（包括Int、Float、String）後，在默认值列，單擊約束，來配置參數約束關係。約束類型取值如下： 范围：通過配置最大值和最小值來指定取值範圍。 枚舉：為參數配置枚舉值。

   • 訓練約束

     訓練約束定義訓練任務所需的計算資源。開啟開啟訓練約束開關即可配置。

     配置訓練約束後，在 Designer 工作流程中使用該組件時，右側執行調優面板中的機器執行個體類型、規格選擇、機器數量及最大運行時間長度(秒)等參數將受約束限制。

     具體參數說明如下：

     參數	描述
     機器類型	選擇組件支援 CPU 或 GPU 機器。
     支援多機	是否支援多機分布式運行： 支持：運行時支援配置節點數。 不支持：運行時節點數固定為 1，不可修改。
     支援多卡	僅當機器類型選擇GPU時，支援配置該參數。 是否支援多卡 GPU： 支持：機器類型支援選擇單卡或多卡GPU機器。 不支持：機器類型僅支援選擇單卡GPU機器。

3. 單擊提交。

   組件列表頁面顯示已建立的自訂群組件。

組件建立成功後，後續您可以在Designer中使用該自訂群組件，詳情參見使用自訂群組件。

附錄1：任務類型介紹

{
  "cluster": {
    "chief": [
      "dlc17****iui3e94-chief-0.t104140334615****.svc:2222"
    ],
    "evaluator": [
      "dlc17****iui3e94-evaluator-0.t104140334615****.svc:2222"
    ],
    "ps": [
      "dlc17****iui3e94-ps-0.t104140334615****.svc:2222"
    ],
    "worker": [
      "dlc17****iui3e94-worker-0.t104140334615****.svc:2222",
      "dlc17****iui3e94-worker-1.t104140334615****.svc:2222",
      "dlc17****iui3e94-worker-2.t104140334615****.svc:2222",
      "dlc17****iui3e94-worker-3.t104140334615****.svc:2222"
    ]
  },
  "task": {
    "type": "chief",
    "index": 0
  }
}

{
  "task": {
    "type": "worker",
    "index": 0
  },
  "environment": "cloud"
}

附錄2：自訂群組件實現原理

PAI_INPUT_TRAIN=/ml/input/data/train/
PAI_INPUT_TEST=/ml/input/data/test/test.csv

PAI_OUTPUT_MODEL=/ml/output/model/
PAI_OUTPUT_CHECKPOINTS=/ml/output/checkpoints/

/ml
|-- usercode                        # 使用者代碼載入到/ml/usercode目錄，這裡也是使用者代碼的工作目錄. 可以通過環境變數PAI_WORKING_DIR獲得。
|   |-- requirements.txt
|   |-- main.py
|-- input                           # 作業輸入資料和配置資訊
|   |-- config                      # config目錄包含了作業的配置資訊, 可以通過PAI_CONFIG_DIR擷取。
|       |-- training_job.json       # 作業的完整配置。
|       |-- hyperparameters.json    # 訓練作業超參.
|   |-- data                        # 作業的InputChannels: 以下目錄包含了兩個channel: train_data和test_data。
|       |-- test_data
|       |   |-- test.csv
|       |-- train_data
|           |-- train.csv
|-- output                          # 作業的輸出Channels: 這裡有model/checkpoints兩個輸出channel。
        |-- model                   # 通過環境變數PAI_OUTPUT_{OUTPUT_CHANNEL_NAME}可以獲輸出路徑。
        |-- checkpoints