Platform For AI:コマンドの送信

ジョブ送信の共通パラメータ

DLC コマンドラインを使用して TensorFlow (tfjob)、PyTorch (pytorchjob)、または XGBoost (xgboostjob) ジョブを送信する場合、一連の共通パラメータが適用されます。共通パラメータを以下に示します。

TensorFlow トレーニングジョブの送信 (submit tfjob)

• 機能

  TensorFlow トレーニングジョブを送信します。

• 構文

  コマンドラインパラメーターまたはジョブパラメーターファイルのいずれかを使用して TensorFlow ジョブを送信できます。

  ./dlc submit tfjob [flags]

• パラメーター

  コマンドラインパラメーターを使用して TensorFlow ジョブを送信する場合、コマンド内のパラメーターを実際の値に置き換えます。ジョブパラメーターファイルを使用して送信する場合、ファイルに <parameterName>=<parameterValue> の形式でパラメーターを記述します。TensorFlow ジョブを送信するための共通パラメーターは、このトピックの冒頭に記載されています。以下は TensorFlow ジョブに固有のパラメーターです。

  表 2. TensorFlow ジョブ固有のパラメーター

  パラメーター	必須	説明	タイプ	ジョブパラメーターファイルでサポート
  workspace_id	はい	ワークスペース ID。デフォルト値は空です。ワークスペースの作成方法については、「ワークスペースの作成と管理」をご参照ください。	STRING	はい
  chief	いいえ	TensorFlow Chief ノードを有効にするかどうかを指定します。有効な値は次のとおりです。 false ：デフォルト。TensorFlow Chief ノードを無効にします。 true ：TensorFlow Chief ノードを有効にします。	BOOL	はい
  chief_image	いいえ	TensorFlow Chief ノードのイメージ。デフォルト値は空です。	STRING	はい
  chief_spec	いいえ	TensorFlow Chief ノードで使用されるインスタンスタイプ。デフォルト値は空です。	STRING	はい
  master_image	いいえ	TensorFlow マスターノードのイメージ。デフォルト値は空です。	STRING	はい
  master_spec	いいえ	TensorFlow マスターノードで使用されるインスタンスタイプ。デフォルト値は空です。	STRING	はい
  masters	いいえ	TensorFlow マスターノード数。デフォルト値は 0 です。	INT	はい
  ps	いいえ	TensorFlow パラメータサーバーノード数。デフォルト値は 0 です。	INT	はい
  ps_image	いいえ	TensorFlow パラメータサーバーノードのイメージ。デフォルト値は空です。	STRING	はい
  ps_spec	いいえ	TensorFlow パラメータサーバーノードで使用されるインスタンスタイプ。デフォルト値は空です。	STRING	はい
  worker_image	いいえ	TensorFlow ワーカーノードのイメージ。デフォルト値は空です。	STRING	はい
  worker_spec	いいえ	TensorFlow ワーカーノードで使用されるインスタンスタイプ。デフォルト値は空です。	STRING	はい
  workers	いいえ	TensorFlow ワーカーノード数。デフォルト値は 0 です。	INT	はい
  evaluator_image	いいえ	TensorFlow エバリュエーターノードのイメージ。デフォルト値は空です。	STRING	はい
  evaluator_spec	いいえ	TensorFlow エバリュエーターノードで使用されるインスタンスタイプ。デフォルト値は空です。	STRING	はい
  evaluators	いいえ	TensorFlow エバリュエーターノード数。デフォルト値は 0 です。	INT	はい
  graphlearn_image	いいえ	TensorFlow GraphLearn ノードのイメージ。デフォルト値は空です。	STRING	はい
  graphlearn_spec	いいえ	TensorFlow GraphLearn ノードで使用されるインスタンスタイプ。デフォルト値は空です。	STRING	はい
  graphlearns	いいえ	TensorFlow GraphLearn ノード数。デフォルト値は 0 です。	INT	はい

  表 3. 専用リソースグループに TensorFlow ジョブを送信する場合の固有パラメーター

  パラメーター	必須	説明	タイプ	ジョブパラメーターファイルでサポート
  resource_id	いいえ (専用リソースグループにジョブを送信する場合は必須)	専用リソースクォータの ID。デフォルト値は空です。専用リソースクォータの作成方法については、「一般的なコンピューティングリソースクォータ」をご参照ください。	STRING	はい
  priority	いいえ	ジョブ優先度。デフォルト値は 1 です。	INT	はい
  chief_cpu	いいえ	TensorFlow Chief ノードで使用される CPU 数。デフォルト値は空です。	STRING	はい
  chief_gpu	いいえ	TensorFlow Chief ノードで使用される GPU 数。デフォルト値は空です。	STRING	はい
  chief_gpu_type	いいえ	TensorFlow Chief ノードで使用される GPU タイプ。デフォルト値は空です。例：GU50。	STRING	はい
  chief_memory	いいえ	TensorFlow Chief ノードで使用されるメモリリソース。デフォルト値は空です。例：500 Mi、1 Gi。	STRING	はい
  chief_shared_memory	いいえ	TensorFlow Chief ノードの共有メモリリソース。デフォルト値は空です。例：500 Mi、1 Gi。	STRING	はい
  master_cpu	いいえ	TensorFlow マスターノードで使用される CPU 数。デフォルト値は空です。	STRING	はい
  master_gpu	いいえ	TensorFlow マスターノードで使用される GPU 数。デフォルト値は空です。	STRING	はい
  master_gpu_type	いいえ	TensorFlow マスターノードで使用される GPU タイプ。デフォルト値は空です。例：GU50。	STRING	はい
  master_memory	いいえ	TensorFlow マスターノードで使用されるメモリリソース。デフォルト値は空です。例：500 Mi、1 Gi。	STRING	はい
  master_shared_memory	いいえ	TensorFlow マスターノードの共有メモリリソース。デフォルト値は空です。例：500 Mi、1 Gi。	STRING	はい
  *_cpu	いいえ	TensorFlow ノードで使用される CPU 数。デフォルト値は空です。 は、ps、worker、evaluator、graphlearn のいずれかです。	STRING	はい
  *_gpu	いいえ	TensorFlow ノードで使用される GPU 数。デフォルト値は空です。 は、ps、worker、evaluator、graphlearn のいずれかです。	STRING	はい
  *_gpu_type	いいえ	TensorFlow ノードで使用される GPU タイプ。デフォルト値は空です。例：GU50。 は、ps、worker、evaluator、graphlearn のいずれかです。	STRING	はい
  *_memory	いいえ	TensorFlow ノードで使用されるメモリリソース。デフォルト値は空です。例：500 Mi、1 Gi。 は、ps、worker、evaluator、graphlearn のいずれかです。	STRING	はい
  *_shared_memory	いいえ	TensorFlow ノードの共有メモリリソース。デフォルト値は空です。例：500 Mi、1 Gi。 は、ps、worker、evaluator、graphlearn のいずれかです。	STRING	はい

• 例

  • コマンドラインパラメーターを使用して、ワーカー 2 つと PS ノード 1 つを持つ分散ジョブを送信する例：

    ./dlc submit tfjob --name=test_2021 --ps=1 \
      --ps_spec=ecs.g6.8xlarge \
      --ps_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04 \
      --workers=2 \
      --worker_spec=ecs.g6.4xlarge \
      --worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04 \
      --command="python /root/data/dist_mnist/code/dist-main.py --max_steps=10000 --data_dir=/root/data/dist_mnist/data/" \
      --workspace_id=***** \
      --data_sources=d-pcsah1t86b********:v1:/mnt/data/

    次のような結果が返されます。

    +----------------------------------+--------------------------------------+
    |              JobId               |              RequestId               |
    +----------------------------------+--------------------------------------+
    | dlcmp6vwljkz****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
    +----------------------------------+--------------------------------------+

  • ジョブパラメーターファイルを使用して、ワーカー 2 つと PS ノード 1 つを持つ分散ジョブを送信する例：

    ./dlc submit tfjob --job_file=job_file.dist_mnist.1ps2w

    ここで、job_file.dist_mnist.1ps2w はジョブパラメーターファイルです。パラメーターは <parameterName>=<parameterValue> の形式で指定されます。job_file.dist_mnist.1ps2w の内容は次のとおりです。

    name=test_2021
    workers=2
    worker_spec=ecs.g6.4xlarge
    worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04
    ps=1
    ps_spec=ecs.g6.8xlarge
    ps_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04
    command=python /root/data/dist_mnist/code/dist-main.py --max_steps=10000 --data_dir=/root/data/dist_mnist/data/
    workspace_id=*****
    data_sources=d-pcsah1t86b********:v1:/mnt/data/

PyTorch トレーニングジョブの送信

• 機能

  PyTorch トレーニングジョブの送信に使用します。

• 構文

  コマンドラインパラメーターまたはジョブパラメーターファイルのいずれかを使用して PyTorch ジョブを送信できます。

  ./dlc submit pytorchjob [flags]

• パラメーター

  コマンドラインパラメーターを使用して PyTorch ジョブを送信する場合は、コマンド内のパラメーターを実際の値に置き換えます。ジョブパラメーターファイルを使用して送信する場合は、<parameterName>=<parameterValue> の形式でファイルにパラメーターを記述します。PyTorch ジョブの送信に関する共通パラメーターは、このトピックの冒頭に記載されています。以下は PyTorch ジョブ固有のパラメーターです。

  表 4. PyTorch ジョブ固有のパラメーター

  パラメーター	必須	説明	タイプ	ジョブパラメーターファイルでのサポート
  workspace_id	はい	ワークスペース ID です。デフォルト値は空です。ワークスペースの作成方法については、「Create and manage workspaces」をご参照ください。	STRING	はい
  master_image	いいえ	PyTorch マスターノードのイメージです。デフォルト値は空です。	STRING	はい
  master_spec	いいえ	PyTorch マスターノードが使用するインスタンスタイプです。デフォルト値は空です。	STRING	はい
  masters	いいえ	PyTorch マスターノードの数です。デフォルト値は 0 です。	INT	はい
  worker_image	いいえ	PyTorch ワーカーノードのイメージです。デフォルト値は空です。	STRING	はい
  worker_spec	いいえ	PyTorch ワーカーノードが使用するインスタンスタイプです。デフォルト値は空です。	STRING	はい
  workers	いいえ	PyTorch ワーカーノードの数です。デフォルト値は 0 です。	INT	はい

  表 5. 専用リソースグループへの PyTorch ジョブの送信に固有のパラメーター

  パラメーター	必須	説明	タイプ	ジョブパラメーターファイルでのサポート
  resource_id	いいえ (専用リソースグループにジョブを送信する場合は必須)	専用リソースクォータの ID です。デフォルト値は空です。専用リソースクォータの作成方法については、「General computing resource quotas」をご参照ください。	STRING	はい
  priority	いいえ	ジョブ優先度です。デフォルト値は 1 です。	INT	はい
  master_cpu	いいえ	PyTorch マスターノードが使用する CPU の数です。デフォルト値は空です。	STRING	はい
  master_gpu	いいえ	PyTorch マスターノードが使用する GPU の数です。デフォルト値は空です。	STRING	はい
  master_gpu_type	いいえ	PyTorch マスターノードが使用する GPU のタイプです。デフォルト値は空です。例： GU50。	STRING	はい
  master_memory	いいえ	PyTorch マスターノードが使用するメモリリソースです。デフォルト値は空です。例： 500 Mi、1 Gi。	STRING	はい
  master_shared_memory	いいえ	PyTorch マスターノードの共有メモリリソースです。デフォルト値は空です。例： 500 Mi、1 Gi。	STRING	はい
  worker_cpu	いいえ	PyTorch ワーカーノードが使用する CPU の数です。デフォルト値は空です。	STRING	はい
  worker_gpu	いいえ	PyTorch ワーカーノードが使用する GPU の数です。デフォルト値は空です。	STRING	はい
  worker_gpu_type	いいえ	PyTorch ワーカーノードが使用する GPU のタイプです。デフォルト値は空です。例： GU50。	STRING	はい
  worker_memory	いいえ	PyTorch ワーカーノードが使用するメモリリソースです。デフォルト値は空です。例： 500 Mi、1 Gi。	STRING	はい
  worker_shared_memory	いいえ	PyTorch ワーカーノードの共有メモリリソースです。デフォルト値は空です。例： 500 Mi、1 Gi。	STRING	はい

• 例

  コマンドラインパラメーターを使用して GPU モデルトレーニングジョブを送信する例は、次のとおりです。

  ./dlc submit pytorchjob --name=test_pt_face \
    --workers=1 \
    --worker_spec=ecs.gn6e-c12g1.3xlarge \
    --worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04 \
    --command="apt-get update; apt-get -y --allow-downgrades install libpcre3=2:8.38-3.1 libpcre3-dev libgl1-mesa-glx libglib2.0-dev; cd /root/data/face; python train.py --num_workers 0 --save_folder outputs" \
    --data_sources=d-pcsah1t86b********:v1:/mnt/data/ \
    --workspace_id=*****

  コマンドラインパラメーターを使用してスポットリソースを使用するモデルトレーニングジョブを送信する例は、次のとおりです。

  ./dlc submit pytorchjob --name=test_pt_face \
    --workers=1 \
    --elastic_spot_specs=ml.gp7vf.16.40xlarge:discount:1,ml.gu8tef.8.46xlarge:discount:1,ml.gu8tf.8.40xlarge:discount:0.5 \
    --worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04 \
    --command="apt-get update; apt-get -y --allow-downgrades install libpcre3=2:8.38-3.1 libpcre3-dev libgl1-mesa-glx libglib2.0-dev; cd /root/data/face; python train.py --num_workers 0 --save_folder outputs" \
    --workspace_id=*****

  システムは次のような結果を返します：

  +----------------------------------+--------------------------------------+
  |              JobId               |              RequestId               |
  +----------------------------------+--------------------------------------+
  | dlcu704xxuxk****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
  +----------------------------------+--------------------------------------+

XGBoost トレーニングジョブの送信 (submit xgboostjob)

• 機能

  XGBoost トレーニングジョブを送信するために使用します。

• 構文

  コマンドラインパラメーターまたはジョブパラメーターファイルのいずれかを使用して XGBoost ジョブを送信できます。

  ./dlc submit xgboostjob [flags]

• パラメーター

  コマンドラインパラメーターを使用して XGBoost ジョブを送信する場合、コマンド内のパラメーターを実際の値に置き換えます。ジョブパラメーターファイルを使用して送信する場合、ファイルに <parameterName>=<parameterValue> の形式でパラメーターを記述します。XGBoost ジョブを送信するための共通パラメーターは、このトピックの冒頭に記載されています。以下は XGBoost ジョブに固有のパラメーターです：

  表 6. XGBoost ジョブ固有のパラメーター

  パラメーター	必須	説明	タイプ	ジョブパラメーターファイルでサポート
  workspace_id	はい	ワークスペース ID です。デフォルト値は空です。ワークスペースの作成方法については、「ワークスペースの作成と管理」をご参照ください。	STRING	はい
  master_image	いいえ	XGBoost マスターノードのイメージです。デフォルト値は空です。	STRING	はい
  master_spec	いいえ	XGBoost マスターノードが使用するインスタンスタイプです。デフォルト値は空です。	STRING	はい
  masters	いいえ	XGBoost マスターノードの数です。デフォルト値は 0 です。	INT	はい
  worker_image	いいえ	XGBoost ワーカーノードのイメージです。デフォルト値は空です。	STRING	はい
  worker_spec	いいえ	XGBoost ワーカーノードが使用するインスタンスタイプです。デフォルト値は空です。	STRING	はい
  workers	いいえ	XGBoost ワーカーノードの数です。デフォルト値は 0 です。	INT	はい

  表 7. 専用リソースグループに XGBoost ジョブを送信する場合の固有パラメーター

  パラメーター	必須	説明	タイプ	ジョブパラメーターファイルでサポート
  resource_id	いいえ (専用リソースグループにジョブを送信する場合は必須)	専用リソースクォータの ID です。デフォルト値は空です。リソースクォータの作成方法については、「汎用コンピューティングリソースクォータ」をご参照ください。	STRING	はい
  priority	いいえ	ジョブの優先度です。デフォルト値は 1 です。	INT	はい
  master_cpu	いいえ	XGBoost マスターノードが使用する CPU の数です。デフォルト値は空です。	STRING	はい
  master_gpu	いいえ	XGBoost マスターノードが使用する GPU の数です。デフォルト値は空です。	STRING	はい
  master_gpu_type	いいえ	XGBoost マスターノードが使用する GPU のタイプです。デフォルト値は空です。例：GU50	STRING	はい
  master_memory	いいえ	XGBoost マスターノードが使用するメモリリソースです。デフォルト値は空です。例：500 Mi、1 Gi	STRING	はい
  master_shared_memory	いいえ	XGBoost マスターノードの共有メモリリソースです。デフォルト値は空です。例：500 Mi、1 Gi	STRING	はい
  worker_cpu	いいえ	XGBoost ワーカーノードが使用する CPU の数です。デフォルト値は空です。	STRING	はい
  worker_gpu	いいえ	XGBoost ワーカーノードが使用する GPU の数です。デフォルト値は空です。	STRING	はい
  worker_gpu_type	いいえ	XGBoost ワーカーノードが使用する GPU のタイプです。デフォルト値は空です。例：GU50	STRING	はい
  worker_memory	いいえ	XGBoost ワーカーノードが使用するメモリリソースです。デフォルト値は空です。例：500 Mi、1 Gi	STRING	はい
  worker_shared_memory	いいえ	XGBoost ワーカーノードの共有メモリリソースです。デフォルト値は空です。例：500 Mi、1 Gi	STRING	はい

• 例

  コマンドラインパラメーターを使用して XGBoost ジョブを送信します。例：

  ./dlc submit xgboostjob --name=test_xgboost \
    --workers=1 \
    --worker_spec=ecs.gn6e-c12g1.3xlarge \
    --worker_image=xgboost-training:1.6.0-cpu-py36-ubuntu18.04 \
    --command="python /root/code/horovod/xgboost/main.py --job_type=Train --xgboost_parameter=objective:multi:softprob,num_class:3 --n_estimators=50 --model_path=autoAI/xgb-opt/2" \
    --data_sources=d-pcsah1t86b********:v1:/mnt/data/ \
    --workspace_id=*****

  システムは次のような結果を返します：

  +----------------------------------+--------------------------------------+
  |              JobId               |              RequestId               |
  +----------------------------------+--------------------------------------+
  | dlc1nvu3gli0****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
  +----------------------------------+--------------------------------------+

ジョブ送信の高度なパラメーター

関連ドキュメント

• ジョブの送信に成功すると、クライアントツールでジョブを管理できます。詳細については、「トレーニングジョブを停止するコマンド」および「ログまたはジョブを照会するコマンド」をご参照ください。

• 送信したジョブは、コンソールでも管理できます。詳細については、「トレーニングジョブの管理」をご参照ください。