Platform For AI:MPIJob トレーニングジョブの送信

オプション 1：mpirun

1. PAI コンソールで、リージョンとワークスペースを選択し、[ディープラーニングコンテナー (DLC)] をクリックします。

2. DLC ページで、[ジョブの作成] をクリックします。

3. [ジョブの作成] ページで、次のパラメーターを設定します。その他のパラメーターについては、「トレーニングジョブの作成」をご参照ください。 [起動コマンド：]

   [リソースタイプ] と [ドライバー設定] は、ワークスペースが Lingjun リソースと汎用リソースの両方をサポートしている場合にのみ表示されます。

   環境情報

   パラメータ	値
   [Image URL]	dsw-registry-vpc.<RegionID>.cr.aliyuncs.com/pai-common/deepspeed-training:23.08-gpu-py310-cu122-ubuntu22.04 — <RegionID> をリージョン ID に置き換えます。China (Ulanqab) の場合は cn-wulanchabu を使用します。その他のリージョン ID については、「リージョンとゾーン」をご参照ください。
   [Startup command]	以下を参照
   [Code Builds]	[Online configuration]Mount path を選択して、作成したコードソースを選択します。 はデフォルトのままにします。

   リソース情報

   パラメータ	値
   [Resource type]	Lingjun AI コンピューティングサービス
   [Source]	Resource Quota
   [Resource quota]	作成した Lingjun リソースクォータを選択します。
   [Framework]	MPI
   [Number of nodes]	2
   [vCPUs]	4
   [GPUs]	1
   [Memory (GiB)]	8
   [Shared memory (GiB)]	8
   [Driver settings]	535.54.03 (上記のテストイメージに推奨)

   cd /root/code/DeepSpeedExamples/training/cifar/
   
   # -np 2: 2 つのプロセスを起動 (ノードごとに 1 つ)
   # -bind-to none -map-by slot: 各スロットで利用可能なすべての CPU コアを使用
   # -x LD_LIBRARY_PATH -x PATH: これらの環境変数をワーカーノードに転送
   # -mca pml ob1 -mca btl ^openib: ポイントツーポイントメッセージングに InfiniBand の代わりに TCP を使用
   mpirun -np 2 --allow-run-as-root \
     -bind-to none -map-by slot \
     -x LD_LIBRARY_PATH -x PATH \
     -mca pml ob1 -mca btl ^openib \
     python /root/code/DeepSpeedExamples/training/cifar/cifar10_tutorial.py

4. [OK] をクリックします。

オプション 2：DeepSpeed (pdsh)

上記の mpirun コマンドの代わりに、この起動コマンドを使用します。その他のパラメータはすべて同じです。

cd /root/code/DeepSpeedExamples/training/pipeline_parallelism

# --hostfile: DLC がすべてのノードアドレスを含むこのファイルを自動生成
# -p 2: パイプラインステージの数
# --steps 200: トレーニングステップの合計数
deepspeed --hostfile /etc/mpi/hostfile train.py \
  --deepspeed_config=ds_config.json \
  -p 2 \
  --steps=200

DeepSpeed でカスタムイメージを使用するには、必要な MPI および DeepSpeed ライブラリをイメージにインストールします。DockerHub の公式 DeepSpeed イメージには、これらのライブラリが事前にインストールされています。