組み込み環境変数 - Platform For AI - Alibaba Cloud ドキュメントセンター

Platform for AI (PAI) の Deep Learning Containers (DLC) でトレーニングタスクを送信すると、DLC はコードで直接使用できる環境変数を自動的に挿入します。

共通の環境変数

これらの環境変数は Lingjun AI 計算をベースに構築されています。各変数の説明については、「RDMA: 分散トレーニング向けの高性能ネットワーク」をご参照ください。

PyTorch 環境変数

PyTorch の分散トレーニングでは、マスターノードとワーカーノードが通信するために接続を確立する必要があります。DLC は、マスターノードのアドレスやポートなどのキー情報を、以下の環境変数を通じて同期します。

変数	説明
`MASTER_ADDR`	マスターノードのアドレス。例：`dlc18isgeayd****-master-0`。この値は通常、マスターノードのサービスアドレスです。
`MASTER_PORT`	マスターノードのポート。例：23456。
`WORLD_SIZE`	分散タスク内のノードの総数。たとえば、1 つのマスターノードと 1 つのワーカーノードを含むタスクを送信した場合、WORLD_SIZE は 2 に設定されます。
`RANK`	ノードのインデックス。たとえば、1 つのマスターノードと 2 つのワーカーノードを含むタスクを送信した場合、RANK はマスターノードで 0、worker-0 で 1、worker-1 で 2 になります。
`NPROC_PER_NODE`	各ワーカーノードの GPU 数。たとえば、ワーカーノードが 8 GPU * GU7E 仕様を使用する場合、そのワーカーノードの NPROC_PER_NODE は 8 になります。

TensorFlow 環境変数

TensorFlow の分散タスクは、TF_CONFIG 環境変数から分散ネットワークトポロジーを構築します。DLC は TensorFlow トレーニングのために以下の環境変数を設定します。

変数説明

変数	説明
`TF_CONFIG`	TensorFlow の分散ネットワークトポロジー。例： `{ "cluster": { "worker": [ "dlc1y3madghd**-worker-0.t1612285282502324.svc:2222", "dlc1y3madghd**-worker-1.t1612285282502324.svc:2222" ] }, "task": { "type": "worker", "index": 0 }, "environment": "cloud" }`

TF_CONFIG

TensorFlow の分散ネットワークトポロジー。例：

{
  "cluster": {
    "worker": [
      "dlc1y3madghd****-worker-0.t1612285282502324.svc:2222",
      "dlc1y3madghd****-worker-1.t1612285282502324.svc:2222"
    ]
  },
  "task": {
    "type": "worker",
    "index": 0
  },
  "environment": "cloud"
}