Variabel lingkungan bawaan - Platform For AI - Alibaba Cloud Documentation Center

Saat Anda mengirimkan task pelatihan di Deep Learning Containers (DLC) Platform for AI (PAI), DLC secara otomatis menyisipkan variabel lingkungan yang dapat langsung digunakan dalam kode Anda.

Variabel lingkungan umum

Variabel lingkungan ini dibangun di atas Lingjun Intelligent Computing. Deskripsi setiap variabel tersedia di RDMA: jaringan berkinerja tinggi untuk pelatihan terdistribusi.

Variabel lingkungan PyTorch

Dalam pelatihan PyTorch terdistribusi, node master dan node pekerja harus menjalin koneksi untuk berkomunikasi. DLC menyinkronkan informasi kunci—seperti alamat dan port node master—melalui variabel lingkungan berikut:

Variable	Description
`MASTER_ADDR`	Alamat node master. Contohnya, `dlc18isgeayd****-master-0`. Nilai ini biasanya merupakan alamat Service dari node master.
`MASTER_PORT`	Port node master. Contohnya, 23456.
`WORLD_SIZE`	Jumlah total node dalam task terdistribusi. Misalnya, jika Anda mengirimkan task yang terdiri dari satu node master dan satu node pekerja, WORLD_SIZE diatur ke 2.
`RANK`	Indeks node. Misalnya, jika Anda mengirimkan task yang terdiri dari satu node master dan dua node pekerja, RANK bernilai 0 pada node master, 1 pada worker-0, dan 2 pada worker-1.
`NPROC_PER_NODE`	Jumlah GPU pada setiap node pekerja. Misalnya, jika node pekerja menggunakan spesifikasi 8 GPU * GU7E, NPROC_PER_NODE bernilai 8 pada node pekerja tersebut.

Variabel lingkungan TensorFlow

Task TensorFlow terdistribusi membangun topologi jaringan terdistribusinya berdasarkan variabel lingkungan TF_CONFIG. DLC mengatur variabel lingkungan berikut untuk pelatihan TensorFlow:

Variable Description

Variable	Description
`TF_CONFIG`	Topologi jaringan terdistribusi TensorFlow. Contoh: `{ "cluster": { "worker": [ "dlc1y3madghd**-worker-0.t1612285282502324.svc:2222", "dlc1y3madghd**-worker-1.t1612285282502324.svc:2222" ] }, "task": { "type": "worker", "index": 0 }, "environment": "cloud" }`

TF_CONFIG

Topologi jaringan terdistribusi TensorFlow. Contoh:

{
  "cluster": {
    "worker": [
      "dlc1y3madghd****-worker-0.t1612285282502324.svc:2222",
      "dlc1y3madghd****-worker-1.t1612285282502324.svc:2222"
    ]
  },
  "task": {
    "type": "worker",
    "index": 0
  },
  "environment": "cloud"
}