Built-in environment variables - Platform For AI - Alibaba Cloud Dokümantasyon Merkezi

Platform for AI (PAI) içindeki Deep Learning Containers (DLC) üzerinde bir eğitim görevi gönderdiğinizde, DLC kodunuzda doğrudan kullanabileceğiniz ortam değişkenlerini otomatik olarak ekler.

Genel ortam değişkenleri

Bu ortam değişkenleri Lingjun Akıllı Bilişim altyapısını temel alır. Her bir değişkenin açıklamasını RDMA: Dağıtık eğitim için yüksek performanslı ağlar bölümünde bulabilirsiniz.

PyTorch ortam değişkenleri

Dağıtık PyTorch eğitiminde master düğüm ile worker düğümlerin iletişim kurabilmesi için bağlantı kurulması gerekir. DLC, master düğümün adresi ve bağlantı noktası gibi temel bilgileri aşağıdaki ortam değişkenleri aracılığıyla senkronize eder:

Değişken	Açıklama
`MASTER_ADDR`	Master düğümün adresi. Örneğin, `dlc18isgeayd****-master-0`. Bu değer genellikle master düğümün hizmet adresidir.
`MASTER_PORT`	Master düğümün bağlantı noktası. Örneğin, 23456.
`WORLD_SIZE`	Dağıtık görevdeki toplam düğüm sayısı. Örneğin, bir master düğüm ve bir worker düğüm içeren bir görev gönderirseniz WORLD_SIZE değeri 2 olur.
`RANK`	Düğümün dizini. Örneğin, bir master düğüm ve iki worker düğüm içeren bir görev gönderirseniz RANK değeri master düğümde 0, worker-0'da 1 ve worker-1'de 2 olur.
`NPROC_PER_NODE`	Her bir worker düğümdeki GPU sayısı. Örneğin, worker düğüm 8 GPU * GU7E teknik özelliklerini kullanıyorsa bu worker düğümde NPROC_PER_NODE değeri 8'dir.

TensorFlow ortam değişkenleri

Dağıtık bir TensorFlow görevi, dağıtık ağ topolojisini TF_CONFIG ortam değişkeninden oluşturur. DLC, TensorFlow eğitimi için aşağıdaki ortam değişkenlerini ayarlar:

Değişken Açıklama

Değişken	Açıklama
`TF_CONFIG`	TensorFlow'un dağıtık ağ topolojisi. Örnek: `{ "cluster": { "worker": [ "dlc1y3madghd**-worker-0.t1612285282502324.svc:2222", "dlc1y3madghd**-worker-1.t1612285282502324.svc:2222" ] }, "task": { "type": "worker", "index": 0 }, "environment": "cloud" }`

TF_CONFIG

TensorFlow'un dağıtık ağ topolojisi. Örnek:

{
      "cluster": {
        "worker": [
          "dlc1y3madghd****-worker-0.t1612285282502324.svc:2222",
          "dlc1y3madghd****-worker-1.t1612285282502324.svc:2222"
        ]
      },
      "task": {
        "type": "worker",
        "index": 0
      },
      "environment": "cloud"
    }