Configure network and images for Lingjun DLC jobs - Platform For AI

Büyük dil modelleri için paralel hesaplama; iletişim yükünü azaltan, hesaplamayı iletişimle örtüştüren ve iletişim verimliliğini artıran optimizasyonlar gerektirir. RDMA (Uzaktan Doğrudan Bellek Erişimi), ağ gecikme süresini önemli ölçüde azaltır ve Lingjun akıllı bilgi işlem kaynaklarında çalışan dağıtık eğitim işleri için son derece uygundur.

Kullanım sınırlamaları

Bu özellik yalnızca Lingjun akıllı bilgi işlem kaynakları üzerinden gönderilen eğitim işlerinde kullanılabilir.

Yüksek performanslı ağ değişkenlerini yapılandırma

Platform for AI (PAI), Lingjun akıllı bilgi işlem kaynaklarında RDMA özelliğini etkinleştirir ve NVIDIA Collective Communications Library (NCCL) değişkenlerini en iyi performansı sağlayacak şekilde önceden yapılandırır. Daha iyi performans elde etmek için varsayılan değişkenleri kullanmanızı öneririz. Ayrıca, kullandığınız eğitim çerçevesine ve modelin özelliklerine göre bu değişkenleri ayarlayabilirsiniz.

Varsayılan değişkenler (platform ön ayarı)

Platform, Lingjun örnek türüne bağlı olarak varsayılan değişkenleri önceden yapılandırır. Ayrıntılar aşağıdaki tabloda listelenmiştir:

Lingjun örnek türü

NCCL değişkenleri

ml.gu7xf.c96m1600.8-gu108
ml.gu7xf.8xlarge-gu108
ml.gu7ef.c96m1600.8-gu100
ml.gu8xf.8xlarge-gu108

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

NCCL değişkenleri hakkında daha fazla bilgi için bkz. Ortam değişkeni açıklaması.

Ortam değişkeni açıklaması

Aşağıdaki tabloda temel NCCL ortam değişkenleri açıklanmaktadır. Daha fazla bilgi için NCCL belgelerine bakın.

Temel ortam değişkeni	Açıklama
NCCL_IB_TC	Alibaba Cloud ağ eşleme kurallarıyla uyumludur. Bu değişken ayarlanmazsa veya hatalı ayarlanırsa performans düşebilir.
NCCL_IB_GID_INDEX	Önerilen bir değer sağlar. Bu değişken ayarlanmazsa veya hatalı ayarlanırsa NCCL hata verebilir.
NCCL_SOCKET_IFNAME	Bağlantı kurmak için doğru bağlantı noktasını seçer. Farklı örnek türlerinin farklı bağlantı noktası gereksinimleri vardır. Bu değişken ayarlanmazsa veya hatalı ayarlanırsa NCCL bağlantı kuramayabilir.
NCCL_DEBUG	Potansiyel sorunları belirlemeye ve çözmeye yardımcı olan daha fazla NCCL ilgili günlük çıktısı üretmek için genellikle INFO olarak ayarlanır.
NCCL_IB_HCA	RDMA iletişimi için ağ arabirimi denetleyicisini (NIC) belirtir. InfiniBand cihazlarının sayısı ve adlandırma kuralı hesaplama düğümleri arasında farklılık gösterir. Bu değişken ayarlanmazsa veya hatalı ayarlanırsa performans düşebilir.
NCCL_IB_TIMEOUT	Eğitim işleri için hata toleransını artırmak amacıyla RDMA bağlantı zaman aşımını artırır. Bu değişken ayarlanmazsa veya hatalı ayarlanırsa eğitim işleri kesintiye uğrayabilir.
NCCL_IB_QPS_PER_CONNECTION	Ağ aktarım hızını artırmak için bağlantı başına Kuyruk Çifti (QP) sayısını artırır.

Görüntüleri yapılandırma

Lingjun akıllı bilgi işlem kaynakları tabanlı bir eğitim işi gönderirken DLC tarafından sağlanan resmi yerleşik görüntüleri kullanın.

Aşağıdaki üç resmi GPU eğitim görüntüsü mevcuttur:

deepspeed-training:23.06-gpu-py310-cu121-ubuntu22,04
megatron-training:23.06-gpu-py310-cu121-ubuntu22,04
nemo-training:23.06-gpu-py310-cu121-ubuntu22,04

Üç görüntünün tamamında PyTorch 2.1, Megatron-LM 23.06, DeepSpeed 0.9.5, Transformers 4.29.2, NVIDIA NeMo 1.19.0, CUDA 12.1, Ubuntu 22,04 ve Python 3.10 bulunur. Görüntüler Çin (Ulanqab) bölgesinde dağıtılmıştır.

İlgili belgeler

Lingjun akıllı bilgi işlem kaynaklarında eğitim işi göndermeye ilişkin ayrıntılı adımlar için bkz. Eğitim işi oluşturma.