Platform For AI:Çok düğümlü dağıtık çıkarım

Örnek birimi

Dağıtık çıkarım örnek birimleri (bu konuda Unit olarak adlandırılır) kavramını getirir. Bir Unit içindeki örnekler her isteği işlemek için tensör paralelliği (TP) ve işlem hattı paralelliği (PP) gibi yüksek performanslı ağ iletişimi ve paralellik stratejilerini kullanır. Bir Unit içindeki örnekler durum bilgisi tutar. Unit'ler birbirine göre tamamen simetrik ve durumsuzdur.

Örnek kimliği

Bir Unit içindeki her örnek ortam değişkeni aracılığıyla sıralı bir örnek kimliği alır. Ortam değişkenlerinin listesi için bkz. Ek. Farklı görevleri örneklere atamak için bu kimlikleri kullanın.

Trafik işleme

Varsayılan olarak her Unit trafiği yalnızca 0 numaralı örnek (RANK_ID = 0) üzerinden işler. Sistem hizmet keşfi kullanarak kullanıcı trafiğini her Unit'in 0 numaralı örneğine yönlendirir. Her Unit istekleri dağıtık şekilde işler ve trafiği bağımsız yönetir.

Ardışık güncellemeler

Ardışık güncelleme sırasında bir Unit bütünüyle yeniden oluşturulur. Yeni Unit'teki tüm örnekler paralel başlatılır. Tüm yeni örnekler hazır hale geldikten sonra sistem eski Unit'ten trafiği kaldırır ve örneklerini siler.

Yaşam döngüsü

Dağıtık hata toleransı

• Örnek hatası işleme

  • Sistem dağıtık bir hizmetin herhangi bir örneğinde hata algıladığında Unit içindeki tüm örnekleri otomatik yeniden başlatır.

  • Bu durum tek nokta arızalarından kaynaklanan küme durumu tutarsızlığını önler ve tüm örneklerin temiz tutarlı bir ortamla başlamasını sağlar.

• Koordineli kurtarma

  • Örnekler yeniden başlatıldıktan sonra sistem senkronizasyon bariyeri kullanarak Unit içindeki tüm örneklerin tutarlı bir hazır durumuna ulaşmasını bekler. İş süreçleri yalnızca tüm örnekler hazır olduktan sonra başlar.

  • Bu aşağıdaki amaçlara hizmet eder:

    • Tutarlı olmayan örnek durumlarından kaynaklanan NCCL iletişim grubu hatalarını önler.

    • Dağıtık çıkarım görevindeki tüm düğümler arasında sıkı başlatma senkronizasyonu sağlar.

Dağıtık hata toleransı varsayılan olarak devre dışıdır. Etkinleştirmek için aşağıdaki örnekte gösterildiği gibi unit.guard parametresini ayarlayın:

{
  "unit": {
    "size": 2,
    "guard": true
  }
}