Platform For AI:Inferensi Terdistribusi Multi-Node

Unit instans

Inferensi terdistribusi memperkenalkan instance units (selanjutnya disebut Unit dalam topik ini). Instans dalam satu Unit menggunakan komunikasi jaringan berkinerja tinggi serta strategi paralelisme seperti tensor parallelism (TP) dan pipeline parallelism (PP) untuk memproses setiap permintaan. Instans dalam satu Unit bersifat stateful, sedangkan Unit-unit tersebut sepenuhnya simetris dan tanpa status relatif satu sama lain.

ID Instans

Setiap instans dalam suatu Unit menerima ID instans berurutan melalui Variabel lingkungan. Untuk daftar lengkap Variabel lingkungan, lihat Lampiran. Gunakan ID ini untuk menetapkan tugas berbeda ke masing-masing instans.

Penanganan traffic

Secara default, setiap Unit hanya menangani traffic melalui instans 0 (RANK_ID = 0). Sistem mengarahkan traffic pengguna ke instans 0 setiap Unit menggunakan penemuan layanan. Setiap Unit memproses permintaan secara terdistribusi dan menangani traffic secara independen.

Pembaruan bergulir

Selama pembaruan bergulir, sebuah Unit dibangun ulang secara keseluruhan. Semua instans dalam Unit baru dimulai secara paralel. Setelah semua instans baru siap, sistem mengalihkan traffic dari Unit lama dan menghapus instans-instansnya.

Siklus hidup

Toleransi kesalahan terdistribusi

• Penanganan kegagalan instans

  • Ketika sistem mendeteksi kegagalan pada instans mana pun dalam layanan terdistribusi, sistem secara otomatis melakukan restart terhadap semua instans dalam Unit tersebut.

  • Hal ini mencegah inkonsistensi status kluster akibat kegagalan titik tunggal dan memastikan semua instans dimulai dengan lingkungan yang bersih dan konsisten.

• Pemulihan terkoordinasi

  • Setelah instans melakukan restart, sistem menunggu hingga semua instans dalam Unit mencapai status siap yang konsisten menggunakan penghalang sinkronisasi (synchronization barrier). Proses bisnis hanya dimulai setelah semua instans siap.

  • Hal ini bertujuan untuk:

    • Mencegah kegagalan grup komunikasi NCCL yang disebabkan oleh ketidakkonsistenan status instans.

    • Memastikan sinkronisasi startup yang ketat di seluruh node dalam tugas inferensi terdistribusi.

Toleransi kesalahan terdistribusi dinonaktifkan secara default. Untuk mengaktifkannya, atur parameter unit.guard seperti pada contoh berikut:

{
  "unit": {
    "size": 2,
    "guard": true
  }
}