Platform For AI:Inferensi Terdistribusi Multi-node

Unit instance

Dibandingkan dengan layanan inferensi EAS standar, inferensi terdistribusi memperkenalkan konsep unit instans (selanjutnya disebut Unit dalam topik ini). Instans dalam satu Unit berkoordinasi melalui komunikasi jaringan berkinerja tinggi serta pola seperti tensor parallelism (TP) dan pipeline parallelism (PP) untuk memproses setiap permintaan. Instans dalam satu Unit bersifat stateful, sedangkan Unit-unit tersebut sepenuhnya simetris dan tanpa status (stateless) relatif satu sama lain.

ID instans

Setiap instans dalam suatu Unit menerima ID instans melalui Variabel lingkungan. Untuk daftar Variabel lingkungan yang digunakan dalam suatu Unit beserta deskripsinya, lihat Lampiran. Instans menerima ID secara berurutan, yang dapat digunakan untuk menetapkan tugas berbeda ke instans yang berbeda.

Penanganan traffic

Secara default, setiap Unit hanya menangani traffic melalui instans 0-nya (RANK_ID = 0). Sistem menggunakan penemuan layanan (service discovery) untuk mengarahkan traffic pengguna ke instans 0 dari Unit yang berbeda. Setiap Unit kemudian memproses permintaan secara internal secara terdistribusi, dan menangani traffic secara independen tanpa saling mengganggu.

Pembaruan bergulir (rolling updates)

Saat pembaruan bergulir, suatu Unit dibangun ulang secara keseluruhan. Semua instans dalam Unit baru dimulai secara paralel. Setelah semua instans dalam Unit baru siap, sistem mengalihkan traffic dari Unit lama sebelum menghapus seluruh instansnya.

Siklus hidup

Toleransi kesalahan terdistribusi

• Penanganan kegagalan instans

  • Ketika sistem mendeteksi kegagalan pada salah satu instans layanan terdistribusi, sistem secara otomatis melakukan restart terhadap semua instans dalam Unit tersebut.

  • Tujuan: Mencegah inkonsistensi status kluster akibat titik kegagalan tunggal serta memastikan semua instans dimulai dalam lingkungan yang bersih dan konsisten.

• Pemulihan terkoordinasi

  • Setelah instans direstart, sistem menunggu hingga semua instans dalam Unit mencapai status siap yang konsisten menggunakan penghalang sinkronisasi (synchronization barrier). Proses bisnis baru dimulai setelah semua instans siap.

  • Tujuan:

    • Mencegah kegagalan saat NCCL membentuk grup komunikasi akibat ketidakkonsistenan status instans.

    • Memastikan sinkronisasi startup yang ketat di seluruh node yang terlibat dalam tugas inferensi terdistribusi.

Toleransi kesalahan terdistribusi dinonaktifkan secara default. Untuk mengaktifkannya, atur parameter unit.guard. Contoh konfigurasi:

{
  "unit": {
    "size": 2,
    "guard": true
  }
}