Platform For AI：Inferensi terdistribusi multi-mesin

Catatan penggunaan

Beberapa gambar SGLang dan vLLM yang disediakan secara resmi oleh EAS atau ModelGallery mendukung inferensi terdistribusi secara native. Jika Anda ingin menerapkan inferensi terdistribusi menggunakan gambar kustom, Anda perlu mengikuti spesifikasi jaringan dari kerangka kerja inferensi terdistribusi dan paradigma dasar pemrosesan terdistribusi. Untuk informasi lebih lanjut, lihat Cara kerjanya.

Cara kerjanya

Berikut adalah konsep dasar dan prinsip inferensi terdistribusi:

Unit instans

Dibandingkan dengan layanan inferensi EAS standar, layanan inferensi terdistribusi memperkenalkan konsep unit instance (selanjutnya disebut sebagai Unit). Di dalam Unit, instance berkoordinasi melalui komunikasi jaringan berperforma tinggi menggunakan pola seperti TP/PP untuk menyelesaikan pemrosesan permintaan. Instance di dalam Unit bersifat stateful, sedangkan Unit yang berbeda sepenuhnya simetris dan stateless.

Nomor instance

Setiap instance dalam Unit diberi nomor instance melalui variabel lingkungan (untuk variabel lingkungan dan deskripsi setiap instance dalam Unit, lihat Lampiran). Instance yang berbeda diberi nomor berbeda secara berurutan, mengontrol pelaksanaan tugas yang berbeda oleh instance yang berbeda.

Penanganan Trafik

Secara default, seluruh Unit hanya menerima trafik melalui instance 0 (RANK_ID adalah 0). Mekanisme penemuan layanan sistem mengalokasikan trafik pengguna ke instance 0 dari Unit yang berbeda, yang kemudian memprosesnya secara terdistribusi di dalam Unit. Unit yang berbeda menangani trafik pengguna secara independen tanpa saling mengganggu.

Pembaruan bergulir

Selama pembaruan bergulir, Unit dibangun ulang secara keseluruhan, dengan semua instance di Unit baru dibuat secara paralel. Setelah semua instance di Unit baru siap, trafik pertama-tama dialihkan dari Unit yang akan dihapus, lalu semua instance di Unit tersebut dihapus.

Siklus hidup

Pembangunan ulang Unit

Ketika sebuah Unit dibangun ulang sepenuhnya, semua instance di Unit lama dihapus secara paralel, dan semua instance di Unit baru dibuat secara paralel, tanpa penanganan khusus berdasarkan nomor instance.

Pembangunan ulang instance

Secara default, siklus hidup setiap instance dalam Unit sejajar dengan instance 0. Ketika instance 0 dibangun ulang, itu memicu pembangunan ulang semua instance lainnya di Unit. Ketika instance non-0 dibangun ulang, instance lainnya di Unit tidak terpengaruh.

Toleransi kesalahan terdistribusi

• Mekanisme penanganan pengecualian instance

  • Ketika pengecualian terdeteksi pada instance layanan terdistribusi, sistem secara otomatis memicu restart semua instance di Unit.

  • Fungsionalitas: Secara efektif menyelesaikan ketidaksesuaian status kluster yang disebabkan oleh titik kegagalan tunggal, memastikan bahwa semua instance memiliki lingkungan runtime yang sepenuhnya direset.

• Mekanisme pemulihan terkoordinasi

  • Setelah instance direstart, sistem menunggu semua instance di Unit mencapai status siap yang konsisten (diimplementasikan melalui penghalang sinkronisasi), dan hanya memulai proses bisnis setelah semua instance siap.

  • Fungsionalitas:

    • Mencegah pengecualian pengelompokan selama jaringan komunikasi NCCL karena status instance yang tidak konsisten.

    • Memastikan sinkronisasi startup yang ketat dari semua node yang berpartisipasi dalam tugas inferensi terdistribusi.

Fitur toleransi kesalahan terdistribusi dinonaktifkan secara default. Jika Anda perlu mengaktifkannya, Anda dapat mengonfigurasi unit.guard, seperti yang ditunjukkan dalam contoh berikut:

{
  "unit": {
    "size": 2,
    "guard": true
  }
}

Lampiran

Saat menerapkan layanan inferensi terdistribusi, operasi jaringan biasanya diperlukan (seperti menggunakan Torch distributed atau kerangka kerja Ray). Saat VPC atau RDMA dikonfigurasi, setiap instance memiliki beberapa kartu jaringan, jadi Anda perlu menentukan kartu jaringan mana yang akan digunakan untuk komunikasi jaringan.

• Ketika RDMA dikonfigurasi, kartu jaringan RDMA (net0) digunakan secara default.

• Ketika RDMA tidak dikonfigurasi, kartu jaringan yang sesuai dengan VPC yang dikonfigurasi pengguna (eth1) digunakan.

Konfigurasi terkait dilewatkan melalui variabel lingkungan yang dapat Anda gunakan dalam perintah startup. Contohnya: