Intelligent Computing LINGJUN:Kueri jarak komunikasi jaringan (NCD)

Usage Notes

• NCD merepresentasikan overhead forwarding relatif melalui jaringan fisik dasar antara instans yang dipercepat GPU (node atau NIC), bukan nilai latensi forwarding absolut.

• Jika sebuah node yang dipercepat GPU memiliki beberapa NIC, NCD antara dua node sama dengan NCD minimum di antara semua pasangan NIC. NCD dihitung menggunakan rumus berikut:

  NCD(Node1, Node2) = Min(NCD(Node1.LNI_i, Node2.LNI_j)). Dalam rumus ini, i adalah jumlah NIC pada Node1, dan j adalah jumlah NIC pada Node2.

• NCD mencerminkan latensi forwarding jaringan melalui switch fisik dan tidak memperhitungkan faktor seperti NVLink. Jika sebuah node GPU terhubung ke beberapa leaf switch melalui beberapa NIC (koneksi multi-rail), NCD antara NIC berbeda pada node GPU yang sama adalah 2.

• Treemap NCD di Konsol hanya menampilkan NIC yang digunakan untuk komunikasi bidang data, tidak termasuk NIC pertama (atau Elastic Network Interface).

NCD Terms

NCD mengabstraksikan jarak komunikasi fisik antara NIC pada node GPU melalui jaringan fisik. Nilai NCD yang lebih kecil antara dua node GPU (atau kartu jaringan) menunjukkan latensi jaringan lebih rendah dan overhead komunikasi lebih sedikit. Gambar berikut menunjukkan arsitektur jaringan fisik tiga lapisan yang khas:

Di mana:

• Lapisan Core: Switch core meneruskan traffic antar spine switch yang terhubung dengannya.

• Lapisan Spine: Switch spine meneruskan traffic antar leaf switch yang terhubung dengannya. Setiap spine switch terhubung ke satu core switch.

• Lapisan Leaf: Switch leaf menghubungkan kartu antarmuka jaringan node tepi GPU. Setiap leaf switch terhubung ke satu spine switch.

• Setiap lapisan switch fisik tambahan yang dilalui oleh node (atau kartu antarmuka jaringan) node tepi GPU saat berkomunikasi akan menambah NCD sebesar 1.

Berdasarkan graf sebelumnya, NCD antara node-node Node Tepi GPU (atau kartu antarmuka jaringan) dihitung sebagai berikut:

• NCD(Node1, Node2) = 1.

• NCD(Node1, Node3) = 2.

• NCD(Node1, Node5) = 3.

• NCD antara node GPU yang berkomunikasi melalui switch lapisan core adalah 10.

Kasus khusus:

Dalam skenario non-multi-rail, NCD antara node GPU sama dengan NCD antara NIC-nya. Dalam skenario koneksi multi-rail, NIC dari satu node GPU terhubung ke kelompok ASW berbeda (misalnya, delapan uplink). Akibatnya, NCD antara dua node GPU dapat berbeda dari NCD antara NIC Lingjun individual. Contohnya: NCD(GPU1.bond0, GPU2.bond0) = 1, NCD(GPU1.bond0, GPU2.bond1) = 2.

Untuk menyederhanakan, berlaku prinsip reduksi: NCD(GPU1, GPU2) = min(NCD(GPU1.anyLNI, GPU2.anyLNI)). NCD antara dua node GPU sama dengan nilai NCD minimum dari seluruh pasangan NIC Lingjun di antara keduanya.

Why NCD Is Used

• Permasalahan

  Pada topologi jaringan fisik tertentu, kinerja komunikasi antar node GPU dapat sangat bervariasi karena perbedaan latensi dan distribusi hash yang tidak merata akibat penerusan traffic melalui beberapa hop switch. Hal ini menyebabkan variasi throughput selama pelatihan model.

• Solusi

  Seperti ditunjukkan pada gambar sebelumnya, dengan asumsi urutan komunikasi adalah Node1→Node2→Node3→Node4, Placement-1 mengungguli Placement-2 karena traffic pada Placement-1 hanya melewati lapisan spine sekali, sedangkan Placement-2 memerlukan tiga kali penerusan lintas lapisan spine.

  Untuk memenuhi kebutuhan ini, PAI Lingjun menyediakan antarmuka kueri NCD terpadu yang memungkinkan Anda mengkueri jarak komunikasi antara node GPU (atau NIC) guna mencapai penjadwalan pekerjaan yang lebih efisien dan kinerja pelatihan optimal.

Query NCD in the console

Konsol Lingjun menyediakan treemap NCD untuk semua node GPU dalam kluster. Treemap ini memvisualisasikan topologi jaringan fisik dalam format yang ringkas dan mudah dibaca. Untuk mengkueri treemap tersebut:

1. Masuk ke Konsol Lingjun.

2. Pada bilah navigasi kiri, pilih Network Resources > Resource overview.

3. Pada bagian Physical Topology, pilih Blok CIDR Lingjun dari daftar dropdown, lalu klik Search untuk melihat treemap NCD yang sesuai.

   Catatan

   Treemap NCD hanya menampilkan NIC ekor, yaitu semua NIC kecuali yang pertama.

   

   Anda juga dapat memilih NIC Lingjun dari daftar dropdown dan klik Search untuk melihat treemap NCD yang hanya memuat NIC tersebut.