Topik ini menjelaskan topologi GPU dan manfaat penjadwalan GPU yang memperhatikan topologi.
Topologi GPU
Gambar berikut menunjukkan topologi hybrid cube mesh dari delapan GPU Tesla V100 yang saling berkomunikasi melalui NVLink. Setiap GPU Tesla V100 dilengkapi enam koneksi NVLink, namun kedelapan GPU tersebut tidak saling terhubung secara penuh. Maksimal dua koneksi NVLink dapat dibuat antara dua GPU Tesla V100.
Pada contoh ini, GPU0 terhubung ke GPU3 dan GPU4 melalui dua koneksi NVLink, serta ke GPU1 dan GPU2 melalui satu koneksi NVLink. Sebaliknya, tidak terdapat koneksi NVLink antara GPU0 dan GPU6, sehingga komunikasi di antara keduanya mengandalkan Peripheral Component Interconnect Express (PCIe).
Manfaat Penjadwalan GPU yang Memperhatikan Topologi
Bandwidth satu arah dan dua arah setiap NVLink masing-masing adalah 25 GB/s dan 50 GB/s, sedangkan bandwidth tautan PCIe adalah 16 GB/s. Selama pelatihan, kombinasi GPU yang berbeda dapat menghasilkan perbedaan kecepatan pelatihan. Oleh karena itu, Anda dapat memilih kombinasi GPU optimal untuk mencapai performa pelatihan terbaik.