Container Compute Service：training-nv-pytorch 25.12

Fitur utama

• vLLM ditingkatkan ke versi 0.12.0, dan flashinfer-python ditingkatkan ke versi 0.5.3.

Perbaikan bug

Tidak ada.

Aset

Persyaratan driver

• Rilis 25.12 mendukung CUDA 12.8.0 dan CUDA 13.0.2 berdasarkan versi driver yang berbeda. CUDA 13.0.2 memerlukan versi driver NVIDIA 580 atau lebih baru. CUDA 12.8.0 memerlukan versi driver NVIDIA 575 atau lebih baru. Untuk daftar lengkap driver yang didukung, lihat topik CUDA Application Compatibility. Untuk informasi selengkapnya, lihat CUDA Compatibility and Upgrades.

Optimasi kompilasi PyTorch

Fitur optimasi kompilasi yang diperkenalkan di PyTorch 2.0 cocok untuk pelatihan skala kecil pada satu GPU. Namun, pelatihan LLM memerlukan optimasi Memori GPU dan framework terdistribusi, seperti FSDP atau DeepSpeed. Akibatnya, torch.compile() tidak memberikan manfaat bagi pelatihan Anda atau bahkan dapat berdampak negatif.

• Mengontrol granularitas komunikasi dalam framework DeepSpeed membantu kompilator memperoleh graf komputasi lengkap untuk cakupan optimasi kompilasi yang lebih luas.

• PyTorch yang dioptimalkan:

  • Antarmuka depan kompilator PyTorch dioptimalkan untuk memastikan kompilasi tetap berjalan meskipun terjadi gangguan graf pada graf komputasi.

  • Kemampuan pencocokan mode dan bentuk dinamis ditingkatkan untuk mengoptimalkan kode hasil kompilasi.

Setelah optimasi tersebut, throughput E2E meningkat sebesar 20% saat melatih model LLM 8B.

Optimasi Memori GPU untuk recomputation

Kami memprediksi dan menganalisis konsumsi Memori GPU model dengan menjalankan pengujian kinerja pada model yang diterapkan di kluster berbeda atau dikonfigurasi dengan parameter berbeda serta mengumpulkan metrik sistem, seperti pemanfaatan Memori GPU. Berdasarkan hasil tersebut, kami merekomendasikan jumlah optimal lapisan recomputation aktivasi dan mengintegrasikannya ke dalam PyTorch. Hal ini memungkinkan pengguna memperoleh manfaat optimasi Memori GPU secara mudah. Saat ini, fitur ini tersedia dalam framework DeepSpeed.

Evaluasi manfaat kinerja E2E

Menggunakan tool evaluasi dan analisis kinerja AI cloud-native CNP, kami melakukan perbandingan kinerja end-to-end yang komprehensif. Kami menggunakan model open source utama dan konfigurasi framework terhadap citra dasar standar. Kami juga melakukan eksperimen ablation untuk mengevaluasi kontribusi setiap komponen optimasi terhadap kinerja pelatihan model secara keseluruhan.

Perbandingan citra: Citra dasar dan evaluasi iterasi

Analisis kontribusi kinerja E2E komponen GPU inti

Pengujian berikut didasarkan pada versi 25.12. Pengujian ini menunjukkan evaluasi dan perbandingan kinerja E2E untuk pelatihan pada kluster GPU multi-node. Item perbandingan meliputi:

1. Base: NGC PyTorch Image

2. ACS AI Image: Base+ACCL: Citra ini menggunakan library komunikasi ACCL.

3. ACS AI Image: AC2+ACCL: Citra ini menggunakan AC2 BaseOS tanpa optimasi yang diaktifkan.

4. ACS AI Image: AC2+ACCL+CompilerOpt: Citra ini menggunakan AC2 BaseOS dengan hanya optimasi torch compile yang diaktifkan.

5. ACS AI Image: AC2+ACCL+CompilerOpt+CkptOpt: Citra ini menggunakan AC2 BaseOS dengan optimasi torch compile dan selective gradient checkpoint yang diaktifkan.

1. Pilih citra

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Panggil API untuk mengaktifkan kompilator dan recomputation guna optimasi Memori GPU

• Aktifkan optimasi kompilasi

  Gunakan API transformers Trainer:

  

• Aktifkan recomputation untuk optimasi Memori GPU

  export CHECKPOINT_OPTIMIZATION=true

3. Mulai kontainer

Citra ini mencakup tool pelatihan model bawaan bernama ljperf. Langkah-langkah berikut menunjukkan cara menggunakan tool ini untuk memulai kontainer dan menjalankan pekerjaan pelatihan.

# Mulai dan masuk ke kontainer
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Jalankan demo pelatihan
ljperf benchmark --model deepspeed/llama3-8b 

4. Rekomendasi

• Perubahan dalam citra ini melibatkan library seperti PyTorch dan DeepSpeed. Jangan menginstal ulang library tersebut.

• Biarkan zero_optimization.stage3_prefetch_bucket_size dalam konfigurasi DeepSpeed kosong atau atur ke auto.

• Variabel lingkungan bawaan NCCL_SOCKET_IFNAME dalam citra ini harus disesuaikan secara dinamis berdasarkan skenario:

  • Saat satu Pod meminta 1, 2, 4, atau 8 kartu untuk tugas pelatihan atau inferensi, atur NCCL_SOCKET_IFNAME=eth0. Ini adalah konfigurasi default dalam citra ini.

  • Saat satu Pod meminta semua 16 kartu pada satu mesin untuk tugas pelatihan atau inferensi, Anda dapat menggunakan High-Performance Network (HPN). Atur NCCL_SOCKET_IFNAME=hpn0.