Container Compute Service：training-nv-pytorch 25.07

Fitur Utama

• vllm ditingkatkan ke versi v0.9.2.

• Dukungan untuk transformerEngine v2.3.0+5de3e14, peft v0.16.0, dan diffusers v0.34.0.

Perbaikan Bug

(Tidak ada pada saat ini)

25.07

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.07-serverless

Optimasi kompilasi PyTorch

Fitur optimasi kompilasi yang diperkenalkan di PyTorch 2.0 cocok untuk pelatihan skala kecil pada satu GPU. Namun, pelatihan LLM memerlukan optimasi memori GPU dan kerangka terdistribusi, seperti FSDP atau DeepSpeed. Akibatnya, torch.compile() tidak memberikan manfaat bagi pelatihan Anda atau bahkan dapat memberikan dampak negatif.

• Mengontrol granularitas komunikasi dalam kerangka DeepSpeed membantu kompilator memperoleh grafik komputasi lengkap untuk cakupan optimasi kompilasi yang lebih luas.

• PyTorch dioptimalkan:

  • Antarmuka depan kompilator PyTorch dioptimalkan untuk memastikan kompilasi ketika terjadi pemutusan grafik apa pun dalam grafik komputasi.

  • Kemampuan pencocokan mode dan bentuk dinamis ditingkatkan untuk mengoptimalkan kode yang dikompilasi.

Setelah optimasi sebelumnya, throughput E2E meningkat sebesar 20% ketika LLM 8B dilatih.

Optimasi memori GPU untuk rekompilasi

Kami memperkirakan dan menganalisis konsumsi memori GPU model dengan menjalankan tes kinerja pada model yang diterapkan di kluster berbeda atau dikonfigurasi dengan parameter berbeda dan mengumpulkan metrik sistem, seperti pemanfaatan memori GPU. Berdasarkan hasil tersebut, kami menyarankan jumlah optimal lapisan rekompilasi aktivasi dan mengintegrasikannya ke dalam PyTorch. Ini memungkinkan pengguna dengan mudah mendapatkan manfaat dari optimasi memori GPU. Saat ini, fitur ini dapat digunakan dalam kerangka DeepSpeed.

ACCL

ACCL adalah pustaka komunikasi HPN internal yang disediakan oleh Alibaba Cloud untuk Lingjun. Ini menyediakan ACCL-N untuk skenario akselerasi GPU. ACCL-N adalah pustaka HPN yang disesuaikan berdasarkan NCCL. Ini sepenuhnya kompatibel dengan NCCL dan memperbaiki beberapa bug di NCCL. ACCL-N juga memberikan kinerja dan stabilitas yang lebih tinggi.

Evaluasi peningkatan kinerja E2E

Menggunakan alat evaluasi dan analisis kinerja AI cloud-native CNP, kami melakukan analisis perbandingan kinerja end-to-end komprehensif dengan model open-source utama dan konfigurasi kerangka terhadap gambar dasar standar. Melalui eksperimen ablation, kami lebih lanjut mengevaluasi kontribusi setiap komponen optimasi terhadap kinerja pelatihan model secara keseluruhan.

Analisis kontribusi kinerja E2E komponen inti GPU.

Tes berikut didasarkan pada 25.07, melakukan evaluasi kinerja E2E pelatihan dan analisis perbandingan pada kluster GPU multi-node, dengan perbandingan termasuk yang berikut:

1. Dasar: NGC PyTorch Image.

2. Gambar AI ACS: Dasar+ACCL: Gambar menggunakan pustaka komunikasi ACCL.

3. Gambar AI ACS: AC2+ACCL: Gambar emas menggunakan AC2 Base OS, tanpa optimasi yang diaktifkan.

4. Gambar AI ACS: AC2+ACCL+CompilerOpt: Gambar emas menggunakan AC2 Base OS, dengan hanya optimasi torch compile yang diaktifkan.

5. Gambar AI ACS: AC2+ACCL+CompilerOpt+CkptOpt: Gambar emas menggunakan AC2 Base OS, dengan optimasi torch compile dan selektif gradient checkpoint yang diaktifkan.

1. Pilih gambar

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Panggil API untuk mengaktifkan kompiler + optimasi memori rekompilasi

• Aktifkan optimasi kompilasi

  Menggunakan transformers Trainer API:

  

• Aktifkan optimasi memori rekompilasi

  export CHECKPOINT_OPTIMIZATION=true

3. Mulai kontainer

Gambar mencakup alat pelatihan model bawaan ljperf, yang digunakan untuk menggambarkan langkah-langkah memulai kontainer dan menjalankan tugas pelatihan.

# Mulai kontainer dan masuk
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Jalankan demo pelatihan
ljperf benchmark --model deepspeed/llama3-8b 

4. Rekomendasi penggunaan

• Perubahan dalam gambar melibatkan pustaka seperti Pytorch dan Deepspeed. Jangan instal ulang mereka.

• Dalam konfigurasi deepspeed, biarkan zero_optimization.stage3_prefetch_bucket_size kosong atau atur ke auto.

• Variabel lingkungan NCCL_SOCKET_IFNAME bawaan dalam gambar ini perlu disesuaikan secara dinamis sesuai dengan skenario penggunaan:

  • Ketika satu Pod hanya meminta 1/2/4/8 kartu untuk tugas pelatihan/inferensi: Anda perlu mengatur NCCL_SOCKET_IFNAME=eth0 (konfigurasi default dalam gambar ini).

  • Ketika satu Pod meminta semua 16 kartu mesin (pada titik ini Anda dapat menggunakan jaringan HPN berkinerja-tinggi) untuk tugas pelatihan/inferensi: Anda perlu mengatur NCCL_SOCKET_IFNAME=hpn0.