Container Compute Service：training-nv-pytorch 25.02

Fitur Utama

• Gambar dasar diperbarui untuk mendukung NGC 25.01, CUDA diperbarui ke 12.8.0, dan cuDNN diperbarui ke 9.7.0.66.

• ACCL-N diperbarui ke 2.23.4.11 dan mendukung ACCL-Barex.

• Transformers diperbarui ke 4.48.3+ali, vLLM diperbarui ke 0.7.2, dan Ray diperbarui ke 2.42.1 untuk mendukung fitur baru dan memperbaiki bug.

Perbaikan Bug

Tidak ada

Gambar publik

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.02-serverless

Gambar VPC

• acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

  {region-id} menunjukkan wilayah tempat ACS Anda diaktifkan, seperti cn-beijing.

  {image:tag} menunjukkan nama dan tag gambar.

Optimalisasi kompilasi PyTorch

Fitur optimalisasi kompilasi yang diperkenalkan dalam PyTorch 2.0 cocok untuk pelatihan skala kecil pada satu GPU. Namun, pelatihan LLM membutuhkan optimalisasi memori GPU dan kerangka kerja terdistribusi, seperti FSDP atau DeepSpeed. Akibatnya, torch.compile() tidak dapat memberikan manfaat bagi pelatihan Anda atau bahkan memberikan dampak negatif.

• Mengontrol granularitas komunikasi dalam kerangka kerja DeepSpeed membantu kompiler mendapatkan grafik komputasi lengkap untuk cakupan optimalisasi kompilasi yang lebih luas.

• PyTorch dioptimalkan:

  • Frontend kompiler PyTorch dioptimalkan untuk memastikan kompilasi saat terjadi pemutusan grafik apa pun dalam grafik komputasi.

  • Kemampuan pencocokan mode dan bentuk dinamis ditingkatkan untuk mengoptimalkan kode yang dikompilasi.

Setelah optimalisasi di atas, throughput E2E meningkat sebesar 20% saat LLM 8B dilatih.

Optimalisasi memori GPU untuk rekompilasi

Kami memperkirakan dan menganalisis konsumsi memori GPU model dengan menjalankan tes kinerja pada model yang diterapkan di kluster berbeda atau dikonfigurasi dengan parameter berbeda dan mengumpulkan metrik sistem, seperti pemanfaatan memori GPU. Berdasarkan hasil tersebut, kami menyarankan jumlah lapisan rekompilasi aktivasi yang optimal dan mengintegrasikannya ke dalam PyTorch. Ini memungkinkan pengguna dengan mudah mendapatkan manfaat dari optimalisasi memori GPU. Saat ini, fitur ini dapat digunakan dalam kerangka kerja DeepSpeed.

ACCL

ACCL adalah pustaka komunikasi HPN internal yang disediakan oleh Alibaba Cloud untuk Lingjun. Ini menyediakan ACCL-N untuk skenario akselerasi GPU. ACCL-N adalah pustaka HPN yang disesuaikan berdasarkan NCCL. Ini sepenuhnya kompatibel dengan NCCL dan memperbaiki beberapa bug di NCCL. ACCL-N juga memberikan kinerja dan stabilitas yang lebih tinggi.

Analisis manfaat kinerja E2E

Dengan alat penilaian dan analisis kinerja AI cloud-native CNP, kami dapat menggunakan model sumber terbuka utama dan kerangka kerja bersama dengan gambar dasar standar untuk menganalisis kinerja E2E. Selain itu, kami dapat menggunakan studi ablasi untuk menilai lebih lanjut bagaimana setiap komponen optimalisasi memberikan manfaat bagi pelatihan model secara keseluruhan.

Analisis manfaat kinerja E2E komponen inti GPU

Uji berikut didasarkan pada 25.02. Penilaian dan perbandingan kinerja E2E dilakukan untuk kluster GPU multi-node yang dipercepat.

1. Dasar: Gambar NGC PyTorch.

2. ACS AI Image: Base+ACCL: ACCL yang digunakan oleh gambar.

3. ACS AI Image: AC2+ACCL: Gambar Golden menggunakan AC2 BaseOS, tanpa optimalisasi apa pun.

4. ACS AI Image: AC2+ACCL+CompilerOpt: Gambar Golden menggunakan AC2 BaseOS, dengan hanya optimalisasi kompilasi PyTorch yang diaktifkan.

5. ACS AI Image: AC2+ACCL+CompilerOpt+CkptOpt: Gambar Golden menggunakan AC2 BaseOS, dengan optimalisasi kompilasi PyTorch dan optimalisasi titik kontrol gradien selektif yang diaktifkan.

1. Pilih gambar

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Panggil API untuk mengaktifkan optimalisasi kompilasi dan optimalisasi memori GPU untuk rekompilasi

• Aktifkan optimalisasi kompilasi

  Gunakan API Trainer transformers:

  

• Aktifkan optimalisasi memori GPU untuk rekompilasi

  export CHECKPOINT_OPTIMIZATION=true

3. Jalankan kontainer

Gambar ini menyediakan alat pelatihan model bawaan bernama ljperf untuk menunjukkan prosedur untuk menjalankan kontainer dan menjalankan tugas pelatihan.

# Jalankan kontainer dan masuk ke kontainer.
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Jalankan demo pelatihan.
ljperf benchmark --model deepspeed/llama3-8b 

4. Saran

• Perubahan dalam gambar melibatkan pustaka PyTorch dan DeepSpeed. Jangan instal ulang.

• Biarkan zero_optimization.stage3_prefetch_bucket_size dalam konfigurasi DeepSpeed kosong atau atur ke auto.