Container Compute Service:training-nv-pytorch 25.10

Fonctionnalités clés

• Prise en charge multi-architecture pour amd64 et aarch64 .

• Mise à niveau de megatron-core vers la version 0.14.0 et de transformer_engine vers la version 2.4, intégrant les dernières fonctionnalités communautaires.

• Mise à niveau de vLLM vers la version 0.11.0, intégrant les dernières fonctionnalités communautaires.

Corrections de bugs

Aucune correction de bug dans cette version.

Ressources

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Prérequis relatifs aux pilotes

• La version 25.10 repose sur CUDA 12.8.0 et nécessite un pilote NVIDIA version 575 ou ultérieure. Toutefois, si vous utilisez un GPU de centre de données (tel que T4 ou tout autre GPU de ce type), vous pouvez également employer des pilotes des séries R470 (470,57+), R525 (525,85+), R535 (535,86+) ou R545 (545,23+).

• Les séries de pilotes R418, R440, R450, R460, R510, R520, R530, R545, R555 et R560 ne sont pas rétrocompatibles avec CUDA 12.8 et doivent être mises à niveau. Pour consulter la liste complète des pilotes pris en charge, reportez-vous à la rubrique Compatibilité des applications CUDA. Pour plus d'informations, reportez-vous à Compatibilité et mises à niveau CUDA.

Optimisation de la compilation PyTorch

Introduite dans PyTorch 2.0, la fonction torch.compile() offre souvent des gains significatifs pour les charges de travail mono-GPU à petite échelle. Cependant, l'entraînement de LLM reposant sur l'optimisation de la mémoire GPU et des frameworks distribués tels que FSDP ou DeepSpeed, torch.compile() peut apporter des avantages limités, voire dégrader les performances.

• Contrôlez la granularité de la communication dans le framework DeepSpeed. Cela permet au compilateur de capturer un graphe de calcul plus complet et d'appliquer des optimisations de compilation plus larges.

• Utilisez une version optimisée de PyTorch :

  • Le frontend du compilateur PyTorch a été amélioré pour garantir la réussite de la compilation même en cas de rupture de graphe dans le graphe de calcul.

  • La correspondance de motifs et la prise en charge des formes dynamiques ont été renforcées afin d'améliorer les performances post-compilation.

Grâce à ces optimisations, l'entraînement de LLM à 8 milliards de paramètres obtient généralement un gain de débit de bout en bout d'environ 20 %.

Optimisation de la mémoire GPU pour le recalcul

Un modèle prédictif de la surcharge mémoire GPU, basé sur des données de performances à grande échelle (incluant différents modèles, clusters et paramètres d'entraînement, ainsi que des métriques système telles que l'utilisation de la mémoire GPU collectées lors de benchmarks), recommande le nombre optimal de couches de recalcul d'activation. Cette approche est intégrée à PyTorch, ce qui vous permet de bénéficier des gains de performance liés à l'optimisation de la mémoire GPU avec un effort minimal. Cette fonctionnalité est désormais prise en charge dans le framework DeepSpeed.

Évaluation des performances E2E

À l'aide de l'outil de benchmarking des performances IA cloud-native CNP, nous avons réalisé une comparaison complète des performances de bout en bout entre cette image et une image de base standard, en utilisant des modèles open source et des configurations de framework courants. Nous avons également mené une étude d'ablation afin d'évaluer la contribution de chaque composant d'optimisation aux performances globales.

Comparaison d'images : image de base et évaluation itérative

Contribution des composants GPU principaux aux performances E2E

Les tests suivants, basés sur la version 25.10, ont été exécutés sur un cluster GPU multi-nœuds pour évaluer et comparer les performances d'entraînement de bout en bout. Les configurations comparées sont les suivantes :

1. Base : une image NGC PyTorch standard.

2. Image IA ACS : AC2 : cette image avec le BaseOS AC2, sans aucune optimisation activée.

3. Image IA ACS : AC2+CompilerOpt : cette image avec le BaseOS AC2 et uniquement l'optimisation de compilation torch activée.

4. Image IA ACS : AC2+CompilerOpt+CkptOpt : cette image avec le BaseOS AC2, avec les optimisations de compilation torch et de checkpointing sélectif du gradient activées.

1. Récupérer l'image

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Activer les optimisations

• Activer l'optimisation du compilateur

  Utilisez l'API Trainer de transformers :

  training_args = TrainingArguments(
      bf16=True,
      gradient_checkpointing=True,
      torch_compile=True
  )

• Activer l'optimisation du checkpointing du gradient

  export CHECKPOINT_OPTIMIZATION=true

3. Démarrer le conteneur

L'outil d'entraînement de modèles ljperf est intégré à l'image. Cette rubrique l'utilise pour décrire les étapes de démarrage d'un conteneur et d'exécution d'une tâche d'entraînement.

# Start and enter the container
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# Run the training demo
ljperf benchmark --model deepspeed/llama3-8b 

4. Recommandations d'utilisation

• L'image contient des modifications personnalisées de bibliothèques telles que PyTorch et DeepSpeed. Ne réinstallez pas ces packages, car cela écraserait les optimisations.

• Dans la configuration DeepSpeed, laissez le paramètre zero_optimization.stage3_prefetch_bucket_size vide ou définissez-le sur auto.

• La variable d'environnement intégrée NCCL_SOCKET_IFNAME doit être ajustée dynamiquement selon le scénario d'utilisation :

  • Lorsqu'un Pod unique demande 1, 2, 4 ou 8 GPU pour des tâches d'entraînement ou d'inférence, définissez NCCL_SOCKET_IFNAME=eth0. Il s'agit de la configuration par défaut dans cette image.

  • Lorsqu'un Pod unique demande l'ensemble des 16 GPU d'une machine pour des tâches d'entraînement ou d'inférence, définissez NCCL_SOCKET_IFNAME=hpn0 pour utiliser le réseau haute performance (HPN).