Container Compute Service:training-nv-pytorch 25.02

Fonctionnalités principales

• L'image de base est désormais alignée sur NGC 25.01. CUDA passe à la version 12.8.0 et cuDNN à la version 9.7.0.66.

• ACCL-N passe à la version 2.23.4.11 et prend désormais en charge ACCL-Barex.

• Transformers passe à la version 4.48.3+ali, vLLM à la version 0.7.2 et Ray à la version 2.42.1. Cette version intègre les fonctionnalités et les corrections de bugs de ces versions sources.

Corrections de bugs

Aucune correction pour cette version.

Image publique

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.02-serverless

Image VPC

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Remplacez {region-id} par l'ID de la région où votre service Alibaba Cloud Container Compute Service (ACS) est activé (par exemple, cn-beijing ou cn-wulanchabu ).

Remplacez {image:tag} par le nom et le tag de l'image.

Optimisation de la compilation PyTorch

Introduite dans PyTorch 2.0, la fonction torch.compile() offre souvent des gains significatifs pour les charges de travail mono-GPU à petite échelle. Cependant, comme l'entraînement de LLM repose sur l'optimisation de la mémoire GPU et des frameworks distribués tels que FSDP ou DeepSpeed, torch.compile() peut apporter des avantages limités, voire dégrader les performances.

• Contrôlez la granularité de la communication dans le framework DeepSpeed. Cela permet au compilateur de capturer un graphe de calcul plus complet et d'appliquer des optimisations de compilation plus larges.

• Utilisez une version optimisée de PyTorch :

  • Le frontend du compilateur PyTorch a été amélioré pour garantir la réussite de la compilation même en cas de rupture de graphe dans le graphe de calcul.

  • La correspondance de motifs et la prise en charge des formes dynamiques ont été renforcées afin d'améliorer les performances post-compilation.

Grâce à ces optimisations, l'entraînement de LLM à 8 milliards de paramètres atteint généralement un gain de débit de bout en bout d'environ 20 %.

Optimisation de la mémoire GPU pour le recalcul

Un modèle prédictif de la surcharge mémoire GPU recommande le nombre optimal de couches de recalcul d'activation. Ce modèle s'appuie sur des données de performances à grande échelle, incluant différents modèles, clusters et paramètres d'entraînement, ainsi que des métriques système telles que l'utilisation de la mémoire GPU collectées lors des benchmarks. Intégrée à PyTorch, cette approche vous permet de bénéficier des gains de performance liés à l'optimisation de la mémoire GPU avec un effort minimal. Cette fonctionnalité est désormais prise en charge dans le framework DeepSpeed.

ACCL

ACCL est la bibliothèque de communication haute performance d'Alibaba Cloud conçue pour Lingjun. ACCL-N en est la version dédiée aux GPU. Personnalisée à partir de NVIDIA NCCL, cette bibliothèque de communication haute performance est entièrement compatible avec NCCL. Elle corrige des problèmes présents dans la version source de NCCL et inclut des améliorations de performance et de stabilité.

Évaluation des performances de bout en bout

À l'aide de CNP, outil cloud-native d'analyse et de benchmarking des performances de l'IA, nous avons réalisé une comparaison complète des performances de bout en bout par rapport à une image de base standard, en utilisant des modèles open source courants et des configurations de frameworks standards. Nous avons également mené des études d'ablation afin de mesurer la contribution de chaque composant d'optimisation aux performances globales d'entraînement du modèle.

Analyse de la contribution des composants clés du GPU aux performances de bout en bout

Les tests suivants reposent sur la version 25.02 et exécutent des benchmarks et des comparaisons de performances de bout en bout sur un cluster GPU multi-nœuds. Les éléments comparés incluent :

1. Base : image NGC PyTorch.

2. Image IA ACS : Base+ACCL : image de base avec la bibliothèque de communication ACCL.

3. Image IA ACS : AC2+ACCL : image de base sur AC2 BaseOS avec ACCL.

4. Image IA ACS : AC2+ACCL+CompilerOpt : image de base sur AC2 BaseOS avec ACCL et l'optimisation torch.compile() activée.

5. Image IA ACS : AC2+ACCL+CompilerOpt+CkptOpt : image de base sur AC2 BaseOS avec ACCL, torch.compile() et les optimisations de checkpointing sélectif du gradient activées.

1. Récupérer l'image

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Activer le compilateur et l'optimisation de la mémoire

• Activer l'optimisation de la compilation

  Utilisez l'API Transformers Trainer :

  training_args = TrainingArguments(
      bf16=True,
      gradient_checkpointing=True,
      torch_compile=True
  )

• Activer l'optimisation de la mémoire GPU pour le recalcul

  export CHECKPOINT_OPTIMIZATION=true

3. Lancer le conteneur

L'image inclut l'outil d'entraînement de modèles ljperf. Les étapes suivantes montrent comment démarrer un conteneur et exécuter une tâche d'entraînement.

# Launch and enter the container.
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# Run the training demo.
ljperf benchmark --model deepspeed/llama3-8b 

4. Remarques d'utilisation

• Ne réinstallez pas PyTorch ou DeepSpeed. L'image contient des modifications apportées à ces bibliothèques (qui seront contribuées en amont ultérieurement).

• Dans votre configuration DeepSpeed, laissez le paramètre zero_optimization.stage3_prefetch_bucket_size vide ou définissez-le sur auto.