Container Compute Service:training-nv-pytorch 25.08

Fonctionnalités principales

• Mise à niveau de transformers vers la version 4.53.3+ali.

• Mise à niveau de vllm vers la version 0.10.0 et de ray vers la version 2.48.0.

Corrections de bugs

Aucune correction de bug dans cette version.

25.08

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.08-serverless

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Optimisation de la compilation PyTorch

Introduite dans PyTorch 2.0, la fonction torch.compile() offre souvent des gains de performance significatifs pour les charges de travail mono-GPU à petite échelle. Cependant, l'entraînement de LLM reposant sur l'optimisation de la mémoire GPU et des frameworks distribués tels que FSDP ou DeepSpeed, torch.compile() peut apporter des avantages limités, voire dégrader les performances.

• Contrôlez la granularité de la communication dans le framework DeepSpeed. Cela permet au compilateur de capturer un graphe de calcul plus complet et d'appliquer des optimisations de compilation plus larges.

• Utilisez une version optimisée de PyTorch :

  • Le frontend du compilateur PyTorch a été amélioré pour garantir la réussite de la compilation même en cas de rupture de graphe lors du calcul.

  • La correspondance de motifs et la prise en charge des formes dynamiques ont été renforcées afin d'améliorer les performances post-compilation.

Grâce à ces optimisations, l'entraînement de LLM à 8 milliards de paramètres atteint généralement un gain de débit de bout en bout d'environ 20 %.

Optimisation de la mémoire GPU pour le recalcul

Un modèle prédictif de la surcharge mémoire GPU recommande le nombre optimal de couches de recalcul d'activation. Il s'appuie sur des données de performance à grande échelle, incluant différents modèles, clusters et paramètres d'entraînement, ainsi que des métriques système telles que l'utilisation de la mémoire GPU collectées lors de benchmarks. Cette approche est intégrée à PyTorch, ce qui vous permet de bénéficier des gains de performance liés à l'optimisation de la mémoire GPU avec un effort minimal. Cette fonctionnalité est désormais prise en charge dans le framework DeepSpeed.

ACCL

ACCL est la bibliothèque de communication haute performance d'Alibaba Cloud conçue pour Lingjun. ACCL-N en est la version dédiée aux GPU. Personnalisée à partir de NVIDIA NCCL, cette bibliothèque de communication haute performance est entièrement compatible avec NCCL. Elle corrige des problèmes présents dans la version upstream de NCCL et inclut des améliorations de performance et de stabilité.

Évaluation du gain de performance E2E

Nous avons utilisé l'outil d'analyse des performances IA cloud-native CNP pour comparer les performances de bout en bout de cette image par rapport aux images de base standard, en utilisant des modèles open source et des configurations de framework courants. Grâce à des études d'ablation, nous avons également évalué la contribution de chaque composant d'optimisation à la performance globale d'entraînement du modèle.

Analyse de la contribution des composants GPU principaux à la performance E2E

Les tests suivants, réalisés sur un cluster GPU multi-nœuds, comparent les performances d'entraînement E2E de ces configurations :

1. Base : Image NGC PyTorch.

2. Image IA ACS : Base+ACCL : L'image utilise la bibliothèque de communication ACCL.

3. Image IA ACS : AC2+ACCL : Image basée sur AC2 BaseOS avec ACCL et sans autre optimisation.

4. Image IA ACS : AC2+ACCL+CompilerOpt : Image basée sur AC2 BaseOS avec uniquement l'optimisation torch.compile() activée.

5. Image IA ACS : AC2+ACCL+CompilerOpt+CkptOpt : Image basée sur AC2 BaseOS avec les optimisations torch.compile() et checkpointing sélectif du gradient activées.

Prise en main

La procédure suivante explique comment récupérer l'image training-nv-pytorch à l'aide de Docker.

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Start the container and enter it
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# Run the training demo
ljperf benchmark --model deepspeed/llama3-8b