Container Compute Service:training-nv-pytorch 25.05

Fonctionnalités

• L'image de base CUDA passe à la version 12.9.0.

Corrections de bugs

• PyTorch passe à la version 2.6.0.7.post1, corrigeant ainsi le problème de plantage du profileur signalé par la communauté open source.

25.05

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.05-serverless

Image VPC

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Remplacez les espaces réservés par les valeurs réelles :

Optimisation de la compilation PyTorch

Introduite dans PyTorch 2.0, la fonction torch.compile() offre souvent des gains significatifs pour les charges de travail mono-GPU à petite échelle. Toutefois, comme l'entraînement de LLM repose sur l'optimisation de la mémoire GPU et des frameworks distribués tels que FSDP ou DeepSpeed, torch.compile() peut apporter des avantages limités, voire dégrader les performances.

• Contrôlez la granularité des communications dans le framework DeepSpeed. Le compilateur capture ainsi un graphe de calcul plus complet et applique des optimisations plus étendues.

• Utilisez une version optimisée de PyTorch :

  • Le frontend du compilateur PyTorch a été amélioré pour garantir la réussite de la compilation même en cas de rupture de graphe lors du calcul.

  • La reconnaissance de motifs et la prise en charge des formes dynamiques ont été renforcées afin d'améliorer les performances post-compilation.

Grâce à ces optimisations, l'entraînement de LLM à 8 milliards de paramètres atteint généralement un gain de débit de bout en bout d'environ 20 %.

Optimisation de la mémoire GPU pour le recalcul

Un modèle prédictif de la surcharge mémoire GPU recommande le nombre optimal de couches de recalcul d'activations. Il s'appuie sur des données de performances à grande échelle, incluant divers modèles, clusters et paramètres d'entraînement, ainsi que des métriques système telles que l'utilisation de la mémoire GPU collectées lors de benchmarks. Intégrée directement dans PyTorch, cette approche vous permet de bénéficier des gains de performance liés à l'optimisation de la mémoire GPU avec un effort minimal. Le framework DeepSpeed prend désormais en charge cette fonctionnalité.

ACCL

ACCL est la bibliothèque de communication haute performance d'Alibaba Cloud conçue pour Lingjun. ACCL-N en est la variante dédiée aux GPU. Dérivée de NVIDIA NCCL, cette bibliothèque de communication haute performance est entièrement compatible avec NCCL. Elle corrige certains problèmes présents dans la version upstream de NCCL tout en apportant des améliorations de performance et de stabilité.

1. Récupérer l'image

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Activer les optimisations

Activer l'optimisation de compilation

Utilisez l'API Trainer de transformers :

Activer l'optimisation de la mémoire GPU pour le recalcul d'activations

export CHECKPOINT_OPTIMIZATION=true

3. Lancer un conteneur

L'image inclut ljperf, un outil intégré d'entraînement de modèles permettant de lancer des conteneurs et d'exécuter des tâches d'entraînement.

Exemple LLM :

# Launch a container and log on to the container.
docker run --rm -it --ipc=host --net=host --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Run the training demo.
ljperf benchmark --model deepspeed/llama3-8b

Remarques d'utilisation

• Cette version modifie les bibliothèques PyTorch et DeepSpeed. Ne les réinstallez pas.

• Laissez le paramètre zero_optimization.stage3_prefetch_bucket_size vide ou définissez-le sur auto dans votre configuration DeepSpeed.