Container Compute Service:training-nv-pytorch 25.09

Composants mis à jour

• PyTorch et ses composants associés passent en version 2.8.0.

• Transformers passe en version 4.56.1+ali, intégrant les fonctionnalités et correctifs de la version open source correspondante.

Corrections de bugs

• Correction d'une erreur survenant lors de l'activation de torch.compile() pour Transformers open source sur Qwen2-VL.

Optimisation de la compilation PyTorch

Introduite dans PyTorch 2.0, la fonction torch.compile() offre souvent des gains significatifs pour les charges de travail mono-GPU à petite échelle. Cependant, l'entraînement des LLM repose sur l'optimisation de la mémoire GPU et des frameworks distribués tels que FSDP ou DeepSpeed. Par conséquent, torch.compile() peut apporter des avantages limités, voire dégrader les performances.

• Contrôlez la granularité des communications dans le framework DeepSpeed. Cela permet au compilateur de capturer un graphe de calcul plus complet et d'appliquer des optimisations de compilation plus étendues.

• Utilisez une version optimisée de PyTorch :

  • Le frontend du compilateur PyTorch a été amélioré pour garantir la réussite de la compilation même en cas de rupture de graphe (graph break) dans le graphe de calcul.

  • La reconnaissance de motifs et la prise en charge des formes dynamiques ont été renforcées afin d'améliorer les performances post-compilation.

Grâce à ces optimisations, l'entraînement de LLM à 8 milliards de paramètres obtient généralement un gain de débit de bout en bout d'environ 20 %.

Optimisation de la mémoire GPU pour le recalcul

Un modèle prédictif de la surcharge mémoire GPU recommande le nombre optimal de couches de recalcul des activations. Ce modèle s'appuie sur des données de performance à grande échelle (différents modèles, clusters, paramètres d'entraînement) ainsi que sur des métriques système telles que l'utilisation de la mémoire GPU collectées lors des benchmarks. Intégrée directement à PyTorch, cette approche vous permet de bénéficier des gains de performance liés à l'optimisation de la mémoire GPU avec un effort minimal. Cette fonctionnalité est désormais prise en charge dans le framework DeepSpeed.

ACCL

ACCL est la bibliothèque de communication haute performance d'Alibaba Cloud conçue pour Lingjun. ACCL-N en est la version dédiée aux GPU. Personnalisée à partir de NVIDIA NCCL, cette bibliothèque de communication haute performance est entièrement compatible avec NCCL. Elle corrige des problèmes présents dans la version upstream de NCCL et apporte des améliorations en matière de performance et de stabilité.

Compatibilité des pilotes

La version 25.09 repose sur CUDA 12.8.0 et nécessite un pilote NVIDIA version 575 ou ultérieure. Pour les GPU de centre de données tels que le T4, les versions de pilote suivantes sont également prises en charge :

• 470,57 ou ultérieure (R470)

• 525,85 ou ultérieure (R525)

• 535,86 ou ultérieure (R535)

• 545,23 ou ultérieure (R545)

Les versions de pilote suivantes ne sont pas compatibles ascendamment avec CUDA 12.8 et doivent être mises à niveau avant d'utiliser cette image : R418, R440, R450, R460, R510, R520, R530, R545, R555 et R560. Pour consulter la liste complète des pilotes pris en charge, reportez-vous à Compatibilité des applications CUDA. Pour obtenir des instructions de mise à niveau, consultez Compatibilité et mises à niveau CUDA.

Image publique

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.09-serverless

Image VPC

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Remplacez les espaces réservés par les valeurs suivantes :

Étape 1 : Récupérer l'image

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

Étape 2 : Activer les optimisations de compilation et de recalcul

Activer l'optimisation de compilation

Utilisez l'API Trainer de Transformers :

Activer le recalcul des activations pour l'optimisation de la mémoire GPU

export CHECKPOINT_OPTIMIZATION=true

Étape 3 : Démarrer le conteneur et exécuter une tâche d'entraînement

L'image inclut un outil intégré d'entraînement de modèles nommé ljperf. L'exemple suivant démarre un conteneur et exécute une tâche d'entraînement de LLM :

# Start and enter the container
docker run --rm -it --ipc=host --net=host --privileged \
  egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Run the training demo
ljperf benchmark --model deepspeed/llama3-8b