Container Compute Service:training-nv-pytorch 25.04

25.04

Image publique :

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.04-serverless

Image VPC :

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

• {region-id} : la région où votre service ACS est activé, par exemple cn-beijing ou cn-wulanchabu.

• {image:tag} : le nom et le tag de l'image.

L'image training-nv-pytorch:25.04-serverless est compatible avec les scénarios ACS et Lingjun multi-tenant. Elle n'est pas compatible avec les scénarios Lingjun single-tenant.

L'image training-nv-pytorch:25.04 (sans suffixe) est destinée aux scénarios Lingjun single-tenant.

Optimisation de la compilation PyTorch

Introduite dans PyTorch 2.0, la fonction torch.compile() offre souvent des gains significatifs pour les charges de travail mono-GPU à petite échelle. Toutefois, l'entraînement de LLM reposant sur l'optimisation de la mémoire GPU et des frameworks distribués tels que FSDP ou DeepSpeed, torch.compile() peut apporter des avantages limités, voire dégrader les performances.

• Contrôlez la granularité des communications dans le framework DeepSpeed. Cela permet au compilateur de capturer un graphe de calcul plus complet et d'appliquer des optimisations de compilation plus étendues.

• Utilisez une version optimisée de PyTorch qui apporte les améliorations suivantes :

  • Le frontend du compilateur PyTorch est amélioré pour garantir la réussite de la compilation même en cas de rupture de graphe lors du calcul.

  • La correspondance de motifs et la prise en charge des formes dynamiques sont renforcées afin d'améliorer les performances post-compilation.

Grâce à ces optimisations, l'entraînement de LLM à 8 milliards de paramètres obtient généralement un gain de débit de bout en bout d'environ 20 %.

Optimisation de la mémoire GPU pour le recalcul

Un modèle prédictif de la surcharge mémoire GPU recommande le nombre optimal de couches de recalcul d'activation. Ce modèle s'appuie sur des données de performances à grande échelle incluant divers modèles, clusters et paramètres d'entraînement, ainsi que sur des métriques système telles que l'utilisation de la mémoire GPU collectées lors de benchmarks. Intégrée directement dans PyTorch, cette approche vous permet de bénéficier des gains de performance liés à l'optimisation de la mémoire GPU avec un effort minimal. Cette fonctionnalité est désormais prise en charge dans le framework DeepSpeed.

ACCL

ACCL est la bibliothèque de communication haute performance d'Alibaba Cloud conçue pour Lingjun. ACCL-N en est la version dédiée aux GPU. Personnalisée à partir de NVIDIA NCCL, cette bibliothèque de communication haute performance reste entièrement compatible avec NCCL tout en corrigeant les problèmes présents dans la version upstream et en apportant des améliorations de performance et de stabilité.

Analyse de la contribution aux performances de bout en bout

Les tests suivants utilisent Golden-25.04 sur des clusters GPU multi-nœuds afin de comparer la contribution de chaque composant d'optimisation au débit de bout en bout. L'outil de performance IA cloud-native CNP exécute des évaluations avec des modèles et frameworks open source courants, en parallèle des images de base standard.

Configurations de test :

1. Base : Image NGC PyTorch

2. Image IA ACS : Base + ACCL : image intégrant la bibliothèque de communication ACCL

3. Image IA ACS : AC2 + ACCL : image golden avec AC2 BaseOS, sans aucune optimisation activée

4. Image IA ACS : AC2 + ACCL + CompilerOpt : image golden avec AC2 BaseOS et optimisation de la compilation PyTorch activée

5. Image IA ACS : AC2 + ACCL + CompilerOpt + CkptOpt : image golden avec AC2 BaseOS, combinant l'optimisation de la compilation et le checkpointing sélectif des activations

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Docker installé sur votre machine hôte

• Un pilote NVIDIA répondant aux prérequis relatifs aux pilotes

• Un accès au registre d'images (image publique ou image VPC, selon votre réseau)

1. Récupérer l'image

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Activer l'optimisation de la compilation et l'optimisation de la mémoire GPU pour le recalcul

Activer l'optimisation de la compilation : utilisez l'API Trainer de Transformers.

Activer l'optimisation de la mémoire GPU pour le recalcul :

export CHECKPOINT_OPTIMIZATION=true

3. Lancer un conteneur et exécuter une tâche d'entraînement

L'image inclut un outil intégré d'entraînement de modèles, ljperf, permettant de lancer des conteneurs et d'exécuter des tâches d'entraînement.

# Launch a container and log in.
docker run --rm -it --ipc=host --net=host --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Run the training demo.
ljperf benchmark --model deepspeed/llama3-8b