Container Compute Service:training-nv-pytorch 26.01

Mises à niveau des composants

• Le composant d'entraînement intégré megatron-core passe à la version 0.15.0.

• Le composant d'inférence intégré vLLM passe à la version 0.13.0.

• Le composant intégré flashinfer-python passe à la version 0.5.3.

• Le composant intégré health_check est mis à niveau pour être compatible avec shuttle 1.5.3.

Problèmes résolus

Cette version ne corrige aucun problème.

Composants principaux

Image publique

Image VPC

Pour tirer rapidement les images de conteneur ACS AI au sein d'un Virtual Private Cloud (VPC), remplacez l'URI de ressource egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} de l'image de conteneur AI spécifiée par acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}.

• {region-id} : ID d'une région ACS. Par exemple, cn-beijing ou cn-wulanchabu. Pour plus d'informations, consultez la rubrique Régions.

• {image:tag} : nom et tag de l'image de conteneur AI. Par exemple, inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless ou training-nv-pytorch:25.10-serverless.

Optimisation de la compilation PyTorch

torch.compile(), introduit dans PyTorch 2.0, offre souvent des gains significatifs pour les charges de travail à petite échelle sur un seul GPU. Toutefois, l'entraînement des LLM repose sur l'optimisation de la mémoire GPU et sur des frameworks distribués tels que FSDP ou DeepSpeed ; par conséquent, torch.compile() peut offrir des avantages limités, voire dégrader les performances.

• Contrôlez la granularité de la communication dans le framework DeepSpeed. Cela aide le compilateur à capturer un graphe de calcul plus complet et à appliquer des optimisations de compilation plus larges.

• Utilisez une build PyTorch optimisée :

  • Le frontend du compilateur PyTorch est amélioré pour garantir que la compilation réussisse même si une rupture de graphe se produit dans le graphe de calcul.

  • La correspondance de motifs et la prise en charge des formes dynamiques sont renforcées pour améliorer les performances après compilation.

  Grâce à ces optimisations, l'entraînement des LLM de 8 milliards de paramètres atteint généralement un gain de débit de bout en bout d'environ 20 %.

Optimisation de la mémoire GPU pour le recalcul

Un modèle prédictif de la consommation de mémoire GPU recommande le nombre optimal de couches de recalcul d'activation. Ce modèle s'appuie sur des données de performance à grande échelle, incluant différents modèles, clusters et paramètres d'entraînement, ainsi que sur des métriques système telles que l'utilisation de la mémoire GPU collectées lors des tests de référence. Cette approche est intégrée à PyTorch, ce qui vous permet d'obtenir les gains de performance liés à l'optimisation de la mémoire GPU avec un effort minimal. Cette fonctionnalité est prise en charge dans le framework DeepSpeed.

1. Tirez l'image

Sélectionnez le tag dont les exigences de pilote NVIDIA et les architectures prises en charge correspondent à vos nœuds, puis remplacez [tag] dans la commande suivante par ce tag. Pour connaître les exigences de chaque tag, consultez la section Contenu de l'image.

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Activez les optimisations du compilateur et du point de contrôle des gradients

training_args = TrainingArguments(
    bf16=True,
    gradient_checkpointing=True,
    torch_compile=True
)

export CHECKPOINT_OPTIMIZATION=true

3. Démarrez le conteneur

L'image inclut l'outil d'entraînement de modèle intégré ljperf, utilisé dans les étapes suivantes pour démarrer un conteneur et exécuter une tâche d'entraînement.

# Start the container and log on to it
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# Run the training demo
ljperf benchmark --model deepspeed/llama3-8b

Recommandations d'utilisation

• Ne réinstallez pas les bibliothèques modifiées par l'image, telles que PyTorch et DeepSpeed.

• Laissez zero_optimization.stage3_prefetch_bucket_size vide ou définissez-le sur auto dans la configuration DeepSpeed.

• Ajustez la variable d'environnement intégrée NCCL_SOCKET_IFNAME de cette image en fonction de votre scénario :

  • Lorsqu'un seul pod demande uniquement 1, 2, 4 ou 8 GPU pour une tâche d'entraînement ou d'inférence, définissez NCCL_SOCKET_IFNAME=eth0 (la configuration par défaut de cette image).When a single pod requests only 1, 2, 4, or 8 GPUs for a training or inference job, set NCCL_SOCKET_IFNAME=eth0 (the default configuration in this image). (l'une des configurations par défaut de cette image).

  • Lorsqu'un seul pod demande les 16 GPU d'une machine pour une tâche d'entraînement ou d'inférence, et que vous pouvez utiliser le réseau haute performance (HPN), définissez NCCL_SOCKET_IFNAME=hpn0.