Container Compute Service:training-nv-pytorch 25.05

Funciones

• La imagen base de CUDA se actualizó a la versión 12.9.0.

Correcciones de bugs

• PyTorch se actualizó a la versión 2.6.0.7.post1, lo cual corrige el problema de cierre inesperado en el perfil reportado por la comunidad de código abierto.

25.05

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.05-serverless

Imagen de VPC

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Sustituya los marcadores de posición con los valores correspondientes:

Optimización de compilación de PyTorch

La función torch.compile(), introducida en PyTorch 2.0, suele ofrecer mejoras notables en cargas de trabajo pequeñas con una sola GPU. Sin embargo, el entrenamiento de modelos LLM depende de la optimización de memoria de la GPU y de frameworks distribuidos como FSDP o DeepSpeed. Por ello, torch.compile() podría aportar ventajas limitadas o incluso reducir el rendimiento.

• Controle la granularidad de la comunicación en el framework DeepSpeed. Esto permite que el compilador capture un grafo de cómputo más completo y aplique optimizaciones de compilación más amplias.

• Utilice una compilación optimizada de PyTorch:

  • El frontend del compilador de PyTorch se mejoró para garantizar que la compilación se complete correctamente, incluso si ocurre una interrupción en el grafo de cómputo.

  • Se reforzó la coincidencia de patrones y la compatibilidad con formas dinámicas para mejorar el rendimiento después de la compilación.

Con estas optimizaciones, el entrenamiento de modelos LLM de 8B parámetros alcanza normalmente una mejora de throughput de extremo a extremo cercana al 20 %.

Optimización de memoria de GPU para recálculo

Se construyó un modelo predictivo de sobrecarga de memoria de GPU a partir de datos de rendimiento a gran escala. Estos datos incluyen distintos modelos, clústeres y configuraciones de parámetros de entrenamiento, además de métricas del sistema como la utilización de memoria de GPU recopilada durante las pruebas de referencia. Dicho modelo recomienda el número óptimo de capas de recálculo de activaciones. Este enfoque se integró directamente en PyTorch, lo que le permite aprovechar las mejoras de rendimiento de la optimización de memoria de GPU con un esfuerzo mínimo. Esta función ya es compatible con el framework DeepSpeed.

ACCL

ACCL es la biblioteca de comunicación de alto rendimiento de Alibaba Cloud creada para Lingjun, mientras que ACCL-N es su variante enfocada en GPU. ACCL-N es una biblioteca de comunicación de alto rendimiento personalizada a partir de NCCL de NVIDIA. Es totalmente compatible con NCCL, corrige problemas presentes en la versión original y añade mejoras de rendimiento y estabilidad.

1. Extraiga la imagen

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. Habilite las optimizaciones

Habilite la optimización de compilación

Utilice la API Trainer de transformers:

Habilite la optimización de memoria de GPU para el recálculo de activaciones

export CHECKPOINT_OPTIMIZATION=true

3. Inicie un contenedor

La imagen incluye ljperf, una herramienta integrada de entrenamiento de modelos que sirve para iniciar contenedores y ejecutar tareas de entrenamiento.

Ejemplo con un modelo LLM:

# Launch a container and log on to the container.
docker run --rm -it --ipc=host --net=host --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Run the training demo.
ljperf benchmark --model deepspeed/llama3-8b

Notas de uso

• Esta versión modifica las bibliotecas de PyTorch y DeepSpeed. No las reinstale.

• Deje vacío el parámetro zero_optimization.stage3_prefetch_bucket_size o establézcalo en auto dentro de su configuración de DeepSpeed.