inference-nv-pytorch 25.07 - Container Compute Service - Centro de documentación de Alibaba Cloud

Novedades

Actualizaciones de framework

Framework	Versión
vLLM	v0.9.2
SGLang	v0.4.9.post1
deepgpu-comfyui	v1.1.7

Corrección de bug

vLLM 0.9.2 presentaba un error PPMissingLayer al ejecutar el modelo DeepSeek-R1 con una configuración de múltiples nodos (dos máquinas). Esta versión aplica de forma anticipada la corrección del PR #20665 del proyecto original. De este modo, la inference distribuida en clústeres de varios nodos funciona sin necesidad de aplicar parches manuales.

Especificaciones de la imagen

Esta versión incluye dos variantes de imagen. Ambas están diseñadas para la inference de modelos de lenguaje extensos (LLM) sobre PyTorch con CUDA 12.8.

	Imagen de vLLM	Imagen de SGLang
Etiqueta de la imagen	`25.07-vllm0.9.2-pytorch2.7-cu128-20250714-serverless`	`25.07-sglang0.4.9-pytorch2.7-cu128-20250710-serverless`
Caso de uso	Inference de LLM	Inference de LLM
Framework	PyTorch	PyTorch
Requisito de controlador	NVIDIA Driver ≥570	NVIDIA Driver ≥570

Componentes del sistema: imagen de vLLM

Componente	Versión
Ubuntu	24.04
Python	3.12
Torch	2.7.1+cu128
CUDA	12.8
NCCL	2.27.5
accelerate	1.8.1
diffusers	0.34.0
deepgpu-comfyui	1.1.7
deepgpu-torch	0.0.24+torch2.7.0cu128
flash_attn	2.8.1
imageio	2.37.0
imageio-ffmpeg	0.6.0
ray	2.47.1
transformers	4.53.1
vllm	0.9.3.dev0+ga5dd03c1e.d20250709
xgrammar	0.1.19
triton	3.3.1

Componentes del sistema: imagen de SGLang

Componente	Versión
Ubuntu	24.04
Python	3.12
Torch	2.7.1+cu128
CUDA	12.8
NCCL	2.27.5
accelerate	1.8.1
diffusers	0.34.0
deepgpu-comfyui	1.1.7
deepgpu-torch	0.0.24+torch2.7.0cu128
flash_attn	2.8.1
flash_mla	1.0.0+9edee0c
flashinfer-python	0.2.7.post1
imageio	2.37.0
imageio-ffmpeg	0.6.0
transformers	4.53.0
sgl-kernel	0.2.4
sglang	0.4.9.post1
xgrammar	0.1.20
triton	3.3.1
torchao	0.9.0

Acceso a las imágenes

Imágenes públicas

Extraiga cualquiera de las imágenes directamente desde el registro público:

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.07-vllm0.9.2-pytorch2.7-cu128-20250714-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.07-sglang0.4.9-pytorch2.7-cu128-20250710-serverless

Imágenes de VPC

Para extraer imágenes con menor latencia dentro de una Virtual Private Cloud (VPC), utilice a continuación ruta:

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Reemplace {region-id} con la región donde activó Alibaba Cloud Container Compute Service (ACS) (por ejemplo, cn-beijing o cn-wulanchabu), y {image:tag} por el nombre y la etiqueta de la imagen.

Importante

Actualmente, la extracción de imágenes mediante VPC solo es compatible con la región China (Beijing).

Nota

Ambas imágenes son compatibles con clústeres de ACS y clústeres multiinquilino de Lingjun. No se admiten en clústeres de inquilino único de Lingjun.

Requisito de controlador

Las imágenes con CUDA 12.8 requieren NVIDIA Driver 570 o posterior.

Inicio rápido

En este ejemplo se extrae la imagen de vLLM, se descarga el modelo Qwen2.5-7B-Instruct y se ejecuta una prueba de inference.

Nota

Para los despliegues en ACS, seleccione la imagen desde Artifact Center en la consola o especifíquela en su configuración YAML. Consulte a continuación guías para obtener instrucciones completas de despliegue:

Extraiga la imagen.

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Descargue el modelo desde ModelScope.

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

Inicie el contenedor.

docker run -d -t --network=host --privileged --init --ipc=host \
  --ulimit memlock=-1 --ulimit stack=67108864 \
  -v /mnt/:/mnt/ \
  egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Inicie el servidor de inference de vLLM.

python3 -m vllm.entrypoints.openai.api_server \
  --model /mnt/Qwen2.5-7B-Instruct \
  --trust-remote-code --disable-custom-all-reduce \
  --tensor-parallel-size 1

Envíe una solicitud de prueba desde el cliente.

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",
    "messages": [
      {"role": "system", "content": "You are a friendly AI assistant."},
      {"role": "user", "content": "Please introduce deep learning."}
    ]
  }'

Para más información, consulte la documentación de vLLM.

Problemas conocidos

El plugin deepgpu-comfyui para la generación de video con el modelo Wanx solo es compatible con los tipos de instancia gn8is.