inference-nv-pytorch 25.02 - Container Compute Service - Centro de documentación de Alibaba Cloud

Este documento contiene las notas de la versión de inference-nv-pytorch 25.02.

Funciones principales y correcciones de bugs

Funciones principales

Se actualizó vLLM a v0.7.2.
Se añadió compatibilidad con SGLang v0.4.3.post2.
Se añadió compatibilidad con los modelos DeepSeek.

Correcciones de bugs

Ninguna en esta versión.

Contenido

Casos de uso	inference de LLM
Framework	PyTorch
Requisitos	Versión del controlador de NVIDIA >= 550
Componentes del sistema	Ubuntu 22.04 Python 3.10 Torch 2.5.1 CUDA 12.4 transformers 4.48.3 triton 3.1.0 ray 2.42.1 vllm 0.7.2 sgl-kernel 0.0.3.post6 sglang 0.4.3.post2 flashinfer-python 0.2.1.post2 ACCL-N 2.23.4.11

Recursos

Imagen pública

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless

Imagen de VPC

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Reemplace {region-id} por la region donde activó Alibaba Cloud Container Compute Service (ACS) (por ejemplo, cn-beijing o cn-wulanchabu ).

Reemplace {image:tag} por el nombre y la etiqueta de la imagen.

Nota

Las imágenes inference-nv-pytorch:25.03-vllm0.8.2-pytorch2.6-cu124-20250328-serverless y inference-nv-pytorch:25.03-sglang0.4.4.post1-pytorch2.5-cu124-20250327-serverless son compatibles únicamente con despliegues multitenant de ACS y Lingjun. No son compatibles con despliegues de un solo tenant de Lingjun.

Nota

La imagen inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless está diseñada para entornos de ACS y Lingjun multitenant. No es adecuada para entornos de Lingjun de un solo tenant.
La imagen inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305 está diseñada para escenarios de Lingjun de un solo tenant.

Requisitos del controlador

Versión del controlador de NVIDIA >= 550

Inicio rápido

En este ejemplo se muestra cómo extraer la imagen inference-nv-pytorch con Docker y probar el servicio de inference con el modelo Qwen2.5-7B-Instruct.

Nota

Para usar la imagen inference-nv-pytorch en ACS, selecciónela desde la página del centro de artefactos en la consola cuando cree una carga de trabajo, o bien especifique la referencia de la imagen en un archivo YAML. Para obtener más información, consulte los siguientes temas sobre cómo construir un servicio de inference de modelos DeepSeek mediante la capacidad de cómputo de GPU de ACS:

Extraiga la imagen del contenedor de inference.

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Descargue el modelo de código abierto en formato ModelScope.

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

Ejecute el siguiente comando para iniciar el contenedor y acceder a él.

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Pruebe vLLM conversational inference feature.

Inicie el servidor.

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

Ejecute una prueba desde el cliente.

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Please introduce deep learning."}
    ]}'

Para obtener más información sobre el uso de vLLM, consulte vLLM.

Problemas conocidos

Illegal memory access for MoE On H20 #13693. Se recomienda actualizar vLLM.