Esta versión actualiza vLLM a v0.8.5 y SGLang a v0.4.6.post1. Ambas incluyen PyTorch 2.6.0 y compatibilidad con el modelo Qwen3.
Novedades
Actualizaciones
vLLM se actualizó a v0.8.5
La versión de PyTorch de la imagen de SGLang se actualizó a 2.6.0
SGLang se actualizó a v0.4.6.post1
Adiciones
Compatibilidad con el modelo Qwen3 para las imágenes de vLLM y SGLang
Correcciones de bugs
Ninguna
Detalles de las imágenes
Ambas imágenes están diseñadas para tareas de inference de LLM en PyTorch con CUDA 12.4 y requieren la versión del controlador de NVIDIA >= 550.
|
Imagen de vLLM |
Imagen de SGLang |
|
|
Etiqueta |
|
|
|
Escenario |
inference de LLM |
inference de LLM |
|
Framework |
pytorch |
pytorch |
|
Requisito del controlador |
Versión del controlador de NVIDIA >= 550 |
Versión del controlador de NVIDIA >= 550 |
|
Ubuntu |
22.04 |
22.04 |
|
Python |
3.10 |
3.10 |
|
Torch |
2.6.0+cu124 |
2.6.0+cu124 |
|
CUDA |
12.4 |
12.4 |
|
ACCL-N |
2.23.4.12 |
2.23.4.12 |
|
accelerate |
1.6.0 |
— |
|
diffusers |
0.33.1 |
— |
|
flash_attn |
2.7.4.post1 |
— |
|
flashinfer-python |
— |
0.2.3 |
|
transformer / transformers |
4.51.3 |
4.51.1 |
|
vllm |
0.8.5 |
— |
|
sglang |
— |
0.4.6.post1 |
|
sgl-kernel |
— |
0.1.0 |
|
ray |
2.43.0 |
— |
|
triton |
3.2.0 |
3.2.0 |
|
xgrammar |
0.1.18 |
0.1.17 |
Registro de imágenes
Red pública
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.04-vllm0.8.5-pytorch2.6-cu124-20250430-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.04-sglang0.4.6.post1-pytorch2.6-cu124-20250430-serverlessVPC
acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}Reemplace {region-id} por la región donde esté activado su ACS, por ejemplo, cn-beijing o cn-wulanchabu. Reemplace {image:tag} por el nombre y la etiqueta de la imagen.
Actualmente, las extracciones de imágenes de VPC solo son compatibles en la región China (Beijing).
Las imágenes 25.04-vllm0.8.5-pytorch2.6-cu124-20250430-serverless y 25.04-sglang0.4.6.post1-pytorch2.6-cu124-20250430-serverless son compatibles con la modalidad de producto de ACS y con la modalidad de producto de varios inquilinos de Lingjun. No son compatibles con la modalidad de producto de inquilino único de Lingjun.
Inicio rápido
A continuación, se muestra un ejemplo que extrae la imagen inference-nv-pytorch y ejecuta una prueba de inference con el modelo Qwen2.5-7B-Instruct usando vLLM.
Para usar la imagen inference-nv-pytorch en ACS, seleccione la imagen en la página de artifact center de la consola cuando cree cargas de trabajo, o especifique la imagen en un archivo YAML. Para obtener más información, consulte:
-
Extraiga la imagen de contenedor de inference.
docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag] -
Descargue un modelo de código abierto en formato ModelScope.
pip install modelscope cd /mnt modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct -
Inicie el contenedor.
docker run -d -t --network=host --privileged --init --ipc=host \ --ulimit memlock=-1 --ulimit stack=67108864 \ -v /mnt/:/mnt/ \ egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag] -
Inicie el servidor de API de vLLM dentro del contenedor.
python3 -m vllm.entrypoints.openai.api_server \ --model /mnt/Qwen2.5-7B-Instruct \ --trust-remote-code --disable-custom-all-reduce \ --tensor-parallel-size 1 -
Envíe una solicitud de prueba desde el cliente.
curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/mnt/Qwen2.5-7B-Instruct", "messages": [ {"role": "system", "content": "You are a friendly AI assistant."}, {"role": "user", "content": "Please introduce deep learning."} ]}'Para obtener más información sobre cómo trabajar con vLLM, consulte la documentación de vLLM.
Problemas conocidos
Ninguna