La versión 25.05 de inference-nv-pytorch actualiza la pila de la imagen de vLLM a Ubuntu 24.04, Python 3.12, CUDA 12.8 y vLLM v0.8.5.post1, y actualiza SGLang a v0.4.6.post4 en la imagen de SGLang.
Novedades
Funciones principales
Imagen de vLLM: actualizada a Ubuntu 24.04, Python 3.12, CUDA 12.8 y vLLM v0.8.5.post1.
Imagen de SGLang: SGLang actualizado a v0.4.6.post4.
Correcciones de bugs
Ninguna.
Contenido de la imagen
La tabla que se muestra a continuación enumera las dos imágenes incluidas en esta versión y sus componentes del sistema.
inference-nv-pytorch | inference-nv-pytorch | |
Etiqueta |
|
|
Escenario | inference de LLM | inference de LLM |
Framework | PyTorch | PyTorch |
Requisito del controlador | Controlador de NVIDIA >= 570 | Controlador de NVIDIA >= 550 |
Componentes del sistema |
|
|
Ambas imágenes son compatibles con los servicios de ACS y con los servicios multiinquilino de Lingjun, pero no son compatibles con los servicios de inquilino único de Lingjun.
Recursos
Imágenes de red pública
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.05-vllm0.8.5.post1-pytorch2.7-cu128-20250513-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.05-sglang0.4.6.post4-pytorch2.6-cu124-20250513-serverlessImagen de VPC
acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}Reemplace los marcadores de posición con los valores reales:
|
Marcador de posición |
Descripción |
Ejemplo |
|
|
La región donde se activó su ACS |
|
|
|
El nombre y la etiqueta de la imagen |
|
Actualmente, las imágenes de VPC solo se pueden descargar en la región China (Beijing).
Requisitos del controlador
Imágenes de CUDA 12.8: versión del controlador de NVIDIA >= 570
Imágenes de CUDA 12.4: versión del controlador de NVIDIA >= 550
Inicio rápido
El ejemplo que se muestra a continuación descarga la imagen inference-nv-pytorch con Docker y ejecuta una inference de prueba mediante el modelo Qwen2.5-7B-Instruct.
Para usar la imagen inference-nv-pytorch en ACS, seleccione la imagen desde la página Artifact Center de la consola al crear cargas de trabajo o especifíquela en un archivo YAML. Para obtener más información, consulte:
-
Descargue la imagen de contenedor de inference.
docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag] -
Descargue el modelo Qwen2.5-7B-Instruct desde ModelScope.
pip install modelscope cd /mnt modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct -
Inicie el contenedor.
docker run -d -t --network=host --privileged --init --ipc=host \ --ulimit memlock=-1 --ulimit stack=67108864 \ -v /mnt/:/mnt/ \ egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag] -
Inicie el servidor vLLM y pruebe la inference.
-
Inicie el servidor.
python3 -m vllm.entrypoints.openai.api_server \ --model /mnt/Qwen2.5-7B-Instruct \ --trust-remote-code --disable-custom-all-reduce \ --tensor-parallel-size 1 -
Envíe una solicitud de prueba desde el cliente.
curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/mnt/Qwen2.5-7B-Instruct", "messages": [ {"role": "system", "content": "You are a friendly AI assistant."}, {"role": "user", "content": "Please introduce deep learning."} ]}'Para obtener más información sobre cómo trabajar con vLLM, consulte vLLM.
-
Incidencias conocidas
Ninguna.