inference-nv-pytorch 26.07 - Container Compute Service - Centro de documentación de Alibaba Cloud

La versión 26.07 de inference-nv-pytorch actualiza vLLM a la v0.25.1 y SGLang a la v0.5.15.post1. Además, incorpora compatibilidad con las arquitecturas amd64 y aarch64.

Características principales y correcciones de bugs

Características principales

La imagen de vLLM se actualizó a la versión v0.25.1.
La imagen de SGLang se actualizó a la versión v0.5.15.post1.
Las imágenes de vLLM y SGLang son compatibles con las arquitecturas amd64 y aarch64.

Correcciones de bugs

Ninguna

Contenido

Nombre de la imagen	inference-nv-pytorch
Etiqueta	26.07-vllm0.25.1-pytorch2.11-cu130-20260723-serverless		26.07-sglang0.5.15.post1-pytorch2.11-cu130-20260715-serverless
Arquitecturas compatibles	amd64	aarch64	amd64	aarch64
Escenario	Inference de modelos grandes	Inference de modelos grandes	Inference de modelos grandes	Inference de modelos grandes
Framework	pytorch	pytorch	pytorch	pytorch
Requisitos	Versión del controlador de NVIDIA >= 580	Versión del controlador de NVIDIA >= 580	Versión del controlador de NVIDIA >= 580	Versión del controlador de NVIDIA >= 580
Componentes del sistema	Ubuntu 24.04.3 LTS Python 3.12.7 CUDA 13.0 NCCL 2.30.7-1 torch 2.11.0 torchvision 0.26.0 torchaudio 2.11.0 triton 3.7.1 Transformers 5.14.1 deep_ep 2.1.0+dd758ca flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.13 flashinfer-cubin 0.6.13 flash_mla 1.0.0+b7643bd mooncake 0.3.11.post1 nvshmem 3.7.1 xgrammar 0.2.3 vLLM 0.25.1 ray 2.56.1 ljperf 0.1.0+d0e4a408 numpy 2.3.5	Ubuntu 24.04 Python 3.12.7 CUDA 13.0.2 NCCL 2.30.7-1 torch 2.11.0 torchvision 0.26.0 torchaudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.12.1 diffusers 0.39.0 decord 3.4.0 deep_ep 2.1.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.13 flash_mla 1.0.0 mooncake 0.3.11.post1 nvshmem 3.7.1 xgrammar 0.2.3 vLLM 0.25.1 ray 2.56.0 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 CUDA 13.0.2 NCCL 2.30.7-1 torch 2.11.0 torchvision 0.26.0 torchaudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.12.1 diffusers 0.39.0 decord 0.6.0 deep_ep 2.1.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flash-attn-4 4.0.0b15 flashinfer-python 0.6.12 flash_mla 1.0.0 mooncake 0.3.11.post1 nvshmem 3.7.1 xgrammar 0.2.1 sgl-kernel 0.4.4 sglang 0.5.15.post1 ray 2.56.0 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 CUDA 13.0.2 NCCL 2.30.7-1 torch 2.11.0 torchvision 0.26.0 torchaudio 2.11.0 torchao 0.17.0 triton 3.6.0 transformers 5.12.1 diffusers 0.39.0 decord 3.4.0 deep_ep 2.1.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flash-attn-4 4.0.0b15 flashinfer-python 0.6.12 flash_mla 1.0.0 mooncake 0.3.11.post1 nvshmem 3.7.1 xgrammar 0.2.1 sgl-kernel 0.4.4 sglang 0.5.15.post1 ray 2.56.0 xfuser 0.4.5 ljperf 0.1.0+477686c5

Recursos

Imágenes públicas

Recursos de CUDA 13.0

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.07-vllm0.25.1-pytorch2.11-cu130-20260723-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.07-sglang0.5.15.post1-pytorch2.11-cu130-20260715-serverless

Imágenes de VPC

Para extraer rápidamente imágenes de contenedor de IA de ACS en una VPC, reemplace el URI del recurso de la imagen especificada egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} por acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}.

{region-id}: la region ID del producto ACS. Por ejemplo, cn-beijing y cn-wulanchabu.
{image:tag}: el nombre y la etiqueta de la imagen de contenedor de IA. Por ejemplo, inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless y training-nv-pytorch:25.10-serverless.

Nota

Estas imágenes están diseñadas para entornos multiinquilino de ACS y EGS. No las utilice en entornos dedicados de EGS.

Requisitos del controlador

CUDA 13.0: versión del controlador de NVIDIA ≥ 580

Inicio rápido

Este ejemplo muestra cómo extraer la imagen inference-nv-pytorch con Docker y probar el servicio de inference mediante el modelo Qwen2.5-7B-Instruct.

Nota

Para usar la imagen inference-nv-pytorch en ACS, selecciónela desde Artifacts Center en la página Create Workload de la consola. También puede especificar la referencia de la imagen en un archivo YAML. Para obtener más información, consulte los siguientes temas sobre la construcción de servicios de inference de modelos con recursos de GPU de ACS:

Extraiga la imagen del contenedor de inference.

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Descargue el modelo de código abierto desde ModelScope.

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

Ejecute el siguiente comando para acceder al contenedor.

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Ejecute una prueba de inference para vLLM. conversational feature.

Inicie el servicio del servidor.

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

Pruebe desde el cliente.

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Introduce deep learning."}
    ]}'

Para obtener más información sobre cómo usar vLLM, consulte vLLM.

Problemas conocidos

Las imágenes de esta versión no admiten el plugin deepgpu-comfyui.