inference-nv-pytorch 25.11 - Container Compute Service

本文介紹inference-nv-pytorch 25.11版本發布記錄。

Main Features and Bug Fix Lists

Main Features

提供了CUDA12.8和CUDA13.0兩個CUDA版本的鏡像，其中：
- CUDA12.8鏡像僅支援amd64架構。
- CUDA13.0鏡像支援amd64 和 aarch64架構。
PyTorch版本升級至2.9.0。
CUDA12.8鏡像deepgpu-comfyui 升級至1.3.2，deepgpu-torch最佳化組件升級至0.1.12+torch2.9.0cu128。
CUDA12.8和CUDA13.0鏡像vLLM版本升級到v0.11.2，SGLang版本升級至v0.5.5.post3。

Bug Fix

無

鏡像名稱	inference-nv-pytorch
鏡像Tag	25.11-vllm0.11.1-pytorch2.9-cu128-20251120-serverless	25.11-sglang0.5.5.post3-pytorch2.9-cu128-20251121-serverless	25.11-vllm0.11.1-pytorch2.9-cu130-20251120-serverless		25.11-sglang0.5.5.post3-pytorch2.9-cu130-20251121-serverless
支援架構	amd64	amd64	amd64	aarch64	amd64	aarch64
應用情境	大模型推理	大模型推理	大模型推理	大模型推理	大模型推理	大模型推理
架構	pytorch	pytorch	pytorch	pytorch	pytorch	pytorch
Requirements	NVIDIA Driver release >= 570	NVIDIA Driver release >= 570	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580
系統組件	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu128 CUDA 12.8 diffusers 0.35.2 deepgpu-comfyui 1.3.2 deepgpu-torch 0.1.12+torch2.9.0cu128 flash_attn 2.8.3 flashinfer-python 0.5.2 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.51.1 transformers 4.57.1 triton 3.4.0 torchaudio 2.8.0+cu128 torchvision 0.24.0+cu128 vllm 0.11.1 xfuser 0.4.5 xgrammar 0.1.25 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu128 CUDA 12.8 diffusers 0.35.2 decord 0.6.0 decord2 2.0.0 deepgpu-comfyui 1.3.2 deepgpu-torch 0.1.12+torch2.9.0cu128 flash_attn 2.8.3 flash_mla 1.0.0+1408756 flashinfer-python 0.5.2 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.51.1 transformers 4.57.1 sgl-kernel 0.3.17.post1 sglang 0.5.5.post3 xgrammar 0.1.25 triton 3.5.0 torchao 0.9.0 torchaudio 2.8.0+cu128 torchvision 0.24.0+cu128 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.2 diffusers 0.35.2 flash_attn 2.8.3 flashinfer-python 0.5.2 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.51.1 transformers 4.57.1 triton 3.5.0 torchaudio 2.9.0+cu130 torchvision 0.24.0+cu130 vllm 0.11.2 xfuser 0.4.5 xgrammar 0.1.25 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.2 diffusers 0.35.2 flash_attn 2.8.3 flashinfer-python 0.5.2 transformers 4.57.1 ray 2.51.1 vllm 0.11.1 triton 3.5.0 torchaudio 2.9.0 torchvision 0.24.0 xfuser 0.4.5 xgrammar 0.1.25	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.2 diffusers 0.35.2 decord 0.6.0 decord2 2.0.0 flash_attn 2.8.3 flashinfer-python 0.5.2 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.51.1 transformers 4.57.1 sgl-kernel 0.3.17.post1 sglang 0.5.5.post3 xgrammar 0.1.25 triton 3.5.0 torchao 0.9.0 torchaudio 2.9.0 torchvision 0.24.0 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.2 diffusers 0.35.2 decord2 2.0.0 flashinfer-python 0.5.2 imageio 2.37.2 flash_attn 2.8.3 imageio-ffmpeg 0.6.0 transformers 4.57.1 sgl-kernel 0.3.17.post1 sglang 0.5.5.post3 xgrammar 0.1.25 triton 3.5.0 torchao 0.9.0 torchaudio 2.9.0 torchvision 0.24.0 xfuser 0.4.5

Asset

公網鏡像

CUDA12.8 Asset

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.11-vllm0.11.1-pytorch2.9-cu128-20251120-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.11-sglang0.5.5.post3-pytorch2.9-cu128-20251121-serverless

CUDA13.0 Asset

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.11-vllm0.11.1-pytorch2.9-cu130-20251120-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.11-sglang0.5.5.post3-pytorch2.9-cu130-20251121-serverless

VPC鏡像

將指定的AI容器鏡像Asset URIegslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag}替換為acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}即可在VPC內快速拉取ACS AI容器鏡像。

{region-id}：ACS產品開服地區的地區ID。例如：cn-beijing、cn-wulanchabu等。
{image:tag}：AI容器鏡像的名稱和Tag。例如：inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless、training-nv-pytorch:25.10-serverless等。

說明

鏡像適用於ACS產品形態、靈駿多租產品形態，不適用於靈駿單租產品形態，請勿在靈駿單租情境使用。

Driver Requirements

CUDA12.8：NVIDIA Driver release >= 570
CUDA13.0：NVIDIA Driver release >= 580

Quick Start

以下樣本內容僅通過Docker方式拉取inference-nv-pytorch鏡像，並使用Qwen2.5-7B-Instruct模型測試推理服務。

說明

在ACS中使用inference-nv-pytorch鏡像需要通過控制台建立工作負載介面的製品中心頁面選取，或者通過YAML檔案指定鏡像引用。更多詳細操作，請參見使用ACS GPU算力構建模型推理服務系列內容：

拉取推理容器鏡像。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

通過ModelScope下載開源模型。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

啟動以下命令進入容器。

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

執行推理測試，測試vLLM推理對話功能。

啟動Server端服務。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

在Client端進行測試。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "你是個友善的AI助手。"},
    {"role": "user", "content": "介紹一下深度學習。"}
    ]}'

更多關於vLLM的使用方法請參見vLLM。

Known Issues

deepgpu-comfyui外掛程式，加速Wanx模型視頻產生，目前僅支援GN8IS、G49E、G59。

Container Compute Service：inference-nv-pytorch 25.11