inference-nv-pytorch 26.02 - Container Compute Service

本文介紹inference-nv-pytorch 26.02版本發布記錄。

Main Features and Bug Fix Lists

Main Features

提供了 CUDA12.8 和 CUDA13.0 兩個CUDA版本的鏡像，其中：
- CUDA12.8鏡像僅支援amd64架構。
- CUDA13.0鏡像支援amd64和aarch64架構。
vLLM鏡像Torch版本升級至2.10.0，vLLM版本升級到v0.15.1。
SGLang鏡像Torch版本升級至2.10.0，SGLang版本升級至v0.5.9。

Bug Fix

無

鏡像名稱	inference-nv-pytorch
Tag	26.02-vllm0.15.1-pytorch2.10-cu128-20260211-serverless	26.02-sglang0.5.9-pytorch2.10-cu128-20260227-serverless	26.02-vllm0.15.1-pytorch2.10-cu130-20260211-serverless		26.02-sglang0.5.9-pytorch2.10-cu130-20260227-serverless
支援架構	amd64	amd64	amd64	aarch64	amd64	aarch64
應用情境	大模型推理	大模型推理	大模型推理	大模型推理	大模型推理	大模型推理
架構	pytorch	pytorch	pytorch	pytorch	pytorch	pytorch
Requirements	NVIDIA Driver release >= 570	NVIDIA Driver release >= 570	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580
系統組件	Ubuntu 24.04 Python 3.12 Torch 2.10.0 CUDA 12.8 NCCL 2.28.9 diffusers 0.36.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.1 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.6 triton 3.6.0 torchaudio 2.10.0 torchvision 0.25.0 vllm 0.15.1 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.10.0 CUDA 12.8 NCCL 2.28.9 torchaudio 2.10.0 torchvision 0.25.0 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.54.0 transformers 4.57.1 sgl-kernel 0.3.21 sglang 0.5.9 xgrammar 0.1.27 triton 3.6.0 torchao 0.9.0 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.1 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.6 triton 3.6.0 torchaudio 2.10.0+cu130 torchvision 0.25.0+cu130 vllm 0.15.1 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.6.1 transformers 4.57.6 ray 2.53.0 vllm 0.15.1 triton 3.6.0 torchaudio 2.10.0+cu130 torchvision 2.10.0+cu130 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.6.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.54.0 transformers 4.57.1 sgl-kernel 0.3.21 sglang 0.5.9 xgrammar 0.1.27 triton 3.6.0 torchao 0.9.0 torchaudio 2.10.0+cu130 torchvision 0.25.0+cu130 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.6.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.54.0 transformers 4.57.1 sgl-kernel 0.3.21 sglang 0.5.9 xgrammar 0.1.27 triton 3.6.0 torchao 0.9.0 torchaudio 2.10.0+cu130 torchvision 0.25.0+cu130 xfuser 0.4.5 ljperf 0.1.0+477686c5

Asset

公網鏡像

CUDA12.8 Asset

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-vllm0.15.1-pytorch2.10-cu128-20260211-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-sglang0.5.9-pytorch2.10-cu128-20260227-serverless

CUDA13.0 Asset

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-vllm0.15.1-pytorch2.10-cu130-20260211-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-sglang0.5.9-pytorch2.10-cu130-20260227-serverless

VPC鏡像

將指定的AI容器鏡像Asset URIegslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag}替換為acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}即可在VPC內快速拉取ACS AI容器鏡像。

{region-id}：ACS產品開服地區的地區ID。例如：cn-beijing、cn-wulanchabu等。
{image:tag}：AI容器鏡像的名稱和Tag。例如：inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless、training-nv-pytorch:25.10-serverless等。

說明

鏡像適用於ACS產品形態、靈駿多租產品形態，不適用於靈駿單租產品形態，請勿在靈駿單租情境使用。

Driver Requirements

CUDA12.8：NVIDIA Driver release >= 570
CUDA13.0：NVIDIA Driver release >= 580

Quick Start

以下樣本內容僅通過Docker方式拉取inference-nv-pytorch鏡像，並使用Qwen2.5-7B-Instruct模型測試推理服務。

說明

在ACS中使用inference-nv-pytorch鏡像需要通過控制台建立工作負載介面的製品中心頁面選取，或者通過YAML檔案指定鏡像引用。更多詳細操作，請參見使用ACS GPU算力構建模型推理服務系列內容：

拉取推理容器鏡像。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

通過ModelScope下載開源模型。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

啟動以下命令進入容器。

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

執行推理測試，測試vLLM推理對話功能。

啟動Server端服務。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

在Client端進行測試。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "你是個友善的AI助手。"},
    {"role": "user", "content": "介紹一下深度學習。"}
    ]}'

更多關於vLLM的使用方法請參見vLLM。

Known Issues

本期鏡像不支援deepgpu-comfyui外掛程式。

Container Compute Service：inference-nv-pytorch 26.02