inference-nv-pytorch 25.04 - Container Compute Service

本文介紹inference-nv-pytorch 25.04版本發布記錄。

Main Features and Bug Fix Lists

Main Features

vLLM版本升級到v0.8.5，支援Qwen3模型;
SGLang鏡像Pytorch版本升級至2.6.0， SGLang版本升級至v0.4.6.post1，支援Qwen3模型；

Bug Fix

（暫無）

	inference-nv-pytorch	inference-nv-pytorch
Tag	25.04-vllm0.8.5-pytorch2.6-cu124-20250430-serverless	25.04-sglang0.4.6.post1-pytorch2.6-cu124-20250430-serverless
應用情境	大模型推理	大模型推理
架構	pytorch	pytorch
Requirements	NVIDIA Driver release >= 550	NVIDIA Driver release >= 550
系統組件	Ubuntu 22.04 Python 3.10 Torch 2.6.0+cu124 CUDA 12.4 ACCL-N 2.23.4.12 accelerate 1.6.0 diffusers 0.33.1 flash_attn 2.7.4.post1 transformer 4.51.3 vllm 0.8.5 ray 2.43.0 triton 3.2.0 xgrammar 0.1.18	Ubuntu 22.04 Python 3.10 Torch 2.6.0+cu124 CUDA 12.4 ACCL-N 2.23.4.12 transformers 4.51.1 triton 3.2.0 xgrammar 0.1.17 flashinfer-python 0.2.3 sglang 0.4.6.post1 sgl-kernel 0.1.0

Asset

公網鏡像

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.04-vllm0.8.5-pytorch2.6-cu124-20250430-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.04-sglang0.4.6.post1-pytorch2.6-cu124-20250430-serverless

VPC鏡像

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}
{region-id}為您使用的ACS產品所在的開服地區，比如：cn-beijing。
{image:tag}為實際鏡像的名稱和Tag。

重要

目前僅華北2（北京）地區支援使用VPC方式拉取鏡像。

說明

25.04-vllm0.8.5-pytorch2.6-cu124-20250430-serverless和25.04-sglang0.4.6.post1-pytorch2.6-cu124-20250430-serverless鏡像適用於ACS產品形態、靈駿多租產品形態，不適用於靈駿單租產品形態。

Driver Requirements

NVIDIA Driver release >= 550

Quick Start

以下樣本內容僅通過Docker方式拉取inference-nv-pytorch鏡像，並使用Qwen2.5-7B-Instruct模型測試推理服務。

說明

在ACS中使用inference-nv-pytorch鏡像需要通過控制台建立工作負載介面的製品中心頁面選取，或者通過YAML檔案指定鏡像引用。更多詳細操作，請參見使用ACS GPU算力構建DeepSeek模型推理服務系列內容：

拉取推理容器鏡像。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

下載modelscope格式的開源模型。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

啟動以下命令進入容器。

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

執行推理測試，測試vLLM推理對話功能。

啟動Sever服務。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

在Client端進行測試。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "你是個友善的AI助手。"},
    {"role": "user", "content": "介紹一下深度學習。"}
    ]}'

更多關於vLLM的使用方法請參見vLLM。

Known Issues