inference-nv-pytorch 25.09 - Container Compute Service - Alibaba Cloud ドキュメントセンター

主な特徴とバグ修正

主な特徴

本リリースでは、PyTorch を 2.8.0 にアップグレードしました。
本リリースでは、vLLM を v0.10.2 にアップグレードしました。
本リリースでは、SGLang を v0.5.2 にアップグレードしました。
本リリースでは、deepgpu-comfyui を 1.2.1 に、deepgpu-torch 最適化コンポーネントを 0.1.1+torch2.8.0cu128 にアップグレードしました。

バグ修正

なし。

コンテンツ

	inference-nv-pytorch	inference-nv-pytorch
タグ	25.09-vllm0.10.2-pytorch2.8-cu128-20250922-serverless	25.09-sglang0.5.2-pytorch2.8-cu128-20250917-serverless
シナリオ	大規模モデル推論	大規模モデル推論
フレームワーク	PyTorch	PyTorch
要件	NVIDIA Driver release >= 570	NVIDIA Driver release >= 570
システムコンポーネント	Ubuntu 24.04 Python 3.12 PyTorch 2.8.0 CUDA 12.8 diffusers 0.35.1 deepgpu-comfyui 1.2.1 deepgpu-torch 0.1.1+torch2.8.0cu128 flash_attn 2.8.3 flashinfer-python 0.3.1 imageio 2.37.0 imageio-ffmpeg 0.6.0 ray 2.49.1 transformers 4.56.1 triton 3.4.0 vllm 0.10.2 xformers 0.0.32.post1 xfuser 0.4.4 xgrammar 0.1.23 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 PyTorch 2.8.0 CUDA 12.8 decord 0.6.0 diffusers 0.35.1 deepgpu-comfyui 1.2.1 deepgpu-torch 0.1.1+torch2.8.0cu128 flash_attn 2.8.3 flash_mla 1.0.0+261330b flashinfer-python 0.3.1 imageio 2.37.0 imageio-ffmpeg 0.6.0 transformers 4.56.1 sgl-kernel 0.3.9 sglang 0.5.2 xgrammar 0.1.24 triton 3.4.0 torchao 0.9.0 torchaudio 2.8.0 xfuser 0.4.4 ljperf 0.1.0+477686c5

アセット

パブリックイメージ

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.09-vllm0.10.2-pytorch2.8-cu128-20250922-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.09-sglang0.5.2-pytorch2.8-cu128-20250917-serverless

VPC イメージ

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}
{region-id} は、ACS がアクティブ化されているリージョン (cn-beijing、cn-wulanchabu など) を示します。
{image:tag} は、イメージの名前とタグを示します。

重要

現在、VPC 経由でプルできるイメージは、中国 (北京) リージョンのイメージのみです。

説明

inference-nv-pytorch:25.09-vllm0.10.2-pytorch2.8-cu128-20250922-serverless および inference-nv-pytorch:25.09-sglang0.5.2-pytorch2.8-cu128-20250917-serverless イメージは、ACS および Lingjun マルチテナント製品用です。Lingjun シングルテナント製品には適用されません。

ドライバ要件

NVIDIA Driver release >= 570

クイックスタート

以下の例では、Docker を使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を示します。

説明

ACS で inference-nv-pytorch イメージを使用するには、ワークロード作成時に Artifact Center ページから選択するか、YAML ファイルでイメージ参照を指定してください。詳細については、ACS GPU コンピューティングを使用したモデル推論サービスの構築に関する以下のトピックをご参照ください。

推論コンテナイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

ModelScope 形式でオープンソースモデルをダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

次のコマンドを実行してコンテナに入ります。

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

推論テストを実行して、vLLM のチャット機能を検証します。

サーバーを起動します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアントでテストを実行します。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Tell me about deep learning."}
    ]}'

vLLM の使用方法の詳細については、vLLM ドキュメントをご参照ください。

既知の問題

Wanx モデルの動画生成を高速化する deepgpu-comfyui プラグインは、GN8IS および G49E インスタンスのみをサポートしています。