inference-nv-pytorch 25.10 - Container Compute Service - Alibaba Cloud ドキュメントセンター

新機能

主な特徴

CUDA バージョンごとに 2 つのイメージが利用できます：
- CUDA 12.8 イメージは amd64 アーキテクチャのみをサポートします。
- CUDA 13.0 イメージは、amd64 と aarch64 の両方のアーキテクチャをサポートし。
CUDA 12.8 イメージでは、deepgpu-comfyui が 1.3.0 にアップグレードされ、deepgpu-torch 最適化コンポーネントが 0.1.6+torch2.8.0cu128 にアップグレードされました。
CUDA 13.0 イメージでは、PyTorch が 2.9.0 にアップグレードされました。
CUDA 12.8 と CUDA 13.0 の両方のイメージで、vLLM は v0.11.0 に、SGLang は v0.5.4 にアップグレードされました。

バグ修正

このリリースにはバグ修正は含まれていません。

内容

inference-nv-pytorch
タグ	25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless	25.10-sglang0.5.4-pytorch2.8-cu128-20251027-serverless	25.10-vllm0.11.0-pytorch2.9-cu130-20251028-serverless		25.10-sglang0.5.4-pytorch2.9-cu130-20251028-serverless
サポートされるアーキテクチャ	amd64	amd64	amd64	aarch64	amd64	aarch64
ユースケース	大規模モデルの推論	大規模モデルの推論	大規模モデルの推論	大規模モデルの推論	大規模モデルの推論	大規模モデルの推論
フレームワーク	PyTorch	PyTorch	PyTorch	PyTorch	PyTorch	PyTorch
要件	NVIDIA ドライバーリリース >= 570	NVIDIA ドライバーリリース >= 570	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580
システムコンポーネント	Ubuntu 24.04 Python 3.12 Torch 2.8.0+cu128 CUDA 12.8 diffusers 0.35.2 deepgpu-comfyui 1.3.0 deepgpu-torch 0.1.6+torch2.8.0cu128 flash_attn 2.8.3 imageio 2.37.0 imageio-ffmpeg 0.6.0 ray 2.50.1 transformers 4.57.1 triton 3.4.0 tokenizers 0.22.1 torchaudio 2.8.0+cu128 torchsde 0.2.6 torchvision 0.23.0+cu128 vllm 0.11.0 xfuser 0.4.4 xgrammar 0.1.25 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.8.0+cu128 CUDA 12.8 diffusers 0.35.2 decord 0.6.0 decord2 2.0.0 deepgpu-comfyui 1.3.0 deepgpu-torch 0.1.6+torch2.8.0cu128 flash_attn 2.8.3 flash_mla 1.0.0+1858932 flashinfer-python 0.4.1 imageio 2.37.0 imageio-ffmpeg 0.6.0 transformers 4.57.1 sgl-kernel 0.3.16.post3 sglang 0.5.4 xgrammar 0.1.25 triton 3.4.0 torchao 0.9.0 torchaudio 2.8.0+cu128 torchsde 0.2.6 torchvision 0.23.0+cu128 xfuser 0.4.4 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.1 diffusers 0.35.2 flash_attn 2.8.3 imageio 2.37.0 imageio-ffmpeg 0.6.0 ray 2.50.1 transformers 4.57.1 triton 3.5.0 tokenizers 0.22.1 torchvision 0.24.0+cu130 vllm 0.11.0 xfuser 0.4.4 xgrammar 0.1.25 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.1 diffusers 0.35.2 flash_attn 2.8.3 transformers 4.57.1 ray 2.50.1 vllm 0.11.0 triton 3.5.0 tokenizers 0.22.1 torchaudio 2.9.0 torchvision 0.24.0 xfuser 0.3 xgrammar 0.1.25 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.1 diffusers 0.35.2 decord 0.6.0 decord2 2.0.0 flash_attn 2.8.3 flash_mla 1.0.0+1858932 flashinfer-python 0.4.1 imageio 2.37.0 imageio-ffmpeg 0.6.0 transformers 4.57.1 sgl-kernel 0.3.16.post3 sglang 0.5.4 xgrammar 0.1.25 triton 3.5.0 torchao 0.9.0 torchaudio 2.9.0+cu130 torchvision 0.24.0+cu130 xfuser 0.4.4 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.1 diffusers 0.35.2 decord2 2.0.0 flashinfer-python 0.4.1 imageio 2.37.0 imageio-ffmpeg 0.6.0 transformers 4.57.1 sgl-kernel 0.3.16.post3 sglang 0.5.4 xgrammar 0.1.25 triton 3.5.0 torchao 0.9.0 torchaudio 2.9.0 torchvision 0.24.0 xfuser 0.4.4

アセット

パブリックイメージ

CUDA 12.8

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.10-sglang0.5.4-pytorch2.8-cu128-20251027-serverless

CUDA 13.0

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.9-cu130-20251028-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.10-sglang0.5.4-pytorch2.9-cu130-20251028-serverless

VPC イメージ

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}
{region-id} は、ACS がアクティブ化されているリージョン (cn-beijing、cn-wulanchabu など) を示します。
{image:tag} は、イメージの名前とタグを示します。

重要

現在、VPC 経由でプルできるイメージは、中国 (北京) リージョンのイメージのみです。

ドライバー要件

CUDA 12.8：NVIDIA ドライバーリリース 570 以降が必要です。
CUDA 13.0：NVIDIA ドライバーリリース 580 以降が必要です。

クイックスタート

以下の例では、Docker を使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を示します。

説明

Alibaba Cloud コンテナサービスの GPU コンピューティングパワーを使用してモデル推論サービスを構築する方法の詳細については、以下のトピックをご参照ください：

推論コンテナイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

オープンソースモデルを ModelScope 形式でダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

次のコマンドを実行してコンテナを起動し、コンテナ内に入ります。

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

推論テストを実行して、vLLM のチャット機能を検証します。

サーバーを起動します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアントからテストリクエストを送信します。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Tell me about deep learning."}
    ]}'

vLLM の詳細については、vLLM をご参照ください。

既知の問題

Wan モデルのビデオ生成を高速化する deepgpu-comfyui プラグインは、現在 GN8IS および G49E のインスタンスタイプにのみ対応しています。