inference-nv-pytorch 26.01 - Container Compute Service - Alibaba Cloud ドキュメントセンター

inference-nv-pytorch 26.01 リリースでは、Container Compute Service (ACS) および Lingjun のマルチテナント製品フォーマットで、大規模モデル推論向けのコンテナイメージを提供します。このリリースノートを参考に、イメージタグを選択し、各イメージにバンドルされているシステムコンポーネント、および各イメージで必要となる NVIDIA ドライバーのリリースを確認してください。

主な機能とバグ修正

主な機能

2つの CUDA バージョン (CUDA 12.8 および CUDA 13.0) 向けのイメージを提供します。
- CUDA 12.8 イメージは amd64 アーキテクチャのみをサポートします。
- CUDA 13.0 イメージは amd64 と aarch64 の両アーキテクチャをサポートします。
CUDA 12.8 イメージでは、deepgpu-comfyui を 1.4.1 に、deepgpu-torch 最適化コンポーネントを 0.1.18+torch2.9.0cu128 にアップグレードしました。
CUDA 12.8 および CUDA 13.0 の両イメージで、vLLM バージョンを v0.14.0 に、SGLang バージョンを v0.5.7 にアップグレードしました。

バグ修正

なし。

内容

イメージ名	inference-nv-pytorch	inference-nv-pytorch	inference-nv-pytorch	inference-nv-pytorch	inference-nv-pytorch	inference-nv-pytorch
タグ	26.01-vllm0.14.0-pytorch2.9-cu128-20260121-serverless	26.01-sglang0.5.7-pytorch2.9-cu128-20260113-serverless	26.01-vllm0.14.0-pytorch2.9-cu130-20260123-serverless	26.01-vllm0.14.0-pytorch2.9-cu130-20260123-serverless	26.01-sglang0.5.7-pytorch2.9-cu130-20260113-serverless	26.01-sglang0.5.7-pytorch2.9-cu130-20260113-serverless
対応アーキテクチャ	amd64	amd64	amd64	aarch64	amd64	aarch64
適用シナリオ	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論
フレームワーク	pytorch	pytorch	pytorch	pytorch	pytorch	pytorch
要件	NVIDIA ドライバーリリース >= 570	NVIDIA ドライバーリリース >= 570	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580
システムコンポーネント	Ubuntu 24.04 Python 3.12 Torch 2.9.1 CUDA 12.8 diffusers 0.36.0 deepgpu-comfyui 1.4.1 deepgpu-torch 0.1.18+torch2.9.0cu128 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.6 triton 3.5.1 torchaudio 2.9.1 torchvision 0.24.1 vllm 0.14.0 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu128 CUDA 12.8 torchaudio 2.9.1+cu128 torchvision 0.24.1+cu128 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 deepgpu-comfyui 1.4.1 deepgpu-torch 0.1.18+torch2.9.0cu128 flash_attn 2.8.3 flash_mla 1.0.0+1408756 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.1 sgl-kernel 0.3.20 sglang 0.5.7 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.1 transformers 4.57.6 triton 3.5.0 torchaudio 2.9.1+cu130 torchvision 0.24.1+cu130 vllm 0.14.0 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.5.3 transformers 4.57.6 ray 2.53.0 vllm 0.14.0 triton 3.5.1 torchaudio 2.9.1+cu130 torchvision 0.24.1+cu130 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.1 sgl-kernel 0.3.20 sglang 0.5.7 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 torchaudio 2.9.1+cu130 torchvision 0.24.1+cu130 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 transformers 4.57.1 sgl-kernel 0.3.20 sglang 0.5.7 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 torchaudio 2.9.1+cu130 torchvision 0.24.1+cu130 xfuser 0.4.5

ドライバー要件

CUDA 12.8：NVIDIA ドライバーリリース >= 570
CUDA 13.0：NVIDIA ドライバーリリース >= 580

アセット

パブリックイメージ

CUDA 12.8 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-vllm0.14.0-pytorch2.9-cu128-20260121-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-sglang0.5.7-pytorch2.9-cu128-20260113-serverless

CUDA 13.0 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-vllm0.14.0-pytorch2.9-cu130-20260123-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-sglang0.5.7-pytorch2.9-cu130-20260113-serverless

VPC イメージ

VPC 経由で PG1 AI コンテナイメージを迅速にプルするには、ACS コンソールの YAML ファイルに指定されている AI コンテナイメージアセット URI egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} を acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag} に置き換えます。

{region-id} は、ACS が有効化されている利用可能なリージョンです。例：cn-beijing、cn-wulanchabu。
{image:tag} は、イメージの名前とタグです。

これらのイメージは、ACS 製品フォーマットおよび Lingjun のマルチテナント製品フォーマットに対応しています。Lingjun シングルテナント製品フォーマットとは互換性がありません。Lingjun シングルテナント環境では、これらのイメージを使用しないでください。

クイックスタート

次の例では、Docker のみを使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を示します。

ACS で inference-nv-pytorch イメージを使用するには、コンソールでワークロードを作成する際に Artifact Center ページから選択するか、YAML ファイルでイメージ参照を指定します。詳細については、ACS の GPU コンピューティングパワーを使用してモデル推論サービスを構築し、モデルワークロードを高速化する方法に関する次のトピックをご参照ください。

Build an inference service for a distilled DeepSeek model by using ACS GPU compute power
Build a DeepSeek full-featured model inference service by using ACS GPU compute power
Build a distributed DeepSeek full-featured model inference service by using ACS GPU compute power
Accelerate Wan 2.1 video generation by using DeepGPU
Docker でイメージをプルし、推論テストを実行するには、次の手順を実行します。

推論コンテナイメージをプルします。[tag] を、このトピックの目次またはパブリックイメージセクションに記載されているイメージタグに置き換えます。
```
docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]
```

ModelScope からオープンソースモデルをダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

次のコマンドを実行して、コンテナに入ります。

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

vLLM のチャット機能で推論テストを実行します。

サーバーサイドサービスを起動します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアントでテストを実行します。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Introduce deep learning."}
    ]}'

vLLM の使用方法の詳細については、「プロジェクトリポジトリ」をご参照ください。

既知の問題

Wanx モデルの動画生成を高速化する deepgpu-comfyui プラグインは、現時点では GN8IS、G49E、G59 のインスタンスタイプのみをサポートしています。