ダブル CUDA 12.8/13.0 と PyTorch 2.9 GPU 推論イメージ概要 - ACS

このトピックでは、inference-nv-pytorch バージョン 25.12 のリリースノートについて説明します。

主な特徴とバグ修正

主な特徴

CUDA 12.8 と CUDA 13.0 の 2 つの CUDA バージョンに対応するイメージが提供されます。
- CUDA 12.8 イメージは amd64 アーキテクチャのみをサポートします。
- CUDA 13.0 イメージは amd64 と aarch64 アーキテクチャをサポートし。
PyTorch のバージョンは、vLLM イメージでは 2.9.0 に、SGLang イメージでは 2.9.1 にアップグレードされました。
CUDA 12.8 イメージでは、deepgpu-comfyui は 1.3.2 に、deepgpu-torch 最適化コンポーネントは 0.1.12+torch2.9.0cu128 にアップグレードされました。
CUDA 12.8 と CUDA 13.0 の両方のイメージで、vLLM のバージョンは v0.12.0 に、SGLang のバージョンは v0.5.6.post2 にアップグレードされました。

バグ修正

なし

内容

イメージ名	inference-nv-pytorch
タグ	25.12-vllm0.12.0-pytorch2.9-cu128-20251215-serverless	25.12-sglang0.5.6.post2-pytorch2.9-cu128-20251215-serverless	25.12-vllm0.12.0-pytorch2.9-cu130-20251215-serverless		25.12-sglang0.5.6.post2-pytorch2.9-cu130-20251215-serverless
サポートされるアーキテクチャ	amd64	amd64	amd64	aarch64	amd64	aarch64
適用シナリオ	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論
フレームワーク	pytorch	pytorch	pytorch	pytorch	pytorch	pytorch
要件	NVIDIA Driver release >= 570	NVIDIA Driver release >= 570	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580
システムコンポーネント	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu128 CUDA 12.8 diffusers 0.36.0 deepgpu-comfyui 1.3.2 deepgpu-torch 0.1.12+torch2.9.0cu128 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.52.1 transformers 4.57.3 triton 3.5.0 torchaudio 2.9.0+cu128 torchvision 0.24.0+cu128 vllm 0.12.0 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu128 CUDA 12.8 diffusers 0.36.0 decord 0.6.0 decord2 2.0.0 deepgpu-comfyui 1.3.2 deepgpu-torch 0.1.12+torch2.9.0cu128 flash_attn 2.8.3 flash_mla 1.0.0+1408756 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.52.1 transformers 4.57.1 sgl-kernel 0.3.19 sglang 0.5.6.post2 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 torchaudio 2.9.1 torchvision 0.24.1 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.2 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.52.1 transformers 4.57.3 triton 3.5.0 torchaudio 2.9.0+cu130 torchvision 0.24.0+cu130 vllm 0.12.0 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.0+cu130 CUDA 13.0.2 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.5.3 transformers 4.57.1 ray 2.53.0 vllm 0.12.0 triton 3.5.0 torchaudio 2.9.0 torchvision 0.24.0 xfuser 0.4.5 xgrammar 0.1.27	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 decord 0.6.0 decord2 2.0.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.52.1 transformers 4.57.3 sgl-kernel 0.3.19 sglang 0.5.6.post2 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 torchaudio 2.9.1 torchvision 0.24.1+cu130 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 decord2 2.0.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 transformers 4.57.1 sgl-kernel 0.3.19 sglang 0.5.6.post2 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 torchaudio 2.9.1 torchvision 0.24.1 xfuser 0.4.5

アセット

パブリックイメージ

CUDA 12.8 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.12-vllm0.12.0-pytorch2.9-cu128-20251215-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.12-sglang0.5.6.post2-pytorch2.9-cu128-20251215-serverless

CUDA 13.0 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.12-vllm0.12.0-pytorch2.9-cu130-20251215-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.12-sglang0.5.6.post2-pytorch2.9-cu130-20251215-serverless

VPC イメージ

VPC 内から ACS AI コンテナイメージのプルを高速化するには、アセット URI egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} を acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag} に置き換えます。

{region-id}：ご利用の ACS プロダクトが配置されている利用可能なリージョンのリージョン ID です。例えば、cn-beijing や cn-wulanchabu などです。
{image:tag}：AI コンテナイメージの名前とタグです。例えば、inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless や training-nv-pytorch:25.10-serverless などです。

説明

これらのイメージは、ACS プロダクトおよびマルチテナント Lingjun プロダクトに適しています。シングルテナント Lingjun プロダクトには適していません。これらのイメージをシングルテナント Lingjun のシナリオで使用しないでください。

ドライバー要件

CUDA 12.8：NVIDIA Driver release >= 570
CUDA 13.0：NVIDIA Driver release >= 580

クイックスタート

次の例では、Docker を使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を示します。

説明

ACS で inference-nv-pytorch イメージを使用するには、コンソールでワークロードを作成する際に [Artifacts] ページからイメージを選択するか、YAML ファイルでイメージリファレンスを指定します。詳細については、ACS GPU 計算能力を使用してモデル推論サービスを構築する方法に関する次のトピックをご参照ください：

推論コンテナイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

ModelScope からオープンソースモデルをダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

次のコマンドを実行して、コンテナーを起動し、コンテナー内に入ります。

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

推論テストを実行して、vLLM の対話型推論機能を確認します。

サーバーを起動します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアントからテストします。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Tell me about deep learning."}
    ]}'

vLLM の使用方法の詳細については、「vLLM」をご参照ください。

既知の問題

Wanx モデルの動画生成を高速化する deepgpu-comfyui プラグインは、現在 GN8IS、G49E、G59 インスタンスタイプのみをサポートしています。