inference-nv-pytorch 26.01 - Container Compute Service - Alibaba Cloud ドキュメントセンター

このトピックでは、inference-nv-pytorch バージョン 26.01 のリリースノートについて説明します。

主な機能とバグ修正リスト

主な機能

CUDA 12.8 と CUDA 13.0 の 2 つの CUDA バージョンのイメージを提供します。具体的には、
- CUDA 12.8 イメージは amd64 アーキテクチャのみをサポートします。
- CUDA 13.0 イメージは amd64 と aarch64 の両方のアーキテクチャをサポートします。
CUDA 12.8 イメージでは、deepgpu-comfyui が 1.4.1 に、deepgpu-torch 最適化コンポーネントが 0.1.18+torch2.9.0cu128 にアップグレードされます。
CUDA 12.8 と CUDA 13.0 の両方のイメージで、vLLM が v0.14.0 に、SGLang が v0.5.7 にアップグレードされます。

バグ修正

なし

コンテンツ

イメージ名	inference-nv-pytorch
タグ	26.01-vllm0.14.0-pytorch2.9-cu128-20260121-serverless	26.01-sglang0.5.7-pytorch2.9-cu128-20260113-serverless	26.01-vllm0.14.0-pytorch2.9-cu130-20260123-serverless		26.01-sglang0.5.7-pytorch2.9-cu130-20260113-serverless
サポートされるアーキテクチャ	amd64	amd64	amd64	aarch64	amd64	aarch64
シナリオ	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論
フレームワーク	pytorch	pytorch	pytorch	pytorch	pytorch	pytorch
要件	NVIDIA ドライバーリリース >= 570	NVIDIA ドライバーリリース >= 570	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580
システムコンポーネント	Ubuntu 24.04 Python 3.12 Torch 2.9.1 CUDA 12.8 diffusers 0.36.0 deepgpu-comfyui 1.4.1 deepgpu-torch 0.1.18+torch2.9.0cu128 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.6 triton 3.5.1 torchaudio 2.9.1 torchvision 0.24.1 vllm 0.14.0 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu128 CUDA 12.8 torchaudio 2.9.1+128 torchvision 0.24.1+128 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 deepgpu-comfyui 1.4.1 deepgpu-torch 0.1.18+torch2.9.0cu128 flash_attn 2.8.3 flash_mla 1.0.0+1408756 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.1 sgl-kernel 0.3.20 sglang 0.5.7 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.1 transformers 4.57.6 triton 3.5.0 torchaudio 2.9.1+cu130 torchvision 0.24.1+cu130 vllm 0.14.0 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.5.3 transformers 4.57.6 ray 2.53.0 vllm 0.14.0 triton 3.5.1 torchaudio 2.9.1+cu130 torchvision 2.9.1+cu130 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.1 sgl-kernel 0.3.20 sglang 0.5.7 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 torchaudio 2.9.1 torchvision 0.24.1+cu130 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.9.1+cu130 CUDA 13.0.2 diffusers 0.36.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.5.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 transformers 4.57.1 sgl-kernel 0.3.20 sglang 0.5.7 xgrammar 0.1.27 triton 3.5.1 torchao 0.9.0 torchaudio 2.9.1 torchvision 0.24.1 xfuser 0.4.5

アセット

パブリックネットワークイメージ

CUDA 12.8 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-vllm0.14.0-pytorch2.9-cu128-20260121-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-sglang0.5.7-pytorch2.9-cu128-20260113-serverless

CUDA 13.0 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-vllm0.14.0-pytorch2.9-cu130-20260123-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.01-sglang0.5.7-pytorch2.9-cu130-20260113-serverless

VPC イメージ

説明

これらのイメージは ACS および Lingjun のマルチテナントプロダクトフォームに適していますが、Lingjun のシングルテナントプロダクトフォームには適していません。 Lingjun のシングルテナントシナリオでは使用しないでください。

ドライバー要件

CUDA 12.8：NVIDIA ドライバーリリース >= 570
CUDA 13.0：NVIDIA ドライバーリリース >= 580

クイックスタート

次の例では、Docker を使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を説明します。

説明

ACS で inference-nv-pytorch イメージを使用するには、コンソールの Workloads インターフェイスの Artifact Center ページから選択するか、YAML ファイルでイメージリファレンスを指定します。詳細については、ACS GPU 計算能力を使用したモデル推論サービスの構築に関するシリーズをご参照ください。

推論コンテナイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

ModelScope を使用してオープンソースモデルをダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

次のコマンドを実行してコンテナーに入ります。

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

推論テストを実行して、vLLM の推論チャット機能を検証します。

サーバー側のサービスを開始します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアント側からテストします。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "あなたはフレンドリーな AI アシスタントです。"},
    {"role": "user", "content": "ディープラーニングについて紹介してください。"}
    ]}'

vLLM の使用方法の詳細については、「vLLM」をご参照ください。

既知の問題

deepgpu-comfyui プラグインは Wanx モデルの動画生成を高速化しますが、現在サポートされているのは GN8IS、G49E、および G59 の GPU タイプのみです。