inference-nv-pytorch 26.02 - Container Compute Service - Alibaba Cloud ドキュメントセンター

このドキュメントは、inference-nv-pytorch 26.02 のリリースノートを提供します。

機能と修正

機能

本リリースでは、CUDA 12.8 および CUDA 13.0 の 2 つの CUDA バージョンに対応するイメージを提供します。
- CUDA 12.8 イメージは amd64 アーキテクチャのみをサポートします。
- CUDA 13.0 イメージは amd64 および aarch64 アーキテクチャの両方をサポートします。
vLLM イメージにおいて、Torch が 2.10.0 に、vLLM が v0.15.1 にスペックアップされています。
SGLang イメージにおいて、Torch が 2.10.0 に、SGLang が v0.5.9 にスペックアップされています。

バグ修正

本リリースにはバグ修正はありません。

イメージ名	inference-nv-pytorch
タグ	26.02-vllm0.15.1-pytorch2.10-cu128-20260211-serverless	26.02-sglang0.5.9-pytorch2.10-cu128-20260227-serverless	26.02-vllm0.15.1-pytorch2.10-cu130-20260211-serverless		26.02-sglang0.5.9-pytorch2.10-cu130-20260227-serverless
サポートされるアーキテクチャ	amd64	amd64	amd64	aarch64	amd64	aarch64
ユースケース	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論	大規模モデル推論
フレームワーク	pytorch	pytorch	pytorch	pytorch	pytorch	pytorch
要件	NVIDIA Driver リリース >= 570	NVIDIA Driver リリース >= 570	NVIDIA Driver リリース >= 580	NVIDIA Driver リリース >= 580	NVIDIA Driver リリース >= 580	NVIDIA Driver リリース >= 580
システムコンポーネント	Ubuntu 24.04 Python 3.12 Torch 2.10.0 CUDA 12.8 NCCL 2.28.9 diffusers 0.36.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.1 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.6 triton 3.6.0 torchaudio 2.10.0 torchvision 0.25.0 vllm 0.15.1 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.10.0 CUDA 12.8 NCCL 2.28.9 torchaudio 2.10.0 torchvision 0.25.0 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.54.0 transformers 4.57.1 sgl-kernel 0.3.21 sglang 0.5.9 xgrammar 0.1.27 triton 3.6.0 torchao 0.9.0 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.1 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.53.0 transformers 4.57.6 triton 3.6.0 torchaudio 2.10.0+cu130 torchvision 0.25.0+cu130 vllm 0.15.1 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 flash_attn 2.8.3 flashinfer-python 0.6.1 transformers 4.57.6 ray 2.53.0 vllm 0.15.1 triton 3.6.0 torchaudio 2.10.0+cu130 torchvision 0.25.0+cu130 xfuser 0.4.5 xgrammar 0.1.27 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 decord 0.6.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.6.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.54.0 transformers 4.57.1 sgl-kernel 0.3.21 sglang 0.5.9 xgrammar 0.1.27 triton 3.6.0 torchao 0.9.0 torchaudio 2.10.0+cu130 torchvision 0.25.0+cu130 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12 Torch 2.10.0+cu130 CUDA 13.0.2 NCCL 2.28.9 diffusers 0.36.0 decord2 3.0.0 flash_attn 2.8.3 flashinfer-python 0.6.3 imageio 2.37.2 imageio-ffmpeg 0.6.0 ray 2.54.0 transformers 4.57.1 sgl-kernel 0.3.21 sglang 0.5.9 xgrammar 0.1.27 triton 3.6.0 torchao 0.9.0 torchaudio 2.10.0+cu130 torchvision 0.25.0+cu130 xfuser 0.4.5 ljperf 0.1.0+477686c5

アセット

パブリックイメージ

CUDA 12.8 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-vllm0.15.1-pytorch2.10-cu128-20260211-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-sglang0.5.9-pytorch2.10-cu128-20260227-serverless

CUDA 13.0 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-vllm0.15.1-pytorch2.10-cu130-20260211-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.02-sglang0.5.9-pytorch2.10-cu130-20260227-serverless

VPC イメージ

説明

このイメージは ACS および Lingjun マルチテナントプロダクト向けです。Lingjun シングルテナントシナリオではサポートされていません。

ドライバー要件

CUDA 12.8：NVIDIA Driver リリース >= 570
CUDA 13.0：NVIDIA Driver リリース >= 580

クイックスタート

以下の例では、Docker を使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を示します。

説明

ACS で inference-nv-pytorch イメージを使用するには、コンソールでワークロードを作成する際に「アーティファクトセンター」ページでイメージを選択するか、YAML ファイルでイメージリファレンスを指定してください。詳細については、「ACS GPU コンピュートによるモデル推論サービスの構築」に関する以下のトピックをご参照ください。

推論用コンテナイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

ModelScope からオープンソースモデルをダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

以下のコマンドを実行して、コンテナを起動し、その内部に入ります。

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

vLLM の対話機能をテストします。

サーバー側サービスを起動します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアント側でテストを実行します。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Introduce deep learning."}
    ]}'

vLLM の使用方法の詳細については、vLLM ドキュメントをご参照ください。

既知の問題

本リリースのイメージは、deepgpu-comfyui プラグインをサポートしていません。

Container Compute Service:inference-nv-pytorch 26.02