inference-nv-pytorch 26.06 - Container Compute Service - Alibaba Cloud ドキュメントセンター

このトピックでは、inference-nv-pytorch 26.06 のリリースノートについて説明します。

主な特徴とバグ修正

主な特徴

vLLM イメージでは、vLLM が v0.22.0 にアップグレードされました。
SGLang イメージでは、SGLang が v0.5.12.post1 にアップグレードされました。
vLLM および SGLang イメージは、amd64 と aarch64 アーキテクチャをサポートするようになりました。

バグ修正

なし

内容

イメージ名	inference-nv-pytorch
タグ	26.06-vllm0.22.0-pytorch2.11-cu130-20260611-serverless		26.06-sglang0.5.12.post1-pytorch2.11-cu130-20260611-serverless
サポートされているアーキテクチャ	amd64	aarch64	amd64	aarch64
ユースケース	大規模モデルの推論	大規模モデルの推論	大規模モデルの推論	大規模モデルの推論
フレームワーク	pytorch	pytorch	pytorch	pytorch
要件	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580	NVIDIA ドライバーリリース >= 580
システムコンポーネント	Ubuntu 24.04 Python 3.12.7 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 triton 3.6.0 Transformers 5.9.0 diffusers 0.38.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.11 xgrammar 0.2.1 vLLM 0.22.0 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12.7 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.11.0 diffusers 0.38.0 decord 0.6.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.11 xgrammar 0.2.1 vLLM 0.22.0 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.9.0 diffusers 0.38.0 decord 0.6.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flash-attn-4 4.0.0b15 flashinfer-python 0.6.11 xgrammar 0.2.0 sgl-kernel 0.4.2 sglang 0.5.12.post1 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+d0e4a408 deep_ep 2.0.0+af9a040 flash_mla 1.0.0+b7643bd	Ubuntu 24.04 Python 3.12 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.6.0 diffusers 0.38.0 decord 3.4.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flash-attn-4 4.0.0b15 flashinfer-python 0.6.11 xgrammar 0.2.0 sgl-kernel 0.4.2 sglang 0.5.12.post1 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+477686c5 deep_ep 2.0.0+af9a040 flash_mla 1.0.0+b7643bd

アセット

パブリックイメージ

CUDA 13.0 アセット

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.06-vllm0.22.0-pytorch2.11-cu130-20260611-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.06-sglang0.5.12.post1-pytorch2.11-cu130-20260622-serverless

VPC イメージ

説明

これらのイメージは ACS および EGS のマルチテナント向けです。EGS の専用環境では使用しないでください。

ドライバー要件

CUDA 13.0： NVIDIA ドライバーリリース >= 580

クイックスタート

この例では、Docker を使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を示します。

説明

ACS で inference-nv-pytorch イメージを使用するには、コンソールの [ワークロードの作成] ページで Artifacts Center からイメージを選択します。YAML ファイルでイメージリファレンスを指定することもできます。ACS の GPU リソースを使用してモデル推論サービスを構築する方法の詳細については、次のトピックをご参照ください。

推論コンテナイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

ModelScope からオープンソースモデルをダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

次のコマンドを実行してコンテナに入ります。

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

vLLM の対話機能の推論テストを実行します。

サーバーサービスを開始します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアントでテストします。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Introduce deep learning."}
    ]}'

vLLM の使用方法の詳細については、「vLLM」をご参照ください。

既知の問題

このリリースのイメージは、deepgpu-comfyui プラグインをサポートしていません。