inference-nv-pytorch 25.02 - Container Compute Service - Alibaba Cloud ドキュメントセンター

主な特徴とバグ修正

主な特徴

vLLM が v0.7.2 に更新されました。
SGLang v0.4.3.post2 のサポートが追加されました。
DeepSeek モデルのサポートが追加されました。

バグ修正

このリリースにはバグ修正はありません。

内容

ユースケース	LLM 推論
フレームワーク	PyTorch
要件	NVIDIA ドライバーリリース >= 550
システムコンポーネント	Ubuntu 22.04 Python 3.10 Torch 2.5.1 CUDA 12.4 transformers 4.48.3 triton 3.1.0 ray 2.42.1 vllm 0.7.2 sgl-kernel 0.0.3.post6 sglang 0.4.3.post2 flashinfer-python 0.2.1.post2 ACCL-N 2.23.4.11

アセット

パブリックイメージ

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless

VPC イメージ

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}
{region-id} は、ACS がアクティブ化されているリージョン (cn-beijing、cn-wulanchabu など) を示します。
{image:tag} は、イメージの名前とタグを示します。

重要

現在、VPC 経由でプルできるイメージは、中国 (北京) リージョンのイメージのみです。

説明

inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless イメージは、ACS および Lingjun マルチテナント環境向けに設計されています。Lingjun シングルテナント環境には適していません。
inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305 イメージは、Lingjun シングルテナントシナリオ向けに設計されています。

ドライバー要件

NVIDIA ドライバーリリース >= 550

クイックスタート

この例では、Docker を使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルで推論サービスをテストする方法を説明します。

説明

ACS で inference-nv-pytorch イメージを使用するには、ワークロードの作成時にコンソールのアーティファクトセンターページから選択するか、YAML ファイルでイメージ参照を指定します。詳細については、ACS の GPU コンピューティングパワーを使用して DeepSeek モデルの推論サービスを構築する方法に関する次のトピックをご参照ください。

推論コンテナイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

ModelScope 形式でオープンソースモデルをダウンロードします。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

次のコマンドを実行して、コンテナを起動し、コンテナに入ります。

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

vLLM の対話型推論機能をテストします。

サーバーを起動します。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

クライアントからテストを実行します。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Please introduce deep learning."}
    ]}'

vLLM の使用に関する詳細については、「vLLM」をご参照ください。

既知の問題

MoE On H20 での不正なメモリアクセス #13693。vLLM の更新を推奨します。