Container Compute Service:inference-nv-pytorch 25.02

パブリックイメージ

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless

VPC イメージ

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

{region-id} を、ACS が有効化されているリージョン（例: cn-beijing）で置き換え、{image:tag} をイメージ名とタグで置き換えます。

イメージの互換性

2つのイメージバリアントが利用可能です。デプロイメントターゲットに基づいて選択してください。

前提条件

• Docker がインストールされ、実行中

• NVIDIA Driver リリース >= 550

推論テストの実行

1. コンテナイメージをプルします。

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

   [tag] をターゲットデプロイメントのイメージタグに置換します (「イメージの互換性」をご参照ください)。

2. ModelScope から Qwen2.5-7B-Instruct モデルをダウンロードします。

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. コンテナを開始します。

   docker run -d -t --network=host --privileged --init --ipc=host \
     --ulimit memlock=-1 --ulimit stack=67108864 \
     -v /mnt/:/mnt/ \
     egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

4. コンテナ内で vLLM サーバーを開始します。

   python3 -m vllm.entrypoints.openai.api_server \
     --model /mnt/Qwen2.5-7B-Instruct \
     --trust-remote-code --disable-custom-all-reduce \
     --tensor-parallel-size 1

5. サーバーにテストリクエストを送信します。

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "/mnt/Qwen2.5-7B-Instruct",
       "messages": [
         {"role": "system", "content": "You are a friendly AI assistant."},
         {"role": "user", "content": "Please introduce deep learning."}
       ]
     }'

   vLLM の詳細については、vLLM ドキュメントをご参照ください。