Container Compute Service:Inference-nv-pytorch 25.03 リリースノート

主な機能とバグ修正リスト

主な機能

• vLLM イメージの PyTorch が 2.6.0 に更新されました。

• vLLM が v0.8.2 に更新されました。

• SGLang が v0.4.4.post1 に更新されました。

• ACCL-N が 2.23.4.12 に更新されました。新しい機能とバグ修正が提供されています。

バグ修正

なし

コンテンツ

アセット

ドライバーの要件

NVIDIA ドライバー リリース >= 550

クイックスタート

次の例では、Docker のみを使用して inference-nv-pytorch イメージをプルし、Qwen2.5-7B-Instruct モデルを使用して推論サービスをテストします。

1. 推論コンテナイメージをプルします。

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

2. ModelScope 形式のオープンソースモデルをダウンロードします。

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. 次のコマンドを実行して、コンテナにログインします。

   docker run -d -t --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864  \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

4. 推論テストを実行して、vLLM の推論会話機能をテストします。

   1. サーバーサービスを開始します。

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. クライアントでテストします。

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",  
          "messages": [
          {"role": "system", "content": "You are a friendly AI assistant."},
          {"role": "user", "content": "Please introduce deep learning."}
          ]}'

      vLLM の使用方法の詳細については、「vLLM」をご参照ください。

既知の問題

なし