Container Compute Service：inferensi-nv-pytorch 25.07

Fitur utama dan perbaikan bug

Konten

Aset

Persyaratan driver

Untuk citra CUDA 12.8: NVIDIA Driver 570 atau lebih baru.

Mulai cepat

Contoh ini menunjukkan cara menarik citra inferensi-nv-pytorch dan menjalankan tes inferensi menggunakan model Qwen2.5-7B-Instruct.

1. Tarik citra.

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

2. Unduh model (format modelscope).

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. Jalankan kontainer.

   docker run -d -t --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864  \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

4. Jalankan tes inferensi (vLLM).

   1. Mulai layanan Server.

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. Uji dari sisi klien.

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",  
          "messages": [
          {"role": "system", "content": "You are a friendly AI assistant."},
          {"role": "user", "content": "Please introduce deep learning."}
          ]}'

      Untuk informasi lebih lanjut tentang cara bekerja dengan vLLM, lihat vLLM.

Masalah Diketahui

Plugin deepgpu-comfyui, yang mempercepat pembuatan video untuk model Wanx, saat ini hanya mendukung tipe instans gn8is.