inferensi-nv-pytorch 25.06 - Container Compute Service

Topik ini menjelaskan catatan rilis untuk inferensi-nv-pytorch 25.06.

Fitur utama dan bug yang diperbaiki

Fitur utama

vLLM diperbarui ke v0.9.0.1.
SGLang diperbarui ke v0.4.7.
Plugin deepgpu-comfyui diperkenalkan, yang dapat digunakan untuk mempercepat layanan ComfyUI pada L20 untuk model Wan2.1 dan FLUX. Dibandingkan dengan PyTorch, performa keseluruhan meningkat sebesar 8% hingga 40%.

Bug yang diperbaiki

Tidak ada.

Konten

	inferensi-nv-pytorch	inferensi-nv-pytorch
Tag gambar	25.06-vllm0.9.0.1-pytorch2.7-cu128-20250609-serverless	25.06-sglang0.4.7-pytorch2.7-cu128-20250611-serverless
Skenario	Penalaran LLM	Inferensi LLM
Kerangka kerja	PyTorch	pytorch
Persyaratan	NVIDIA Driver release >= 570	NVIDIA Driver release >= 550
Komponen sistem	Ubuntu 24.04 Python 3.12 Torch 2.7.1+cu128 CUDA 12.8 NCCL 2.27.3 accelerate 1.7.0 diffusers 0.33.1 deepgpu-comfyui 1.1.5 deepgpu-torch 0.0.21+torch2.7.0cu128 flash_attn 2.7.4.post1 imageio 2.37.0 imageio-ffmpeg 0.6.0 ray 2.46.0 transformers 4.52.4 vllm 0.9.0.2.dev0+g5fbbfe9a4.d20250609 xgrammar 0.1.19 triton 3.3.1	Ubuntu 22.04 Python 3.10 Torch 2.7.1+cu128 CUDA 12.8 NCCL 2.27.3 accelerate 1.7.0 diffusers 0.33.1 deepgpu-comfyui 1.1.5 deepgpu-torch 0.0.21+torch2.7.0cu128 flash_attn 2.7.4.post1 flash_mla 1.0.0+9edee0c flashinfer-python 0.2.6.post1 imageio 2.37.0 imageio-ffmpeg 0.6.0 ray 2.46.0 transformers 4.52.3 sgl-kernel 0.1.7 sglang 0.4.7 xgrammar 0.1.19 triton 3.3.1 torchao 0.9.0

Aset

Gambar yang dapat diakses secara publik

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.06-vllm0.9.0.1-pytorch2.7-cu128-20250609-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.06-sglang0.4.7-pytorch2.7-cu128-20250611-serverless

Gambar VPC

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}
{region-id} menunjukkan wilayah tempat ACS Anda diaktifkan, seperti cn-beijing dan cn-wulanchabu.
{image:tag} menunjukkan nama dan tag dari gambar tersebut.

Penting

Saat ini, Anda hanya dapat menarik gambar di wilayah China (Beijing) melalui VPC.

Catatan

Gambar 25.06-vllm0.9.0.1-pytorch2.7-cu128-20250609-serverless dan 25.06-sglang0.4.7-pytorch2.7-cu128-20250611-serverless berlaku untuk layanan ACS dan layanan multi-tenant FLUX, tetapi tidak berlaku untuk layanan single-tenant FLUX.

Persyaratan driver

Untuk gambar CUDA 12.8: NVIDIA driver 570 dan yang lebih baru.

Memulai Cepat

Contoh berikut menggunakan Docker untuk menarik gambar inferensi-nv-pytorch dan menggunakan model Qwen2.5-7B-Instruct untuk menguji layanan inferensi.

Catatan

Untuk menggunakan gambar inferensi-nv-pytorch di ACS, Anda harus memilih gambar dari halaman pusat artefak konsol tempat Anda membuat beban kerja, atau menentukan gambar dalam file YAML. Untuk informasi lebih lanjut, lihat topik berikut:

Tarik gambar kontainer inferensi.

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Unduh model sumber terbuka dalam format modelscope.

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

Jalankan perintah berikut untuk masuk ke kontainer.

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Jalankan tes inferensi untuk menguji fitur percakapan inferensi vLLM.

Mulai layanan Server.

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

Uji pada klien.

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Please introduce deep learning."}
    ]}'

Untuk informasi lebih lanjut tentang cara bekerja dengan vLLM, lihat vLLM.

Masalah yang diketahui

Plugin deepgpu-comfyui hanya mendukung GN8IS untuk mempercepat pembuatan video berdasarkan model Wanx.