inference-nv-pytorch 26.06 - Container Compute Service - Centre de documentation Alibaba Cloud

Fonctionnalités principales et corrections de bugs

Fonctionnalités principales

L'image vLLM intègre désormais la version v0.22.0.
L'image SGLang passe à la version v0.5.12.post1.
Les images vLLM et SGLang prennent désormais en charge les architectures amd64 et aarch64.

Corrections de bugs

Aucune

Contenu

Nom de l'image	inference-nv-pytorch
Tag	26.06-vllm0.22.0-pytorch2.11-cu130-20260611-serverless		26.06-sglang0.5.12.post1-pytorch2.11-cu130-20260611-serverless
Architecture prise en charge	amd64	aarch64	amd64	aarch64
Cas d'utilisation	Inférence de grands modèles	Inférence de grands modèles	Inférence de grands modèles	Inférence de grands modèles
Framework	pytorch	pytorch	pytorch	pytorch
Prérequis	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580	NVIDIA Driver release >= 580
Composants système	Ubuntu 24.04 Python 3.12.7 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 triton 3.6.0 Transformers 5.9.0 diffusers 0.38.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.11 xgrammar 0.2.1 vLLM 0.22.0 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+d0e4a408	Ubuntu 24.04 Python 3.12.7 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.11.0 diffusers 0.38.0 decord 0.6.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flashinfer-python 0.6.11 xgrammar 0.2.1 vLLM 0.22.0 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+477686c5	Ubuntu 24.04 Python 3.12 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.9.0 diffusers 0.38.0 decord 0.6.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flash-attn-4 4.0.0b15 flashinfer-python 0.6.11 xgrammar 0.2.0 sgl-kernel 0.4.2 sglang 0.5.12.post1 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+d0e4a408 deep_ep 2.0.0+af9a040 flash_mla 1.0.0+b7643bd	Ubuntu 24.04 Python 3.12 Torch 2.11.0 CUDA 13.0.2 NCCL 2.30.7-1 torchvision 0.26.0 TorchAudio 2.11.0 torchao 0.17.0 triton 3.6.0 Transformers 5.6.0 diffusers 0.38.0 decord 3.4.0 imageio-ffmpeg 0.6.0 flash_attn 2.8.3 flash_attn_3 3.0.0 flash-attn-4 4.0.0b15 flashinfer-python 0.6.11 xgrammar 0.2.0 sgl-kernel 0.4.2 sglang 0.5.12.post1 ray 2.55.1 xfuser 0.4.5 ljperf 0.1.0+477686c5 deep_ep 2.0.0+af9a040 flash_mla 1.0.0+b7643bd

Ressources

Image publique

Ressource CUDA 13.0

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.06-vllm0.22.0-pytorch2.11-cu130-20260611-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:26.06-sglang0.5.12.post1-pytorch2.11-cu130-20260622-serverless

Image VPC

Remarque

Ces images sont destinées aux environnements multi-locataires ACS et EGS. Ne les utilisez pas dans des environnements EGS dédiés.

Prérequis du pilote

CUDA 13.0 : NVIDIA Driver release >= 580

Démarrage rapide

Cet exemple montre comment récupérer l'image inference-nv-pytorch avec Docker et tester le service d'inférence à l'aide du modèle Qwen2.5-7B-Instruct.

Remarque

Pour utiliser l'image inference-nv-pytorch dans ACS, sélectionnez-la dans l'Artifacts Center sur la page Create Workload de la console. Vous pouvez également spécifier la référence de l'image dans un fichier YAML. Pour plus d'informations, consultez les rubriques suivantes sur la création de services d'inférence de modèles avec des ressources GPU ACS :

Récupérez l'image du conteneur d'inférence.

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Téléchargez le modèle open source depuis ModelScope.

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

Exécutez la commande suivante pour accéder au conteneur.

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

Testez la fonctionnalité conversationnelle de vLLM.

Démarrez le serveur.

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

Effectuez un test côté client.

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "You are a friendly AI assistant."},
    {"role": "user", "content": "Introduce deep learning."}
    ]}'

Pour plus d'informations sur l'utilisation de vLLM, consultez vLLM.

Problèmes connus

Les images de cette version ne prennent pas en charge le plugin deepgpu-comfyui.