Container Compute Service:inference-nv-pytorch 25.07

Nouveautés

Spécifications des images

Cette version propose deux variantes d'image, toutes deux conçues pour l'inférence de grands modèles de langage (LLM) sous PyTorch avec CUDA 12.8.

Accès aux images

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Prérequis pilotes

Les images CUDA 12.8 nécessitent NVIDIA Driver 570 ou version ultérieure.

Démarrage rapide

Cet exemple montre comment récupérer l'image vLLM, télécharger le modèle Qwen2.5-7B-Instruct et exécuter un test d'inférence.

1. Récupérez l'image.

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

2. Téléchargez le modèle depuis ModelScope.

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. Lancez le conteneur.

   docker run -d -t --network=host --privileged --init --ipc=host \
     --ulimit memlock=-1 --ulimit stack=67108864 \
     -v /mnt/:/mnt/ \
     egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

4. Démarrez le serveur d'inférence vLLM.

   python3 -m vllm.entrypoints.openai.api_server \
     --model /mnt/Qwen2.5-7B-Instruct \
     --trust-remote-code --disable-custom-all-reduce \
     --tensor-parallel-size 1

5. Envoyez une requête de test depuis le client.

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "/mnt/Qwen2.5-7B-Instruct",
       "messages": [
         {"role": "system", "content": "You are a friendly AI assistant."},
         {"role": "user", "content": "Please introduce deep learning."}
       ]
     }'

   Pour plus d'informations, consultez la documentation vLLM.

Problèmes connus

Le plugin deepgpu-comfyui pour la génération vidéo avec le modèle Wanx prend uniquement en charge les types d'instances gn8is.