Container Compute Service:inference-nv-pytorch 25.08

Fonctionnalités principales et corrections de bugs

Contenu

Ressources

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Prérequis relatifs au pilote

NVIDIA Driver release >= 570

Démarrage rapide

Cet exemple montre comment utiliser Docker pour récupérer l'image inference-nv-pytorch et tester son service d'inférence avec le modèle Qwen2.5-7B-Instruct.

1. Récupérez l'image du conteneur d'inférence.

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

2. Téléchargez le modèle open source au format ModelScope.

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. Exécutez la commande suivante pour démarrer le conteneur et y accéder.

   docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864  \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

4. Testez la fonctionnalité d'inférence conversationnelle de vLLM.

   1. Démarrez le serveur.

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. Testez le service côté client.

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "Qwen/Qwen2.5-7B-Instruct",  
          "messages": [
          {"role": "system", "content": "You are a friendly AI assistant."},
          {"role": "user", "content": "Tell me about deep learning."}
          ]}'

      Pour plus d'informations, consultez vLLM.

Problèmes connus

• Le plug-in deepgpu-comfyui, qui accélère la génération vidéo pour le modèle Wanx, prend actuellement en charge uniquement les instances GN8IS et G49E.