Container Compute Service:inference-nv-pytorch 25.06

Nouveautés

Composants système

Cette version comprend deux variantes d'images : l'une basée sur vLLM, l'autre sur SGLang. Le tableau ci-dessous détaille leurs tags d'image, les cas d'usage ciblés ainsi que les versions des composants inclus.

Accès aux images

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Prérequis relatifs aux pilotes

Les deux images nécessitent CUDA 12.8. La version minimale du pilote NVIDIA varie selon l'image utilisée :

Guide de démarrage rapide

L'exemple ci-dessous montre comment récupérer l'image inference-nv-pytorch avec Docker et exécuter un test d'inférence à l'aide du modèle Qwen2.5-7B-Instruct.

Pour utiliser l'image inference-nv-pytorch dans ACS, sélectionnez-la depuis la page du centre d'artefacts lors de la création de charges de travail, ou spécifiez-la dans un fichier YAML. Pour plus de détails, consultez :

Utiliser la puissance de calcul GPU d'ACS pour déployer un service d'inférence de modèle à partir d'un modèle distillé DeepSeek

Utiliser la puissance de calcul GPU d'ACS pour déployer un service d'inférence de modèle basé sur la version complète de DeepSeek

Utiliser la puissance de calcul GPU d'ACS pour déployer un service d'inférence de modèle distribué basé sur la version complète de DeepSeek

1. Récupérez l'image du conteneur d'inférence.

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

2. Téléchargez le modèle Qwen2.5-7B-Instruct depuis ModelScope.

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. Démarrez le conteneur.

   docker run -d -t --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864 \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

4. Exécutez le test d'inférence.

   1. Lancez le serveur API vLLM.

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. Envoyez une requête de test depuis le client.

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",
          "messages": [
          {"role": "system", "content": "You are a friendly AI assistant."},
          {"role": "user", "content": "Please introduce deep learning."}
          ]}'

      Pour plus d'informations sur vLLM, consultez vLLM.

Problèmes connus

• Le plug-in deepgpu-comfyui prend uniquement en charge les instances GN8IS pour l'accélération de la génération vidéo basée sur le modèle Wanx.