Container Service for Kubernetes:Deploy Qwen inference services with Triton and vLLM on ACK

Contexte

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Un cluster ACK Pro avec des nœuds accélérés par GPU (Kubernetes 1.22 ou version ultérieure, ≥16 Go de mémoire GPU par nœud).

• La version 525 du pilote GPU installée sur les nœuds GPU. Ajoutez le libellé ack.aliyun.com/nvidia-driver-version:525.105.17 pour fixer la version du pilote.

• La dernière version du client Arena installée.

Étape 1 : Préparer les données du modèle

Téléchargez Qwen1.5-4B-Chat, importez-le vers Object Storage Service (OSS), puis créez des volumes persistants (PV) et des revendications de volume persistant (PVC) dans votre cluster.

Pour connaître les autres modèles pris en charge par vLLM, consultez Modèles pris en charge. Pour utiliser NAS au lieu d'OSS, reportez-vous à Monter un volume NAS provisionné statiquement.

Étape 2 : Configurer Triton avec vLLM

Créez deux fichiers de configuration : config.pbtxt pour le backend Triton, et model.json pour les paramètres du moteur vLLM.

mkdir triton-vllm

cat << EOF > triton-vllm/config.pbtxt
backend: "vllm"

# The usage of device is deferred to the vLLM engine
instance_group [
  {
    count: 1
    kind: KIND_MODEL
  }
]

version_policy: { all { }}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "max_model_len": 16384
}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "dtype": "half",
    "max_model_len": 8192
}
EOF

Étape 3 : Déployer le service d'inférence

Utilisez Arena pour déployer le service d'inférence Qwen1.5-4B-Chat avec Triton et vLLM.

1. Exportez les chemins des fichiers de configuration en tant que variables d'environnement :

      export triton_config_file="triton-vllm/config.pbtxt"
      export model_config_file="triton-vllm/model.json"

2. Déployez le service d'inférence :

   Paramètres

   Paramètre	Description
   --name	Nom du service d'inférence.
   --version	Version du service d'inférence.
   --image	Image du serveur Triton.
   --gpus	Nombre de GPU par réplica.
   --cpu	Cœurs CPU par réplica.
   --memory	Mémoire par réplica.
   --data	Montage du PVC au format <pvc-name>:<mount-path>. Exécutez arena data list pour répertorier les PVC disponibles.
   --config-file	Montage du fichier local au format <local-path>:<container-path>.
   --model-repository	Répertoire du dépôt de modèles Triton. Chaque sous-répertoire représente un modèle avec ses fichiers de configuration.
   --http-port	Port HTTP Triton.
   --grpc-port	Port gRPC Triton.
   --allow-metrics	Expose les métriques d'inférence (utilisation du GPU, latence, débit).

      arena serve triton \
          --name=triton-vllm \
          --version=v1 \
          --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/tritonserver:24.04-vllm-python-py3-ubuntu22.04 \
          --gpus=1 \
          --cpu=6 \
          --memory=30Gi \
          --data="llm-model:/model/Qwen1.5-4B-Chat" \
          --model-repository /triton-config \
          --config-file="$model_config_file:/triton-config/qwen-4b/1/model.json" \
          --config-file="$triton_config_file:/triton-config/qwen-4b/config.pbtxt" \
          --http-port=8000 \
          --grpc-port=9000 \
          --allow-metrics=true

   Résultat attendu :

      configmap/triton-vllm-v1-4bd5884e6b5b6a3 created
      configmap/triton-vllm-v1-7815124a8204002 created
      service/triton-vllm-v1-tritoninferenceserver created
      deployment.apps/triton-vllm-v1-tritoninferenceserver created
      INFO[0007] The Job triton-vllm has been submitted successfully
      INFO[0007] You can run `arena serve get triton-vllm --type triton-serving -n default` to check the job status

3. Vérifiez que le service est en cours d'exécution. Attendez que la colonne Available affiche 1.

      arena serve get triton-vllm

   Résultat attendu :

      Name:       triton-vllm
      Namespace:  default
      Type:       Triton
      Version:    v1
      Desired:    1
      Available:  1
      Age:        3m
      Address:    172.16.XX.XX
      Port:       RESTFUL:8000,GRPC:9000
      GPU:        1
   
      Instances:
        NAME                                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
        ----                                                  ------   ---  -----  --------  ---  ----
        triton-vllm-v1-tritoninferenceserver-b69cb7759-gkwz6  Running  3m   1/1    0         1    cn-beijing.172.16.XX.XX

Étape 4 : Vérifier le service d'inférence

(Facultatif) Nettoyer les ressources

Supprimez le service d'inférence et les ressources de stockage lorsque vous n'en avez plus besoin :

# Delete the inference service
arena serve del triton-vllm

# Delete the PVC and PV
kubectl delete pvc llm-model
kubectl delete pv llm-model