Container Service for Kubernetes:Deploy Qwen inference services with Triton and vLLM on ACK

Contexto

Requisitos previos

Antes de empezar, asegúrese de contar con lo siguiente:

• Un clúster ACK Pro con nodos acelerados por GPU (Kubernetes 1.22+, ≥16 GB de memoria GPU por nodo).

• El controlador de GPU versión 525 instalado en los nodos con GPU. Agregue la etiqueta ack.aliyun.com/nvidia-driver-version:525.105.17 para fijar la versión del controlador.

• La versión más reciente del cliente Arena instalada.

Paso 1: Preparar los datos del modelo

Descargue Qwen1.5-4B-Chat, cárguelo en Object Storage Service (OSS) y cree volúmenes persistentes (PV) y solicitudes de volumen persistente (PVC) en su clúster.

Para otros modelos compatibles con vLLM, consulte Modelos compatibles. Si prefiere usar NAS en lugar de OSS, consulte Montar un volumen NAS aprovisionado estáticamente.

Paso 2: Configurar Triton con vLLM

Cree dos archivos de configuración: config.pbtxt para el backend de Triton y model.json para los parámetros del motor vLLM.

mkdir triton-vllm

cat << EOF > triton-vllm/config.pbtxt
backend: "vllm"

# The usage of device is deferred to the vLLM engine
instance_group [
  {
    count: 1
    kind: KIND_MODEL
  }
]

version_policy: { all { }}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "max_model_len": 16384
}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "dtype": "half",
    "max_model_len": 8192
}
EOF

Paso 3: Desplegar el servicio de inference

Utilice Arena para desplegar el servicio de inference de Qwen1.5-4B-Chat con Triton y vLLM.

1. Exporte las rutas de los archivos de configuración como variables de entorno:

      export triton_config_file="triton-vllm/config.pbtxt"
      export model_config_file="triton-vllm/model.json"

2. Despliegue el servicio de inference:

   Parámetros

   Parameter	Description
   --name	Nombre del servicio de inference.
   --version	Versión del servicio de inference.
   --image	Imagen del servidor Triton.
   --gpus	GPU por réplica.
   --cpu	Núcleos de CPU por réplica.
   --memory	Memoria por réplica.
   --data	Montaje de PVC en formato <pvc-name>:<mount-path>. Ejecute arena data list para listar los PVC disponibles.
   --config-file	Montaje de archivo local en formato <local-path>:<container-path>.
   --model-repository	Directorio del repositorio de modelos de Triton. Cada subdirectorio representa un modelo con sus archivos de configuración.
   --http-port	Puerto HTTP de Triton.
   --grpc-port	Puerto gRPC de Triton.
   --allow-metrics	Exponer métricas de inference (utilización de GPU, latencia, throughput).

      arena serve triton \
          --name=triton-vllm \
          --version=v1 \
          --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/tritonserver:24.04-vllm-python-py3-ubuntu22.04 \
          --gpus=1 \
          --cpu=6 \
          --memory=30Gi \
          --data="llm-model:/model/Qwen1.5-4B-Chat" \
          --model-repository /triton-config \
          --config-file="$model_config_file:/triton-config/qwen-4b/1/model.json" \
          --config-file="$triton_config_file:/triton-config/qwen-4b/config.pbtxt" \
          --http-port=8000 \
          --grpc-port=9000 \
          --allow-metrics=true

   Salida esperada:

      configmap/triton-vllm-v1-4bd5884e6b5b6a3 created
      configmap/triton-vllm-v1-7815124a8204002 created
      service/triton-vllm-v1-tritoninferenceserver created
      deployment.apps/triton-vllm-v1-tritoninferenceserver created
      INFO[0007] The Job triton-vllm has been submitted successfully
      INFO[0007] You can run `arena serve get triton-vllm --type triton-serving -n default` to check the job status

3. Compruebe que el servicio se esté ejecutando. Espere hasta que Available muestre 1.

      arena serve get triton-vllm

   Salida esperada:

      Name:       triton-vllm
      Namespace:  default
      Type:       Triton
      Version:    v1
      Desired:    1
      Available:  1
      Age:        3m
      Address:    172.16.XX.XX
      Port:       RESTFUL:8000,GRPC:9000
      GPU:        1
   
      Instances:
        NAME                                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
        ----                                                  ------   ---  -----  --------  ---  ----
        triton-vllm-v1-tritoninferenceserver-b69cb7759-gkwz6  Running  3m   1/1    0         1    cn-beijing.172.16.XX.XX

Paso 4: Verificar el servicio de inference

(Opcional) Limpieza

Elimine el servicio de inference y los recursos de almacenamiento cuando ya no sean necesarios:

# Delete the inference service
arena serve del triton-vllm

# Delete the PVC and PV
kubectl delete pvc llm-model
kubectl delete pv llm-model