Container Service for Kubernetes:Terapkan layanan inferensi Qwen dengan Triton dan vLLM di ACK

Latar Belakang

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Kluster ACK Pro dengan node berakselerasi GPU (Kubernetes 1.22+, ≥16 GB memori GPU per node).

• Versi driver GPU 525 telah diinstal pada node GPU. Tambahkan label ack.aliyun.com/nvidia-driver-version:525.105.17 untuk mengunci versi driver.

• Klien Arena versi terbaru telah diinstal.

Langkah 1: Siapkan data model

Unduh Qwen1.5-4B-Chat, unggah ke Object Storage Service (OSS), lalu buat volume persisten (PV) dan klaim volume persisten (PVC) di kluster Anda.

Untuk model lain yang didukung vLLM, lihat Model yang Didukung. Untuk menggunakan NAS alih-alih OSS, lihat Memasang volume NAS yang disediakan secara statis.

Langkah 2: Konfigurasikan Triton dengan vLLM

Buat dua file konfigurasi: config.pbtxt untuk backend Triton dan model.json untuk parameter mesin vLLM.

mkdir triton-vllm

cat << EOF > triton-vllm/config.pbtxt
backend: "vllm"

# Penggunaan perangkat ditunda ke mesin vLLM
instance_group [
  {
    count: 1
    kind: KIND_MODEL
  }
]

version_policy: { all { }}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "max_model_len": 16384
}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "dtype": "half",
    "max_model_len": 8192
}
EOF

Langkah 3: Terapkan layanan inferensi

Gunakan Arena untuk menerapkan layanan inferensi Qwen1.5-4B-Chat dengan Triton dan vLLM.

1. Ekspor path file konfigurasi sebagai variabel lingkungan:

      export triton_config_file="triton-vllm/config.pbtxt"
      export model_config_file="triton-vllm/model.json"

2. Terapkan layanan inferensi:

   Parameter

   Parameter	Deskripsi
   --name	Nama layanan inferensi.
   --version	Versi layanan inferensi.
   --image	Citra server Triton.
   --gpus	Jumlah GPU per replika.
   --cpu	Jumlah core CPU per replika.
   --memory	Memori per replika.
   --data	Pemasangan PVC dalam format <pvc-name>:<mount-path>. Jalankan arena data list untuk melihat daftar PVC yang tersedia.
   --config-file	Pemasangan file lokal dalam format <local-path>:<container-path>.
   --model-repository	Direktori repositori model Triton. Setiap subdirektori merepresentasikan satu model beserta file konfigurasinya.
   --http-port	Port HTTP Triton.
   --grpc-port	Port gRPC Triton.
   --allow-metrics	Ekspos metrik inferensi (pemanfaatan GPU, latensi, throughput).

      arena serve triton \
          --name=triton-vllm \
          --version=v1 \
          --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/tritonserver:24.04-vllm-python-py3-ubuntu22.04 \
          --gpus=1 \
          --cpu=6 \
          --memory=30Gi \
          --data="llm-model:/model/Qwen1.5-4B-Chat" \
          --model-repository /triton-config \
          --config-file="$model_config_file:/triton-config/qwen-4b/1/model.json" \
          --config-file="$triton_config_file:/triton-config/qwen-4b/config.pbtxt" \
          --http-port=8000 \
          --grpc-port=9000 \
          --allow-metrics=true

   Output yang diharapkan:

      configmap/triton-vllm-v1-4bd5884e6b5b6a3 created
      configmap/triton-vllm-v1-7815124a8204002 created
      service/triton-vllm-v1-tritoninferenceserver created
      deployment.apps/triton-vllm-v1-tritoninferenceserver created
      INFO[0007] The Job triton-vllm has been submitted successfully
      INFO[0007] You can run `arena serve get triton-vllm --type triton-serving -n default` to check the job status

3. Verifikasi bahwa layanan sedang berjalan. Tunggu hingga Available menunjukkan 1.

      arena serve get triton-vllm

   Output yang diharapkan:

      Name:       triton-vllm
      Namespace:  default
      Type:       Triton
      Version:    v1
      Desired:    1
      Available:  1
      Age:        3m
      Address:    172.16.XX.XX
      Port:       RESTFUL:8000,GRPC:9000
      GPU:        1
   
      Instances:
        NAME                                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
        ----                                                  ------   ---  -----  --------  ---  ----
        triton-vllm-v1-tritoninferenceserver-b69cb7759-gkwz6  Running  3m   1/1    0         1    cn-beijing.172.16.XX.XX

Langkah 4: Verifikasi layanan inferensi

(Opsional) Bersihkan

Hapus layanan inferensi dan sumber daya penyimpanan jika tidak lagi diperlukan:

# Hapus layanan inferensi
arena serve del triton-vllm

# Hapus PVC dan PV
kubectl delete pvc llm-model
kubectl delete pv llm-model