Container Service for Kubernetes:Gunakan Triton untuk menerapkan layanan inferensi Qwen di ACK

Latar Belakang

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Kluster ACK Pro dengan node yang dipercepat GPU (Kubernetes 1.22 atau lebih baru, memori GPU per node minimal 16 GB). Untuk informasi lebih lanjut, lihat Buat kluster ACK yang dikelola

• Driver GPU versi 525 telah diinstal pada node GPU. Tambahkan label ack.aliyun.com/nvidia-driver-version:525.105.17 pada node yang dipercepat GPU untuk mengunci versi driver tersebut. Untuk informasi lebih lanjut, lihat Tentukan versi driver NVIDIA untuk node dengan menambahkan label

• Klien Arena versi terbaru telah diinstal. Untuk informasi lebih lanjut, lihat Konfigurasikan klien Arena

Langkah 1: Siapkan data model

Unduh model Qwen1.5-4B-Chat, unggah ke Object Storage Service (OSS), lalu buat volume persisten (PV) dan klaim volume persisten (PVC) di kluster ACK.

Untuk menerapkan model lain yang didukung vLLM, lihat Model yang Didukung. Untuk menggunakan File Storage NAS alih-alih OSS, lihat Pasang volume NAS yang disediakan secara statis.

Langkah 2: Konfigurasikan Triton dengan vLLM

Buat dua file konfigurasi: config.pbtxt untuk backend Triton dan model.json untuk parameter engine vLLM.

mkdir triton-vllm

cat << EOF > triton-vllm/config.pbtxt
backend: "vllm"

# Penggunaan perangkat ditunda ke engine vLLM
instance_group [
  {
    count: 1
    kind: KIND_MODEL
  }
]

version_policy: { all { }}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "dtype": "half",
    "max_model_len": 8192
}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "dtype": "half",
    "max_model_len": 8192
}
EOF

Langkah 3: Terapkan layanan inferensi

Gunakan Arena untuk menerapkan layanan inferensi Qwen1.5-4B-Chat dengan Triton dan vLLM.

1. Ekspor path file konfigurasi sebagai variabel lingkungan:

      export triton_config_file="triton-vllm/config.pbtxt"
      export model_config_file="triton-vllm/model.json"

2. Terapkan layanan inferensi: Output yang diharapkan:

   Parameter

   Parameter	Deskripsi
   --name	Nama layanan inferensi.
   --version	Versi layanan inferensi.
   --image	Image kontainer untuk server Triton.
   --gpus	Jumlah GPU per replika.
   --cpu	Jumlah core CPU per replika.
   --memory	Alokasi memori per replika.
   --data	Mount PVC dalam format <pvc-name>:<mount-path>. Jalankan arena data list untuk melihat daftar PVC yang tersedia.
   --config-file	Mount file lokal dalam format <local-path>:<container-path>.
   --model-repository	Direktori repositori model Triton. Setiap subdirektori merepresentasikan satu model dan harus berisi file konfigurasinya. Untuk informasi lebih lanjut, lihat Repositori model Triton.
   --http-port	Port HTTP untuk layanan Triton.
   --grpc-port	Port gRPC untuk layanan Triton.
   --allow-metrics	Ekspos metrik inferensi (pemanfaatan GPU, latensi, throughput).

      arena serve triton \
          --name=triton-vllm \
          --version=v1 \
          --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/tritonserver:24.04-vllm-python-py3-ubuntu22.04 \
          --gpus=1 \
          --cpu=6 \
          --memory=30Gi \
          --data="llm-model:/model/Qwen1.5-4B-Chat" \
          --model-repository /triton-config \
          --config-file="$model_config_file:/triton-config/qwen-4b/1/model.json" \
          --config-file="$triton_config_file:/triton-config/qwen-4b/config.pbtxt" \
          --http-port=8000 \
          --grpc-port=9000 \
          --allow-metrics=true

      configmap/triton-vllm-v1-4bd5884e6b5b6a3 created
      configmap/triton-vllm-v1-7815124a8204002 created
      service/triton-vllm-v1-tritoninferenceserver created
      deployment.apps/triton-vllm-v1-tritoninferenceserver created
      INFO[0007] The Job triton-vllm has been submitted successfully
      INFO[0007] You can run `arena serve get triton-vllm --type triton-serving -n default` to check the job status

3. Verifikasi bahwa layanan sedang berjalan: Tunggu hingga Available menunjukkan 1. Output yang diharapkan:

      arena serve get triton-vllm

      Name:       triton-vllm
      Namespace:  default
      Type:       Triton
      Version:    v1
      Desired:    1
      Available:  1
      Age:        3m
      Address:    172.16.XX.XX
      Port:       RESTFUL:8000,GRPC:9000
      GPU:        1
   
      Instances:
        NAME                                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
        ----                                                  ------   ---  -----  --------  ---  ----
        triton-vllm-v1-tritoninferenceserver-b69cb7759-gkwz6  Running  3m   1/1    0         1    cn-beijing.172.16.XX.XX

Langkah 4: Verifikasi layanan inferensi

(Opsional) Bersihkan

Hapus layanan inferensi dan sumber daya penyimpanan jika tidak lagi diperlukan:

# Hapus layanan inferensi
arena serve del triton-vllm

# Hapus PVC dan PV
kubectl delete pvc llm-model
kubectl delete pv llm-model