Container Service for Kubernetes：基於vllm自訂指標的多叢集HPA實踐

步驟一：在子叢集中配置指標採集

在兩個ACK叢集中配置ack-alibaba-cloud-metrics-adapter的組件參數。

1. 登入Container Service管理主控台，在左側導覽列選擇叢集列表。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇應用 > Helm。

3. 找到ack-alibaba-cloud-metrics-adapter組件，在操作列單擊更新。在prometheus.adapter.rules，可以修改指標採集配置，例如：

   • vllm:num_requests_waiting：等待被處理的請求數。

   • vllm:num_requests_running：正在處理的請求數。

   rules:
     - seriesQuery: 'vllm:num_requests_waiting'
       resources:
         overrides:
           kubernetes_namespace: {resource: "namespace"}
           kubernetes_pod_name: {resource: "pod"}
       name:
         matches: 'vllm:num_requests_waiting'
         as: 'num_requests_waiting'
       metricsQuery: 'sum(<<.Series>>{<<.LabelMatchers>>}) by (<<.GroupBy>>)'
     - seriesQuery: 'vllm:num_requests_running'
       resources:
         overrides:
           kubernetes_namespace: {resource: "namespace"}
           kubernetes_pod_name: {resource: "pod"}
       name:
         matches: 'vllm:num_requests_running'
         as: 'num_requests_running'
       metricsQuery: 'sum(<<.Series>>{<<.LabelMatchers>>}) by (<<.GroupBy>>)'

4. 修改完成後，單擊確定。

5. 檢查自訂指標是否配置成功。

   # 查看自訂指標
   kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/namespaces/test/pods/qwen3-xxxxx/num_requests_waiting"
   kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/namespaces/test/pods/qwen3-xxxxx/num_requests_running"

   預期輸出vLLM指標，表示指標採集配置成功。

步驟二：在艦隊中建立vLLM推理服務

將下方YAML樣本模板儲存到deployment.yaml，然後執行kubectl apply -f deployment.yaml在艦隊中部署推理服務。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: qwen3
  namespace: test
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: qwen3
  template:
    metadata:
      annotations:
        # 用來捕獲pod的metrics，效果如同PodMonitor
        prometheus.io/path: /metrics
        prometheus.io/port: "8000"
        prometheus.io/scrape: "true"
      labels:
        app: qwen3
    spec:
      containers:
      # 使用qwen3-0.6b模型，模型從modelscope下載
      - command:
        - sh
        - -c
        - export VLLM_USE_MODELSCOPE=True; vllm serve Qwen/Qwen3-0.6B --served-model-name
          qwen3-0.6b --port 8000 --trust-remote-code --tensor_parallel_size=1 --max-model-len
          2048 --gpu-memory-utilization 0.8
        image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm-openai:v0.9.1
        imagePullPolicy: IfNotPresent
        name: vllm
        ports:
        - containerPort: 8000
          name: restful
          protocol: TCP
        readinessProbe:
          failureThreshold: 3
          initialDelaySeconds: 30
          periodSeconds: 10
          successThreshold: 1
          tcpSocket:
            port: 8000
          timeoutSeconds: 1
        resources:
          limits:
            nvidia.com/gpu: "1"
          requests:
            nvidia.com/gpu: "1"
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

步驟三：在艦隊中配置多叢集分發策略

將下方樣本模板儲存到propagationpolicy.yaml，然後執行kubectl apply -f propagationpolicy.yaml。

• autoScaling.ecsProvision：開啟基於庫存的智能調度，會根據需要自動擴縮ECS執行個體。

• clusterAffinities：優先順序分組，在調度時按優先順序依次填充affinity。

apiVersion: policy.one.alibabacloud.com/v1alpha1
kind: PropagationPolicy
metadata:
  name: vllm-deploy-pp
  namespace: test
spec:
  autoScaling:
    ecsProvision: true
  placement:
    clusterAffinities:
    - affinityName: high-priority
      clusterNames:
      - ${cluster1_id}
    - affinityName: low-priority
      clusterNames:
      - ${cluster2_id}
    replicaScheduling:
      replicaSchedulingType: Divided
      replicaDivisionPreference: Weighted
      weightPreference:
        dynamicWeight: AvailableReplicas
  preserveResourcesOnDeletion: false
  resourceSelectors:
  - apiVersion: apps/v1
    kind: Deployment
    namespace: test
  - apiVersion: v1
    kind: Service
    namespace: test
  schedulerName: default-scheduler

步驟四：在艦隊中建立FederatedHPA

FederatedHPA可以監控Pod的CPU、Memory、自訂指標和外部指標，下方樣本使用num_requests_waiting和num_requests_running這兩個自訂指標進行Auto Scaling。

將下方樣本模板儲存到federatedhpa.yaml，然後執行kubectl apply -f federatedhpa.yaml。

apiVersion: autoscaling.one.alibabacloud.com/v1alpha1
kind: FederatedHPA
metadata:
  name: vllm-fhpa
  namespace: test
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: qwen3
  minReplicas: 1
  maxReplicas: 10
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 30
    scaleUp:
      stabilizationWindowSeconds: 10
  metrics:
    - type: Pods
      pods:
        metric:
          name: num_requests_waiting
        target:
          type: AverageValue
          averageValue: ${waiting_size} # 根據顯卡、模型最佳值有所不同
    - type: Pods
      pods:
        metric:
          name: num_requests_running
        target:
          type: AverageValue
          averageValue: ${running_size} # 根據顯卡、模型最佳值有所不同

kubectl get fhpa後的REPLICAS一列為什麼為空白？

因為fhpa沒有和對應的workload進行匹配，請檢查工作負載名稱、命名空間的配置。

kubectl get fhpa -o yaml後為什麼報錯？

condition報錯the HPA was unable to compute the replica count: unable to get metric xxx。原因是FHPA無法成功擷取到子叢集對應workload的指標。

1. 確認子叢集都已安裝ack-alibaba-cloud-metrics-adapter組件。

2. 確認子叢集ack-alibaba-cloud-metrics-adapter組件的參數配置正確，可以通過在子叢集的看板查詢指標，觀察是否可以成功查詢。

子叢集查詢指標為什麼不可見？

執行如下命令觀察指標是否成功註冊，如果沒有相關指標請檢查Helm應用的組件參數配置是否正確。

kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1" | jq .