Container Service for Kubernetes:ASM メトリクスを用いたワークロードの自動スケーリング

ステップ 1：Prometheus メトリクス収集の有効化

ASM がメトリクスを Prometheus インスタンスにエクスポートできるようにします。詳細については、「Managed Service for Prometheus で監視メトリクスを収集する」をご参照ください。

ステップ 2：カスタムメトリクスアダプターのデプロイ

kube-metrics-adapter をインストールします。このアダプターは External Metrics API のプロバイダーとして自身を登録し、HPA のメトリクス要求を Prometheus クエリに変換します。

1. Helm を使用してアダプターをインストールします。Prometheus サーバーが異なる名前空間で実行されている場合、または別のサービス名を使用している場合は、http://prometheus.istio-system.svc:9090 をご利用の Prometheus サーバーの URL に置き換えてください。

      helm -n kube-system install asm-custom-metrics ./kube-metrics-adapter \
        --set prometheus.url=http://prometheus.istio-system.svc:9090

2. インストールを検証します。

   1. autoscaling/v2 API が利用可能であることを確認します。

         kubectl api-versions | grep "autoscaling/v2"

      期待される出力：

         autoscaling/v2

   2. アダプターポッドが実行中であることを確認します。

         kubectl get po -n kube-system | grep metrics-adapter

      期待される出力：

         asm-custom-metrics-kube-metrics-adapter-85c6d5d865-2****   1/1     Running   0   19s

   3. External Metrics API エンドポイントが正しく登録されていることを確認します。

         kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1" | jq .

      期待される出力：

         {
           "kind": "APIResourceList",
           "apiVersion": "v1",
           "groupVersion": "external.metrics.k8s.io/v1beta1",
           "resources": [
             {
               "name": "prometheus-query",
               "singularName": "",
               "namespaced": true,
               "kind": "ExternalMetricValueList",
               "verbs": [
                 "get"
               ]
             }
           ]
         }

      resources 配列が空になっているのは、まだ HPA がメトリクスクエリを登録していないためです。ステップ 4 で HPA をデプロイすると、配列が埋まります。

ステップ 3：サンプルアプリケーションのデプロイ

ステップ 4：ASM メトリクスを用いた HPA の構成

リクエスト数に基づき podinfo Deployment をスケーリングする HPA を定義します。この構成では、以下の 3 つの要素を関連付けます。

本例では、Kubernetes 1.23 以降が必要な HPA API バージョン autoscaling/v2 を使用しています。v2beta2 は Kubernetes 1.26 で削除されています。

1. 以下の内容で hpa.yaml というファイルを作成します。

   主要フィールドの説明：

   フィールド	説明
   metric-config.external.prometheus-query.prometheus/processed-requests-per-second	PromQL クエリを埋め込むアノテーションです。接尾辞（processed-requests-per-second）は、アノテーションと HPA メトリクスセレクターを関連付けるユーザー定義の名前です。
   metrics[].external.metric.name	固定識別子 prometheus-query を指定する必要があります。これは kube-metrics-adapter が認識する識別子です。
   metrics[].external.metric.selector.matchLabels.query-name	アノテーションキーの接尾辞（processed-requests-per-second）と一致させる必要があります。
   target.averageValue	Pod あたりのしきい値です。HPA はクエリ結果の合計値を現在のレプリカ数で割り、この値と比較します。

      apiVersion: autoscaling/v2
      kind: HorizontalPodAutoscaler
      metadata:
        name: podinfo
        namespace: test
        annotations:
          # アノテーション形式：metric-config.external.prometheus-query.prometheus/<query-name>
          # <query-name> は、以下 spec.metrics 内の query-name ラベルと一致させる必要があります。
          # 値は、kube-metrics-adapter が Prometheus に送信する PromQL クエリです。
          metric-config.external.prometheus-query.prometheus/processed-requests-per-second: |
            sum(
                rate(
                    istio_requests_total{
                      destination_workload="podinfo",
                      destination_workload_namespace="test",
                      reporter="destination"
                    }[1m]
                )
            )
      spec:
        maxReplicas: 10
        minReplicas: 1
        scaleTargetRef:
          apiVersion: apps/v1
          kind: Deployment
          name: podinfo
        metrics:
          - type: External          # Prometheus メトリクスは Kubernetes オブジェクトではないため、External を使用
            external:
              metric:
                name: prometheus-query                  # kube-metrics-adapter 用の固定メトリクス名
                selector:
                  matchLabels:
                    query-name: processed-requests-per-second  # 上記アノテーションキーと一致させる必要があります
              target:
                type: AverageValue
                averageValue: "10"   # Pod あたりの平均リクエスト数が 10 req/s を超えるとスケールアウト

2. HPA を適用します。

      kubectl apply -f hpa.yaml

3. External Metrics API が登録済みのメトリクスをリスト表示することを確認します。期待される出力： prometheus-query リソースが、HPA がアダプターにメトリクスを登録したことを示します。

      kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1" | jq .

      {
        "kind": "APIResourceList",
        "apiVersion": "v1",
        "groupVersion": "external.metrics.k8s.io/v1beta1",
        "resources": [
          {
            "name": "prometheus-query",
            "singularName": "",
            "namespaced": true,
            "kind": "ExternalMetricValueList",
            "verbs": [
              "get"
            ]
          }
        ]
      }

自動スケーリングの検証

1. ロードテスターポッドから継続的な負荷を発生させます。この操作では、5 分間、10 並列ワーカー × 各ワーカー 5 QPS（合計 50 RPS）の負荷をかけます。

      # ロードテスターポッド名を取得（ステップ 3 で $loadtester が既に設定済みの場合はスキップ）
      export loadtester=$(kubectl -n test get pod -l "app=loadtester" \
        -o jsonpath='{.items[0].metadata.name}')
   
      kubectl -n test exec -it ${loadtester} -c loadtester -- \
        hey -z 5m -c 10 -q 5 http://podinfo.test:9898

2. 別ターミナルで HPA の状態を監視します。期待される出力（約 1 分後）：

   説明

   HPA は 30 秒ごとにメトリクスを同期します。スケーリング判断は、直前の 3～5 分間にスケーリングイベントが発生していない場合にのみ有効になります。このクールダウン期間により、急激かつ矛盾したスケーリング判断が防止され、必要に応じて Cluster Autoscaler が新規ノードをプロビジョニングする時間を確保できます。

      watch kubectl -n test get hpa/podinfo

      NAME      REFERENCE            TARGETS          MINPODS   MAXPODS   REPLICAS   AGE
      podinfo   Deployment/podinfo   8308m/10 (avg)   1         10        6          124m

3. 負荷テスト終了後のスケールダウンを観察します。負荷テストが完了すると、リクエスト数はゼロに低下します。HPA は徐々に Deployment をスケールダウンし、最終的にレプリカ数を 1 に戻します。