Container Service for Kubernetes:オートスケーリングを有効にしてトラフィックの変動に対応する

スケーリングアルゴリズム

KPA は次の式でターゲット Pod 数を計算します。

Pod 数 = 同時実行リクエスト数 / (Pod 最大同時実行数 × ターゲット使用率)

例： containerConcurrency を 10 に設定し、ターゲット使用率を 70% にした場合、100 件の同時実行リクエストに対して：100 / (10 × 0.7) = 15 個の Pod (切り上げ)。

安定モードとパニックモード

KPA はトラフィックパターンに応じて 2 つのモードを使用します。

安定モード — デフォルトです。KPA は安定ウィンドウ (デフォルト：60s) にわたって Pod 全体の同時実行数を平均化し、それに合わせて Pod 数を調整します。

パニックモード — トラフィックバースト時にトリガーされます。KPA はより短いパニックウィンドウ (デフォルト：6s、安定ウィンドウ × panic-window-percentage) を使用してスパイクを検出します。パニックモードの Pod 数 ≥ panic-threshold-percentage / 100 × 準備完了 Pod 数 (デフォルト：2×) の場合、KPA は安定カウントではなくパニックカウントを使用します。

同時実行メトリクス (デフォルト)

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/metric: "concurrency"

RPS メトリクス

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/metric: "rps"

CPU メトリクス

CPU ベースのスケーリングには HPA オートスケーラークラスが必要です。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/class: "hpa.autoscaling.knative.dev"
        autoscaling.knative.dev/metric: "cpu"

メモリメトリクス

メモリベースのスケーリングにも HPA オートスケーラークラスが必要です。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/class: "hpa.autoscaling.knative.dev"
        autoscaling.knative.dev/metric: "memory"

同時実行ターゲット

リビジョンごと — autoscaling.knative.dev/target を使用します。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/target: "50"

グローバル — config-autoscaler ConfigMap を更新します。

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  container-concurrency-target-default: "200"

RPS ターゲット

リビジョンごと：

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/target: "150"
        autoscaling.knative.dev/metric: "rps"

グローバル：

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  requests-per-second-target-default: "150"

ソフト同時実行数上限

ソフト上限は、KPA がスケールする際のターゲットです。厳密には強制されません。バーストは一時的に上限を超えることができます。

リビジョンごと：

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/target: "200"

グローバル：

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  container-concurrency-target-default: "200"

ハード同時実行数上限

ハード上限は厳密に強制されます。超過したリクエストはバッファリングされます。アプリケーションに厳格な同時実行の上限がある場合にのみハード上限を設定してください。低い値はスループットを低下させ、レイテンシを増加させます。

リビジョンごと — containerConcurrency spec フィールドを使用します (アノテーションではありません)。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    spec:
      containerConcurrency: 50

ターゲット使用率

ターゲット使用率は、KPA がスケールアウトする前に Pod がどの程度稼働するかを制御します。containerConcurrency: 10 で使用率 70% の場合、既存の Pod 全体の平均同時実行数が 7 に達すると、KPA は新しい Pod を作成します。値を低くすると、KPA は早期にスケールアウトし、コールドスタートのレイテンシを削減します。

リビジョンごと：

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/target-utilization-percentage: "70"

グローバル：

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  container-concurrency-target-percentage: "70"

スケールトゥゼロのグローバルな有効化または無効化

enable-scale-to-zero を "false" に設定すると、サービスがアイドル状態のときに少なくとも 1 つの Pod を実行し続けます。

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  enable-scale-to-zero: "false"

スケールトゥゼロの猶予期間の設定

scale-to-zero-grace-period は、スケールトゥゼロ時にネットワークプログラミングにかかる時間を制限します。

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  scale-to-zero-grace-period: "40s"

Pod 保持期間の設定

scale-to-zero-pod-retention-period は、トラフィック停止後、最後の Pod を最小期間保持し、断続的なトラフィックを持つサービスでのコールドスタートを回避します。

リビジョンごと：

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/scale-to-zero-pod-retention-period: "1m5s"

グローバル：

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  scale-to-zero-pod-retention-period: "42s"

例 1：同時実行ターゲットによるスケーリング

同時実行ターゲット 10 でオートスケーリングアプリケーションをデプロイし、50 件の同時実行リクエストでテストします。

1. ACK クラスターに Knative をデプロイするか、ACK サーバーレスクラスターにデプロイします。

2. 次の内容で autoscale-go.yaml を作成します。

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: autoscale-go
     namespace: default
   spec:
     template:
       metadata:
         labels:
           app: autoscale-go
         annotations:
           autoscaling.knative.dev/target: "10"  # 同時実行ターゲット: Pod あたり 10 リクエスト
       spec:
         containers:
           - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/autoscale-go:0.1

3. マニフェストを適用します。

   kubectl apply -f autoscale-go.yaml

4. イングレスゲートウェイアドレスを取得します。ALB：

   kubectl get albconfig knative-internet

   想定される出力：

   NAME               ALBID                    DNSNAME                                              PORT&PROTOCOL   CERTID   AGE
   knative-internet   alb-hvd8nngl0lsdra15g0   alb-hvd8nng******.cn-beijing.alb.aliyuncs.com                            2

   MSE：

   kubectl -n knative-serving get ing stats-ingress

   想定される出力：

   NAME            CLASS                  HOSTS   ADDRESS                         PORTS   AGE
   stats-ingress   knative-ingressclass   *       101.201.XX.XX,192.168.XX.XX   80      15d

   ASM：

   kubectl get svc istio-ingressgateway --namespace istio-system --output jsonpath="{.status.loadBalancer.ingress[*]['ip']}"

   想定される出力：

   121.XX.XX.XX

   Kourier：

   kubectl -n knative-serving get svc kourier

   想定される出力：

   NAME      TYPE           CLUSTER-IP    EXTERNAL-IP      PORT(S)                      AGE
   kourier   LoadBalancer   10.0.XX.XX    39.104.XX.XX     80:31133/TCP,443:32515/TCP   49m

5. hey を使用して 30 秒間 50 件の同時実行リクエストを送信します。

   hey -z 30s -c 50 \
     -host "autoscale-go.default.example.com" \
     "http://121.199.XXX.XXX"  # イングレスゲートウェイアドレスに置き換えてください

   想定される出力：KPA は 5 つの Pod を追加します：50 件の同時実行リクエスト ÷ ターゲット 10 = 5 個の Pod。

   

例 2：範囲を指定したスケーリング

min-scale: 1 と max-scale: 3 を追加して、1 つの Pod を実行し続け、デプロイメントを 3 つの Pod に制限します。

1. ACK クラスターに Knative をデプロイするか、ACK サーバーレスクラスターにデプロイします。

2. 次の内容で autoscale-go.yaml を作成します。

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: autoscale-go
     namespace: default
   spec:
     template:
       metadata:
         labels:
           app: autoscale-go
         annotations:
           autoscaling.knative.dev/target: "10"
           autoscaling.knative.dev/min-scale: "1"  # 少なくとも 1 つの Pod を実行し続けます
           autoscaling.knative.dev/max-scale: "3"  # 3 つの Pod に制限します
       spec:
         containers:
           - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/autoscale-go:0.1

3. マニフェストを適用します。

   kubectl apply -f autoscale-go.yaml

4. イングレスゲートウェイアドレスを取得します（例 1 の手順 4 を参照してください）。

5. 30 秒間 50 件の同時実行リクエストを送信します。

   hey -z 30s -c 50 \
     -host "autoscale-go.default.example.com" \
     "http://121.199.XXX.XXX"  # イングレスゲートウェイアドレスに置き換えてください

   想定される出力：KPA は負荷時に 3 つの Pod (最大) にスケールし、その後 1 つの Pod (最小) に戻ります。次のリクエストでコールドスタートは発生しません。