Container Service for Kubernetes:ワークロードスケーリングに関するよくある質問

HPA の current フィールドに unknown と表示されると、kube-controller-manager がメトリクスデータソースにアクセスできなくなり、HPA のスケーリングが失敗します。

Name:                                                  kubernetes-tutorial-deployment
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 10 Jun 2019 11:46:48  0530
Reference:                                             Deployment/kubernetes-tutorial-deployment
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 2%
Min replicas:                                          1
Max replicas:                                          4
Deployment pods:                                       1 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)
Events:
  Type     Reason                   Age                      From                       Message
  ----     ------                   ----                     ----                       -------
  Warning  FailedGetResourceMetric  3m3s (x1009 over 4h18m)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)

原因 1： リソースメトリクスデータソースが利用できない

kubectl top pod を実行して、データが返されるかどうかを確認します。 どのポッドもデータを返さない場合は、kubectl get apiservice を実行して Resource Metrics データソースのステータスを確認します。 出力例:

NAME                                   SERVICE                      AVAILABLE   AGE
v1.                                    Local                        True        29h
v1.admissionregistration.k8s.io        Local                        True        29h
v1.apiextensions.k8s.io                Local                        True        29h
v1.apps                                Local                        True        29h
v1.authentication.k8s.io               Local                        True        29h
v1.authorization.k8s.io                Local                        True        29h
v1.autoscaling                         Local                        True        29h
v1.batch                               Local                        True        29h
v1.coordination.k8s.io                 Local                        True        29h
v1.monitoring.coreos.com               Local                        True        29h
v1.networking.k8s.io                   Local                        True        29h
v1.rbac.authorization.k8s.io           Local                        True        29h
v1.scheduling.k8s.io                   Local                        True        29h
v1.storage.k8s.io                      Local                        True        29h
v1alpha1.argoproj.io                   Local                        True        29h
v1alpha1.fedlearner.k8s.io             Local                        True        5h11m
v1beta1.admissionregistration.k8s.io   Local                        True        29h
v1beta1.alicloud.com                   Local                        True        29h
v1beta1.apiextensions.k8s.io           Local                        True        29h
v1beta1.apps                           Local                        True        29h
v1beta1.authentication.k8s.io          Local                        True        29h
v1beta1.authorization.k8s.io           Local                        True        29h
v1beta1.batch                          Local                        True        29h
v1beta1.certificates.k8s.io            Local                        True        29h
v1beta1.coordination.k8s.io            Local                        True        29h
v1beta1.events.k8s.io                  Local                        True        29h
v1beta1.extensions                     Local                        True        29h
...
[v1beta1.metrics.k8s.io                 kube-system/metrics-server   True        29h]
...
v1beta1.networking.k8s.io              Local                        True        29h
v1beta1.node.k8s.io                    Local                        True        29h
v1beta1.policy                         Local                        True        29h
v1beta1.rbac.authorization.k8s.io      Local                        True        29h
v1beta1.scheduling.k8s.io              Local                        True        29h
v1beta1.storage.k8s.io                 Local                        True        29h
v1beta2.apps                           Local                        True        29h
v2beta1.autoscaling                    Local                        True        29h
v2beta2.autoscaling                    Local                        True        29h

apiVersion: apiregistration.k8s.io/v1
kind: APIService
metadata:
  name: v1beta1.metrics.k8s.io
spec:
  service:
    name: metrics-server
    namespace: kube-system
  group: metrics.k8s.io
  version: v1beta1
  insecureSkipTLSVerify: true
  groupPriorityMinimum: 100
  versionPriority: 100

これが問題でない場合は、クラスターの操作 > アドオン管理に移動し、metrics-server がインストールされていることを確認します。

原因 2： ローリングアップデートまたはスケールアウト中にメトリクスを取得できない

Pod が作成または更新された後、metrics-server がメトリクスを収集するまでには時間がかかります。約 2 分待ってから再度確認してください。

原因 3： request フィールドが設定されていない

デフォルトでは、HPA は actual utilization/request を使用率として使用します。ポッドの resource フィールドに request フィールドが含まれているかどうかを確認してください。

原因 4： メトリクス名が正しくない

メトリック名と大文字/小文字が正しいことを確認してください。たとえば、cpu を CPU と記述すると、current フィールドに unknown と表示されます。

ローリングアップデート中、controller-manager はメトリクスのない Pod に対してゼロ値を報告するため、HPA が過剰な Pod を作成する (オーバースケーリング) 可能性があります。これを防ぐには、次の設定を使用します。

クラスターレベルの設定

# metrics-server の起動パラメーターに次のオプションを追加します。
--enable-hpa-rolling-update-skipped=true  

ワークロードレベルの設定

特定のワークロードのオーバースケーリングを防ぐには、次のいずれかの方法を使用します。

• ローリングアップデート中に HPA の評価を一時停止するには、Pod テンプレートに次のアノテーションを追加してください。

  # ワークロードの spec.template.metadata.annotations に次のアノテーションを追加して、ローリングアップデート中に HPA の評価を一時停止します。
  HPARollingUpdateSkipped: "true"

  サンプルコード

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
    template: 
      metadata:
        labels:
          app: nginx
        annotations:
          HPARollingUpdateSkipped: "true"  # ローリングアップデート中に HPA の評価をスキップします。
      spec:
        containers:
        - name: nginx
          image: nginx:1.7.9
          ports:
          - containerPort: 80

• アプリケーション起動後のウォームアップ期間を設定するには、Pod テンプレートに次のアノテーションを追加してください。

  # ワークロードの spec.template.metadata.annotations に次のアノテーションを追加して、ウォームアップ期間を設定します。
  HPAScaleUpDelay: 3m # 3m は例です。要件に基づいて期間を設定してください。

  サンプルコード

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
    template: 
      metadata:
        labels:
          app: nginx
        annotations:
          HPAScaleUpDelay: 3m  # 'm' は分を表します。この設定により、Pod が作成されてから 3 分後に HPA が有効になります。サポートされている単位は s (秒) と m (分) です。
      spec:
        containers:
        - name: nginx
          image: nginx:1.7.9
          ports:
          - containerPort: 80

アノテーション付きの Deployment のサンプル：

## Deployment の例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
      annotations:
        HPAScaleUpDelay: 3m # 'm' は分を表します。この設定により、Pod が作成されてから 3 分後に HPA が有効になります。サポートされている単位は s (秒) と m (分) です。
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 # 正確な <image_name:tags> に置き換えてください。
        ports:
        - containerPort: 80 

Pod 数が不正確になる一般的な理由は次のとおりです。

• ローリングアップデートが進行中である。

• scaleTargetRef オブジェクト外の Pod が同じラベルを共有している。次のコマンドで確認してください。

  kubectl get pods -n {namespace_name} -l {value_of_scale_subresource_status.selector}