Container Service for Kubernetes:ワークロードスケーリングに関するよくある質問

HPA のモニタリングデータの current フィールドが unknown の場合、kube-controller-manager がモニタリングデータソースにアクセスして対応するデータを取得できず、HPA のスケーリングが失敗することを示します。

Name:                                                  kubernetes-tutorial-deployment
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 10 Jun 2019 11:46:48  0530
Reference:                                             Deployment/kubernetes-tutorial-deployment
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 2%
Min replicas:                                          1
Max replicas:                                          4
Deployment pods:                                       1 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)
Events:
  Type     Reason                   Age                      From                       Message
  ----     ------                   ----                     ----                       -------
  Warning  FailedGetResourceMetric  3m3s (x1009 over 4h18m)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)

原因 1：リソースメトリックのデータソースが利用不可

まず、kubectl top pod コマンドを実行してデータが返されるか確認します。すべての Pod からデータが返されない場合は、kubectl get apiservice を実行して、リソースメトリックを提供するデータソースのステータスを確認します。返されるデータの例は次のとおりです。

NAME                                   SERVICE                      AVAILABLE   AGE
v1.                                    Local                        True        29h
v1.admissionregistration.k8s.io        Local                        True        29h
v1.apiextensions.k8s.io                Local                        True        29h
v1.apps                                Local                        True        29h
v1.authentication.k8s.io               Local                        True        29h
v1.authorization.k8s.io                Local                        True        29h
v1.autoscaling                         Local                        True        29h
v1.batch                               Local                        True        29h
v1.coordination.k8s.io                 Local                        True        29h
v1.monitoring.coreos.com               Local                        True        29h
v1.networking.k8s.io                   Local                        True        29h
v1.rbac.authorization.k8s.io           Local                        True        29h
v1.scheduling.k8s.io                   Local                        True        29h
v1.storage.k8s.io                      Local                        True        29h
v1alpha1.argoproj.io                   Local                        True        29h
v1alpha1.fedlearner.k8s.io             Local                        True        5h11m
v1beta1.admissionregistration.k8s.io   Local                        True        29h
v1beta1.alicloud.com                   Local                        True        29h
v1beta1.apiextensions.k8s.io           Local                        True        29h
v1beta1.apps                           Local                        True        29h
v1beta1.authentication.k8s.io          Local                        True        29h
v1beta1.authorization.k8s.io           Local                        True        29h
v1beta1.batch                          Local                        True        29h
v1beta1.certificates.k8s.io            Local                        True        29h
v1beta1.coordination.k8s.io            Local                        True        29h
v1beta1.events.k8s.io                  Local                        True        29h
v1beta1.extensions                     Local                        True        29h
...
[v1beta1.metrics.k8s.io                 kube-system/metrics-server   True        29h]
...
v1beta1.networking.k8s.io              Local                        True        29h
v1beta1.node.k8s.io                    Local                        True        29h
v1beta1.policy                         Local                        True        29h
v1beta1.rbac.authorization.k8s.io      Local                        True        29h
v1beta1.scheduling.k8s.io              Local                        True        29h
v1beta1.storage.k8s.io                 Local                        True        29h
v1beta2.apps                           Local                        True        29h
v2beta1.autoscaling                    Local                        True        29h
v2beta2.autoscaling                    Local                        True        29h

apiVersion: apiregistration.k8s.io/v1
kind: APIService
metadata:
  name: v1beta1.metrics.k8s.io
spec:
  service:
    name: metrics-server
    namespace: kube-system
  group: metrics.k8s.io
  version: v1beta1
  insecureSkipTLSVerify: true
  groupPriorityMinimum: 100
  versionPriority: 100

これが問題でない場合は、ご利用のクラスターの 操作 > アドオン管理 ページに移動し、metrics-server コンポーネントがインストールされていることを確認します。詳細については、「metrics-server」をご参照ください。

原因 2：ローリングアップデートまたはスケールアウト中にメトリックを取得できない

Pod が作成または更新された後、metrics-server がそのメトリックを取得するには時間が必要です。操作完了後、約 2 分待ってから再度確認してください。

原因 3：request フィールドが設定されていない

デフォルトでは、HPA は 実使用量/request を使用率として使用します。そのため、Pod の resource フィールドに request フィールドが含まれているか確認してください。

原因 4：メトリック名が正しくない

メトリック名が、大文字と小文字の区別を含めて正しいか確認してください。たとえば、HPA がサポートするメトリック cpu を誤って CPU と記述した場合、モニタリングデータの current フィールドは unknown と表示されます。

ローリングアップデート中、Kubernetes の controller-manager は、まだメトリックが利用できない Pod に対してゼロ値を報告します。これにより、HPA が必要以上に多くの Pod を作成することがあり、この現象はスケーリングスラッシングまたは過剰なスケーリングとして知られています。これを防ぐために、以下の構成を使用できます。

クラスターレベルの構成

# metrics-server の起動パラメーターに次のオプションを追加します。
--enable-hpa-rolling-update-skipped=true  

ワークロードレベルの構成

特定のワークロードでの過剰なスケーリングを防ぐには、次のいずれかの方法を使用します。

• 方法 1：ワークロードの Pod テンプレートに次のアノテーションを追加して、ローリングアップデート中の HPA 評価を一時停止します。

  # このアノテーションをワークロードの spec.template.metadata.annotations に追加して、ローリングアップデート中の HPA 評価を一時的に一時停止します。
  HPARollingUpdateSkipped: "true"

  コード例

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
    template: 
      metadata:
        labels:
          app: nginx
        annotations:
          HPARollingUpdateSkipped: "true"  # ローリングアップデート中の HPA 評価をスキップします。
      spec:
        containers:
        - name: nginx
          image: nginx:1.7.9
          ports:
          - containerPort: 80

• 方法 2：ワークロードの Pod テンプレートに次のアノテーションを追加して、アプリケーションの起動後に HPA が監視するウォームアップ期間を定義します。

  # このアノテーションをワークロードの spec.template.metadata.annotations に追加して、設定されたウォームアップ期間をスキップします。
  HPAScaleUpDelay: 3m # 3m は一例です。要件に基づいて期間を設定してください。

  コード例

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
    template: 
      metadata:
        labels:
          app: nginx
        annotations:
          HPAScaleUpDelay: 3m  # 'm' は分 (minutes) を表します。この設定により、Pod の作成から 3 分後に HPA が有効になります。サポートされている単位は s (秒) と m (分) です。
      spec:
        containers:
        - name: nginx
          image: nginx:1.7.9
          ports:
          - containerPort: 80

次の YAML は、不要なスケーリングを防ぐためのアノテーションを含む Deployment の例です。

## Deployment の例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
      annotations:
        HPAScaleUpDelay: 3m # 'm' は分 (minutes) を表します。この設定により、Pod の作成から 3 分後に HPA が有効になります。サポートされている単位は s (秒) と m (分) です。
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 # ご利用の正確な <image_name:tags> に置き換えてください。
        ports:
        - containerPort: 80 

Pod 数が不正確になる一般的な理由には、次のものがあります：

• ローリングアップデートが進行中である。

• scaleTargetRef オブジェクトに属さない Pod が同じラベルを持っている。次のコマンドを実行して、そのような Pod を確認できます：

  kubectl get pods -n {namespace_name} -l {value_of_scale_subresource_status.selector}