Container Service for Kubernetes:ワークロードスケーリング よくある質問

HPA のモニタリングデータにおいて current フィールドが unknown と表示される場合、kube-controller-manager がモニタリングデータソースにアクセスできず、データを取得できないことを意味します。その結果、HPA のスケーリングが失敗します。

Name:                                                  kubernetes-tutorial-deployment
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 10 Jun 2019 11:46:48  0530
Reference:                                             Deployment/kubernetes-tutorial-deployment
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 2%
Min replicas:                                          1
Max replicas:                                          4
Deployment pods:                                       1 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)
Events:
  Type     Reason                   Age                      From                       Message
  ----     ------                   ----                     ----                       -------
  Warning  FailedGetResourceMetric  3m3s (x1009 over 4h18m)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)

原因 1：Resource Metrics データソースが利用不可

kubectl top pod コマンドを実行し、データが返されるかどうかを確認します。どのポッドに対してもデータが返されない場合は、kubectl get apiservice コマンドを実行して Resource Metrics データソースのステータスを確認します。次の例は、返されたデータを示しています。

NAME                                   SERVICE                      AVAILABLE   AGE
v1.                                    Local                        True        29h
v1.admissionregistration.k8s.io        Local                        True        29h
v1.apiextensions.k8s.io                Local                        True        29h
v1.apps                                Local                        True        29h
v1.authentication.k8s.io               Local                        True        29h
v1.authorization.k8s.io                Local                        True        29h
v1.autoscaling                         Local                        True        29h
v1.batch                               Local                        True        29h
v1.coordination.k8s.io                 Local                        True        29h
v1.monitoring.coreos.com               Local                        True        29h
v1.networking.k8s.io                   Local                        True        29h
v1.rbac.authorization.k8s.io           Local                        True        29h
v1.scheduling.k8s.io                   Local                        True        29h
v1.storage.k8s.io                      Local                        True        29h
v1alpha1.argoproj.io                   Local                        True        29h
v1alpha1.fedlearner.k8s.io             Local                        True        5h11m
v1beta1.admissionregistration.k8s.io   Local                        True        29h
v1beta1.alicloud.com                   Local                        True        29h
v1beta1.apiextensions.k8s.io           Local                        True        29h
v1beta1.apps                           Local                        True        29h
v1beta1.authentication.k8s.io          Local                        True        29h
v1beta1.authorization.k8s.io           Local                        True        29h
v1beta1.batch                          Local                        True        29h
v1beta1.certificates.k8s.io            Local                        True        29h
v1beta1.coordination.k8s.io            Local                        True        29h
v1beta1.events.k8s.io                  Local                        True        29h
v1beta1.extensions                     Local                        True        29h
...
[v1beta1.metrics.k8s.io                 kube-system/metrics-server   True        29h]
...
v1beta1.networking.k8s.io              Local                        True        29h
v1beta1.node.k8s.io                    Local                        True        29h
v1beta1.policy                         Local                        True        29h
v1beta1.rbac.authorization.k8s.io      Local                        True        29h
v1beta1.scheduling.k8s.io              Local                        True        29h
v1beta1.storage.k8s.io                 Local                        True        29h
v1beta2.apps                           Local                        True        29h
v2beta1.autoscaling                    Local                        True        29h
v2beta2.autoscaling                    Local                        True        29h

apiVersion: apiregistration.k8s.io/v1
kind: APIService
metadata:
  name: v1beta1.metrics.k8s.io
spec:
  service:
    name: metrics-server
    namespace: kube-system
  group: metrics.k8s.io
  version: v1beta1
  insecureSkipTLSVerify: true
  groupPriorityMinimum: 100
  versionPriority: 100

問題が継続する場合は、クラスターの 操作 ＞ アドオン管理 ページで、metrics-server コンポーネントがインストールされていることを確認してください。詳細については、「metrics-server」をご参照ください。

原因 2：ローリングデプロイまたはスケールアウト中のデータ取得不可

デフォルトでは、metrics-server のコレクションサイクルは 1 分です。スケールアウトまたは更新後、metrics-server は短時間の間モニタリングデータを取得できません。スケールアウトまたは更新が完了してから約 2 分後に再確認してください。

原因 3：request フィールドが設定されていない

デフォルトでは、HPA は 実際の利用率 / request という数式を使用して利用率を計算します。resource フィールドに request フィールドが含まれているかどうかを確認してください。

原因 4：メトリック名が不正確

メトリック名が正しく入力されているか（大文字小文字を含む）を確認してください。たとえば、HPA がサポートする cpu ではなく CPU を入力すると、モニタリングデータの current フィールドが unknown と表示されます。

ローリングデプロイ中、コミュニティ版 Controller Manager はモニタリングデータがないポッドに対してゼロパディングを実行します。これにより、HPA が不要なポッドを追加でスケールアウトすることがあります。以下の構成を適用することで、この問題を防止できます。

クラスター全体の構成

# metrics-server の起動パラメーターに以下のオプションを追加します。
--enable-hpa-rolling-update-skipped=true  

ワークロード単位の構成

特定のワークロードのみについて不要なポッドのスケールアウトを防止したい場合は、以下のいずれかの方法を使用できます。

• 方法 1：指定したワークロードのテンプレートに以下のアノテーションを追加し、ローリングデプロイ中の HPA 評価を一時的に停止します。

  # ローリングデプロイ中の HPA 評価を一時的に停止するために、ワークロードの spec.template.metadata.annotations にアノテーションを追加します。
  HPARollingUpdateSkipped: "true"

  例コードの詳細を表示するには展開してください

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
    template: 
      metadata:
        labels:
          app: nginx
        annotations:
          HPARollingUpdateSkipped: "true"  # ローリングデプロイ中の HPA 効果をスキップします。
      spec:
        containers:
        - name: nginx
          image: nginx:1.7.9
          ports:
          - containerPort: 80

• 方法 2： アプリケーションのデプロイメントの開始時に設定されたランプアップ期間をスキップするには、指定されたワークロードのテンプレートに次のアノテーションを追加します。

  # アプリケーションデプロイ開始時の設定済みラップアップ期間をスキップするために、ワークロードの spec.template.metadata.annotations にアノテーションを追加します。
  HPAScaleUpDelay: 3m # 3m は例です。必要に応じて具体的な時間を設定してください。

  例コードの詳細を表示するには展開してください

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
    template: 
      metadata:
        labels:
          app: nginx
        annotations:
          HPAScaleUpDelay: 3m  # m は分を意味します。これは、ポッド作成後 3 分経過してから HPA が有効になることを意味します。有効な単位は [s（秒）、m（分）] です。
      spec:
        containers:
        - name: nginx
          image: nginx:1.7.9
          ports:
          - containerPort: 80

以下は、誤ったトリガーを防ぐためにスイッチを追加した Deployment の例です。

## 例：Deployment
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
      annotations:
        HPAScaleUpDelay: 3m # m は分を意味します。これは、ポッド作成後 3 分経過してから HPA が有効になることを意味します。有効な単位は [s（秒）、m（分）] です。
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 # 実際の <image_name:tags> に置き換えてください。
        ports:
        - containerPort: 80 

ポッドのマッチングが不正確になる主な原因は以下のとおりです：

• ローリングデプロイ。

• scaleTargetRef で定義されたオブジェクトに属さない他のポッドが、同じラベルを持っている場合。以下のコマンドを実行して、該当する他のポッドを確認できます。

  kubectl get pods -n {namespace 名} -l {scale サブリソースの status.Selector の値}