Container Service for Kubernetes:ホットスポットを意識したデスケジューリングによるノード負荷の分散

制限事項

• ACK マネージド Pro版クラスターのみが対象です。

• 必要なコンポーネントのバージョンは次のとおりです。

  コンポーネント	バージョン
  ACK Scheduler	v1.22.15-ack-4.0 以降、v1.24.6-ack-4.0 以降
  ack-koordinator	v1.1.1-ack.1 以降
  Helm	v3.0 以降

課金

ack-koordinator のインストールと使用は無料です。ただし、以下のシナリオでは追加料金が発生する場合があります。

• ワーカーノードリソース：ack-koordinator は自己管理型コンポーネントであり、ワーカーノードのリソースを消費します。インストール時に各モジュールのリソースリクエストを設定してください。

• Prometheus のカスタムメトリクス: [ACK-Koordinator の Prometheus モニタリングを有効化] を有効にし、Managed Service for Prometheus を使用する場合、公開されたメトリクスは カスタムメトリクス としてカウントされ、料金が発生します。料金は、クラスターのサイズとアプリケーションの数によって異なります。この機能を有効にする前に、Prometheus インスタンスの課金をご確認ください。使用量データをクエリして、リソース消費量を監視してください。

仕組み

実行サイクル

Koordinator Descheduler は定期的に実行されます。各実行サイクルは 3 つのステージで構成されています。

1. データ収集：ノードとワークロードの情報、およびリソース使用率データを取得します。

2. プラグイン実行 (LowNodeLoad の例)：

   1. highThresholds と lowThresholds に基づいてホットスポットノードを特定します。

   2. すべてのホットスポットノードを走査し、対象となる Pod をスコアリングして、退去させる順序でソートします。Pod スコアリングポリシーをご参照ください。

   3. 各候補 Pod が移行制約 (クラスター容量、リソース使用率、レプリカ比率制限) を満たすかチェックします。負荷感知ホットスポットデスケジューリングポリシーをご参照ください。

   4. 条件を満たした Pod を移行候補としてマークし、残りをスキップします。

3. Pod の退去と移行：eviction API を使用して移行候補を退去させます。

ノードの分類

LowNodeLoad プラグインは、2 つのしきい値 (lowThresholds (アイドルしきい値) と highThresholds (ホットスポットしきい値)) に基づいて、ノードを 3 つのカテゴリに分類します。

lowThresholds = 45%、highThresholds = 70% の例：

1. アイドルノード：リソース使用率が lowThresholds 未満 (< 45%)。

2. 通常ノード：リソース使用率が lowThresholds と highThresholds の間 (45%～70%)。これが目標範囲です。

3. ホットスポットノード：リソース使用率が highThresholds を超過 (> 70%)。ノード負荷が 70% 以下に低下するまで Pod が退去されます。

リソース使用率データは毎分更新され、5 分間の平均値を反映します。

すべてのノードが lowThresholds を超えている場合、一部のノードが highThresholds を超えていても、クラスター全体の負荷が高いと判断され、デスケジューリングは一時停止されます。

前提条件

開始する前に、以下を準備してください。

• ACK マネージド Pro版クラスター

• ACK Scheduler v1.22.15-ack-4.0 以降、v1.24.6-ack-4.0 以降、ack-koordinator v1.1.1-ack.1 以降、および Helm v3.0 以降

ステップ 1：ack-koordinator でデスケジューリングを有効にする

• 新規インストール：ack-koordinator をインストールし、設定ページで [ack-koordinator のデスケジューリングを有効化] を選択します。

• 既存のインストール：設定ページで、[ack-koordinator のデスケジューリングを有効にする] を選択します。「ack-koordinator を変更する」をご参照ください。

ステップ 2：LowNodeLoad プラグインを有効にする

1. LowNodeLoad プラグインを有効にするには、koord-descheduler-config.yaml ConfigMap を作成します。

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # koord-descheduler のシステム設定。このセクションは変更しないでください。
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s  # 実行間隔。Descheduler は 120 秒ごとに実行されます。
                                   # detectorCacheTimeout (デフォルト：5m) を超えないように設定してください。
       dryRun: false               # true に設定すると、読み取り専用モード (Pod の退去なし) で実行されます。
       # システム設定の終了。
   
       profiles:
       - name: koord-descheduler
         plugins:
           balance:
             enabled:
               - name: LowNodeLoad      # ホットスポットのデスケジューリングを行う LowNodeLoad プラグインを有効にします。
           evict:
             enabled:
               - name: MigrationController  # 退去および移行コントローラーを有効にします。
   
         pluginConfig:
         - name: MigrationController
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly
   
         - name: LowNodeLoad
           args:
             apiVersion: descheduler/v1alpha2
             kind: LowNodeLoadArgs
   
             # すべてのリソース使用率が lowThresholds 未満の場合、ノードはアイドル状態と見なされます。
             lowThresholds:
               cpu: 20    # 20% CPU 使用率
               memory: 30 # 30% メモリ使用率
   
             # いずれかのリソース使用率が highThresholds を超えた場合、ノードはホットスポットと見なされます。
             highThresholds:
               cpu: 50    # 50% CPU 使用率
               memory: 60 # 60% メモリ使用率
   
             # デスケジューリングの対象を特定の名前空間に限定します。
             # include と exclude は相互に排他的です。どちらか一方のみを設定してください。
             evictableNamespaces:
               include:
                 - default
               # exclude:
               #   - "kube-system"
               #   - "koordinator-system"

2. ConfigMap をクラスターに適用します。

   kubectl apply -f koord-descheduler-config.yaml

3. Koordinator Descheduler を再起動して、新しい設定を適用します。

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1

ステップ 3 (オプション)：負荷感知スケジューリングを有効にする

最適な負荷分散を実現するため、負荷感知スケジューリングを有効にし、退去した Pod が ACK Scheduler によってホットスポットノードに再配置されないようにしてください。

loadAwareThreshold を highThresholds と一致するように設定してください。値が一致しない場合、特にノード数が少なく各ノードの使用率が近い状況では、退去した Pod がホットスポットノードに再スケジュールされる可能性があります。

ステップ 4：デスケジューリングを検証する

この例では、3 つのノードで構成されるクラスターを使用します。各ノードは 104 コアと 396 GiB のメモリを備えています。

1. 以下の内容で stress-demo.yaml ファイルを作成します。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: polinux/stress
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. ストレステスト用のワークロードをデプロイします。

   kubectl create -f stress-demo.yaml

   期待される出力：

   deployment.apps/stress-demo created

3. Pod が実行中であることを確認し、割り当てられているノードをメモします。

   kubectl get pod -o wide

   期待される出力：

   NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Running   0          82s   10.XX.XX.53   cn-beijing.10.XX.XX.53   <none>           <none>

4. cn-beijing.10.XX.XX.53 の負荷を増加させ、ノードの使用率を確認します。

   kubectl top node

   期待される出力：

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.10.XX.XX.215   17611m       17%    24358Mi         6%
   cn-beijing.10.XX.XX.53    63472m       63%    11969Mi         3%

   ノード cn-beijing.10.XX.XX.53 は CPU 使用率が 63% で、50% のホットスポットしきい値を超えています。ノード cn-beijing.10.XX.XX.215 は CPU 使用率が 17% で、20% のアイドルしきい値を下回っています。

5. ステップ 2：LowNodeLoad プラグインを有効にするの説明に従って、LowNodeLoad プラグインを有効にします。

6. Pod の変更を監視します。

   デフォルトでは、ノードは highThresholds を 5 回連続で (デフォルトの間隔 120 秒で約 10 分) 超えた場合にのみ、ホットスポットとして分類されます。

   kubectl get pod -w

   期待される出力：

   NAME                           READY   STATUS             RESTARTS   AGE   IP             NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Terminating        0          59s   10.XX.XX.53    cn-beijing.10.XX.XX.53   <none>           <none>
   stress-demo-588f9646cf-7****   1/1     ContainerCreating  0          10s   10.XX.XX.215   cn-beijing.10.XX.XX.215  <none>           <none>

7. 退去イベントを確認します。

   kubectl get event | grep stress-demo-588f9646cf-s****

   期待される出力：

   2m14s   Normal   Evicting        podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" がノード "cn-beijing.10.XX.XX.53" から退去中。理由: "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   101s    Normal   EvictComplete   podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" の退去完了。
   2m14s   Normal   Descheduled     pod/stress-demo-588f9646cf-s****   Pod がノード "cn-beijing.10.XX.XX.53" から退去。理由: "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   2m14s   Normal   Killing         pod/stress-demo-588f9646cf-s****   コンテナ stress を停止中。

   ホットスポットノード上の Pod が退去され、cn-beijing.10.XX.XX.215 に移行されました。

高度な設定

Koordinator Descheduler のすべてのパラメータは、ステップ 2 で作成した ConfigMap で設定します。

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # システム設定。このセクションは変更しないでください。
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s  # 実行間隔。detectorCacheTimeout を超えないように設定してください。
    dryRun: false               # true に設定すると、読み取り専用モード (Pod の退去なし) になります。
    # システム設定の終了。

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"  # すべてのプラグインはデフォルトで無効です (参考情報)。
        balance:
          enabled:
            - name: LowNodeLoad
        evict:
          disabled:
            - name: "*"  # すべてのプラグインはデフォルトで無効です (参考情報)。
          enabled:
            - name: MigrationController

      pluginConfig:
      - name: MigrationController
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1       # ノードごとに同時に移行できる Pod の最大数。0 は無制限を意味します。
          maxMigratingPerNamespace: 1  # 名前空間ごとに同時に移行できる Pod の最大数。
          maxMigratingPerWorkload: 1   # ワークロード (例：Deployment) ごとに同時に移行できる Pod の最大数。
          maxUnavailablePerWorkload: 2 # 移行中に利用不可にできる、ワークロードごとの最大レプリカ数。
          evictLocalStoragePods: false # HostPath または emptyDir ボリュームを使用する Pod を退去させるかどうかを指定します。
          objectLimiters:
            workload:               # 5 分あたり、ワークロードごとに最大 1 つのレプリカが移行されます。
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:
            cpu: 20
            memory: 30
          highThresholds:
            cpu: 50
            memory: 60

          anomalyCondition:
            consecutiveAbnormalities: 5  # ノードがホットスポットとして分類されるために highThresholds を
                                          # 超える必要がある、連続チェックの回数。
                                          # このカウンターは退去後にリセットされます。

          detectorCacheTimeout: "5m"  # ホットスポットチェック結果のキャッシュ期間。
                                      # deschedulingInterval 以上の値を設定する必要があります。

          evictableNamespaces:
            include:
              - default
            # exclude:
            #   - "kube-system"
            #   - "koordinator-system"

          nodeSelector:  # 指定されたラベルを持つノードのみを処理対象とします。
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors:  # 指定されたラベルを持つ Pod のみを処理対象とします。
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

FAQ

次のステップ

• 負荷感知Podスケジューリングを使用する

• ack-koordinator コンポーネントのインストールと管理