Container Service for Kubernetes:ホットスポット感知デスケジューリングを使用したノードの負荷分散

制限事項

• ACK Pro 版マネージドクラスターのみをサポートします。

• 必要なコンポーネントのバージョン：

  コンポーネント	バージョン
  ACK Scheduler	v1.22.15-ack-4.0 以降、v1.24.6-ack-4.0 以降
  ack-koordinator	v1.1.1-ack.1 以降
  Helm	v3.0 以降

課金

ack-koordinator のインストールと使用は無料です。以下のシナリオでは追加料金が発生する場合があります：

• ワーカーノードのリソース：ack-koordinator は自己管理コンポーネントであり、ワーカーノードのリソースを消費します。インストール時に各モジュールのリソースリクエストを設定してください。

• Prometheus のカスタムメトリクス：[Enable Prometheus Monitoring for ACK-Koordinator] を有効にし、Managed Service for Prometheus を使用する場合、公開されるメトリクスはカスタムメトリクスとしてカウントされ、料金が発生します。料金はクラスターのサイズとアプリケーションの数によって異なります。この機能を有効にする前に、Prometheus インスタンスの課金を確認してください。使用量データのクエリを実行して、リソース消費を監視してください。

仕組み

前提条件

開始する前に、以下の要件を満たしていることを確認してください：

• ACK Pro 版マネージドクラスター

• ACK Scheduler v1.22.15-ack-4.0 以降、ack-koordinator v1.1.1-ack.1 以降、および Helm v3.0 以降

ステップ 1：ack-koordinator でデスケジューリングを有効化

• 新規インストール：ack-koordinator をインストールし、設定ページで [Enable ACK-Koordinator Descheduling Module] を選択します。

• 既存のインストール：設定ページで [Enable ACK-Koordinator Descheduling Module] を選択します。詳細については、「ack-koordinator の変更」をご参照ください。

ステップ 2：LowNodeLoad プラグインの有効化

1. LowNodeLoad プラグインを有効にするために、koord-descheduler-config.yaml ConfigMap を作成します。

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # koord-descheduler のシステム設定。このセクションは変更しないでください。
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s  # 実行間隔。Descheduler は 120 秒ごとに実行されます。
                                   # detectorCacheTimeout (デフォルト：5m) を超えてはなりません。
       dryRun: false               # true に設定すると、読み取り専用モードで実行されます (退避は行われません)。
       # システム設定の終わり。
   
       profiles:
       - name: koord-descheduler
         plugins:
           balance:
             enabled:
               - name: LowNodeLoad      # ホットスポットデスケジューリングのために LowNodeLoad プラグインを有効化します。
           evict:
             enabled:
               - name: MigrationController  # 退避および移行コントローラーを有効化します。
   
         pluginConfig:
         - name: MigrationController
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly
   
         - name: LowNodeLoad
           args:
             apiVersion: descheduler/v1alpha2
             kind: LowNodeLoadArgs
   
             # すべてのリソースの使用率が lowThresholds を下回る場合、ノードはアイドル状態と見なされます。
             lowThresholds:
               cpu: 20    # CPU 使用率 20%
               memory: 30 # メモリ使用率 30%
   
             # いずれかのリソースの使用率が highThresholds を超える場合、ノードはホットスポットと見なされます。
             highThresholds:
               cpu: 50    # CPU 使用率 50%
               memory: 60 # メモリ使用率 60%
   
             # デスケジューリングの対象を特定の名前空間に限定します。
             # include と exclude は相互に排他的です — どちらか一方のみを設定してください。
             evictableNamespaces:
               include:
                 - default
               # exclude:
               #   - "kube-system"
               #   - "koordinator-system"

2. ConfigMap をクラスターに適用します。

   kubectl apply -f koord-descheduler-config.yaml

3. 新しい設定を読み込むために、ack-koordinator Descheduler を再起動します。

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1

ステップ 3 (オプション)：負荷感知スケジューリングの有効化

最適な負荷分散のために、負荷感知スケジューリングを有効化し、ACK Scheduler が退避後に Pod をホットスポットノードに配置しないようにします。

loadAwareThreshold を highThresholds と一致するように設定してください。値が一致しない場合、特に類似の使用率を持つノードが少ない状況では、退避された Pod がホットスポットノードに再スケジュールされる可能性があります。

ステップ 4：デスケジューリングの確認

この例では、各ノードが 104 コアと 396 GiB のメモリを持つ 3 ノードクラスターを使用します。

1. 以下の内容で stress-demo.yaml ファイルを作成します。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: polinux/stress
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. 負荷テスト用のワークロードをデプロイします。

   kubectl create -f stress-demo.yaml

   想定される出力：

   deployment.apps/stress-demo created

3. Pod が実行中であることを確認し、割り当てられたノードをメモします。

   kubectl get pod -o wide

   想定される出力：

   NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Running   0          82s   10.XX.XX.53   cn-beijing.10.XX.XX.53   <none>           <none>

4. cn-beijing.10.XX.XX.53 の負荷を増やし、ノードの使用率を確認します。

   kubectl top node

   想定される出力：

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.10.XX.XX.215   17611m       17%    24358Mi         6%
   cn-beijing.10.XX.XX.53    63472m       63%    11969Mi         3%

   ノード cn-beijing.10.XX.XX.53 の CPU 使用率は 63% で、50% のホットスポットのしきい値を超えています。ノード cn-beijing.10.XX.XX.215 の CPU 使用率は 17% で、20% のアイドルのしきい値を下回っています。

5. 「ステップ 2：LowNodeLoad プラグインの有効化」の説明に従い、LowNodeLoad プラグインを有効化します。

6. Pod の変更を監視します。

   デフォルトでは、ノードがホットスポットとして分類されるには、highThresholds を 5 回連続で超える必要があります (デフォルトの 120 秒間隔で約 10 分)。

   kubectl get pod -w

   想定される出力：

   NAME                           READY   STATUS             RESTARTS   AGE   IP             NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Terminating        0          59s   10.XX.XX.53    cn-beijing.10.XX.XX.53   <none>           <none>
   stress-demo-588f9646cf-7****   1/1     ContainerCreating  0          10s   10.XX.XX.215   cn-beijing.10.XX.XX.215  <none>           <none>

7. 退避イベントを確認します。

   kubectl get event | grep stress-demo-588f9646cf-s****

   想定される出力：

   2m14s   Normal   Evicting        podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   101s    Normal   EvictComplete   podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" has been evicted
   2m14s   Normal   Descheduled     pod/stress-demo-588f9646cf-s****   Pod evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   2m14s   Normal   Killing         pod/stress-demo-588f9646cf-s****   Stopping container stress

   ホットスポットノード上の Pod は退避され、cn-beijing.10.XX.XX.215 に移行されました。

高度な設定

すべての ack-koordinator Descheduler パラメーターは、「ステップ 2」の ConfigMap で設定します。

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # システム設定。このセクションは変更しないでください。
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s  # 実行間隔。detectorCacheTimeout を超えてはなりません。
    dryRun: false               # true に設定すると、読み取り専用モードになります (退避は行われません)。
    # システム設定の終わり。

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"  # すべてのプラグインはデフォルトで無効です (参考のために表示)。
        balance:
          enabled:
            - name: LowNodeLoad
        evict:
          disabled:
            - name: "*"  # すべてのプラグインはデフォルトで無効です (参考のために表示)。
          enabled:
            - name: MigrationController

      pluginConfig:
      - name: MigrationController
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1       # ノードごとに同時に移行するPodの最大数。0 = 無制限。
          maxMigratingPerNamespace: 1  # 名前空間ごとに同時に移行するPodの最大数。
          maxMigratingPerWorkload: 1   # ワークロード (例：Deployment) ごとに同時に移行するPodの最大数。
          maxUnavailablePerWorkload: 2 # 移行中にワークロードごとに利用不可にできるレプリカの最大数。
          evictLocalStoragePods: false # HostPath または emptyDir ボリュームを使用する Pod を退避させるかどうか。
          objectLimiters:
            workload:               # 5 分以内にワークロードごとに最大 1 つのレプリカが移行されます。
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:
            cpu: 20
            memory: 30
          highThresholds:
            cpu: 50
            memory: 60

          anomalyCondition:
            consecutiveAbnormalities: 5  # ノードがホットスポットとして分類される前に
                                          # highThresholds を超える連続チェックの回数。
                                          # 退避後にカウンターはリセットされます。

          detectorCacheTimeout: "5m"  # ホットスポットチェックのキャッシュ期間。
                                      # deschedulingInterval 以上でなければなりません。

          evictableNamespaces:
            include:
              - default
            # exclude:
            #   - "kube-system"
            #   - "koordinator-system"

          nodeSelector:  # 指定したノードのみを処理します。
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors:  # 指定した Pod のみを処理します。
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

よくある質問

次のステップ

• 負荷感知 Pod スケジューリングの使用

• ack-koordinator コンポーネントのインストールと管理