Container Service for Kubernetes:デスケジューリング機能の有効化

開始する前に

• 実装する前に、デスケジューリングの機能、使用シナリオ、ワークフロー、および基本概念について理解しておくことを推奨します。

• このトピックでは、RemovePodsViolatingNodeTaints という名前のノード Taint 検プラグインを例として使用します。NoSchedule など、Pod のスケジュールとエビクションに Taint と Toleration を使用する方法の詳細については、「Taints and Tolerations」をご参照ください。

• コミュニティの Kubernetes Descheduler を使用している場合は、「Koordinator Descheduler と Kubernetes Descheduler」をご参照いただき、Koordinator Descheduler と Kubernetes Descheduler の違いを理解し、コンポーネントの移行を完了することを推奨します。

• システム構成、テンプレート構成、ポリシーのプラグイン構成、エビクターのプラグイン構成など、詳細なデスケジューリングのための詳細設定については、「詳細パラメーターの設定」をご参照ください。

前提条件

• ACK マネージド Pro クラスターが作成されていること。詳細については、「ACK マネージドクラスターの作成」をご参照ください。

  デスケジューリング機能は仮想ノードでは使用できません。

• kubectl クライアントが ACK クラスターに接続されていること。詳細については、「クラスターの kubeconfig を取得し、kubectl を使用してクラスターに接続する」をご参照ください。

使用上の注意

• Koordinator Descheduler は実行中の Pod のみをエビクションし、エビクションされた Pod を再作成したりスケジュールしたりしません。Pod がエビクションされた後、Pod は Deployment や StatefulSet などのワークロードコントローラーによって再作成されます。再作成された Pod は、引き続きスケジューラによってスケジュールされます。

• デスケジューリングプロセス中、古い Pod がエビクションされ、新しい Pod が作成されます。エビクション中にアプリケーションの可用性を維持するために、アプリケーションに十分な replicas があることを確認してください。

例

このトピックでは、ack-koordinator コンポーネントに基づいてデスケジューリング機能を有効にし、デスケジューリングポリシーを実装する方法について説明します。ノード Taint 検証プラグイン RemovePodsViolatingNodeTaints を例として使用します。

デフォルトでは、RemovePodsViolatingNodeTaints ポリシーは、Taint の effect が NoSchedule であるノード上の Pod をチェックし、その Taint を許容できない Pod をエビクションします。たとえば、あるノードが実行中の Pod をホストしており、管理者がそのノードに deschedule=not-allow:NoSchedule Taint を追加したとします。ノード上の Pod がその Taint を許容する Toleration で構成されていない場合、Pod はデスケジューリングポリシーによってエビクションされます。詳細については、「RemovePodsViolatingNodeTaints」をご参照ください。

RemovePodsViolatingNodeTaints ポリシーでは、excludedTaints フィールドを設定してノードの Taint を無視できます。Taint の key またはキーと値のペア (key=value) が excludedTaints リスト内の Taint と一致する場合、その Taint は無視されます。

この例では、プラグインは次の方法で Taint を検証するように構成されています。

• ノード上で effect が NoSchedule に設定されている。

• NoSchedule Taint 属性において、Taint の key が deschedule ではなく、Taint の value が not-allow ではない。

上記の条件を満たすノード上で、実行中の Pod に一致する Toleration がない場合、Pod は descheduler によってエビクションされます。

ステップ 1: ack-koordinator コンポーネントをインストールまたは変更してデスケジューリングを有効にする

このセクションの手順に従って、ack-koordinator コンポーネントをインストールし、Koordinator Descheduler が提供する descheduling 機能を使用できます。Koordinator Descheduler は、ノード上にデプロイメントとしてデプロイされます。

1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. クラスター ページで、管理するクラスターを見つけてその名前をクリックします。左側のナビゲーションウィンドウで、[アドオン] をクリックします。

3. ack-koordinator コンポーネントを見つけ、右下隅にある [インストール] をクリックします。[インストール] ダイアログボックスで、[Enable Descheduler for ACK-Koordinator] を選択してデスケジューリングモジュールを有効にします。次に、プロンプトに従ってコンポーnent を構成してインストールします。

ステップ 2: デスケジューリングプラグイン RemovePodsViolatingNodeTaints を有効にする

1. 次の YAML コンテンツを使用して、koord-descheduler-config.yaml という名前のファイルを作成します。

   ConfigMap リソース koord-descheduler-config.yaml を作成して、デスケジューリングプラグイン RemovePodsViolatingNodeTaints を有効にして構成します。

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # koord-desheduler の次のシステム構成は変更しないでください。
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s # LowNodeLoad が実行される間隔。この例では、間隔は 120 秒に設定されています。
       dryRun: false # グローバル読み取り専用モード。このモードを有効にすると、koord-descheduler は操作を実行しません。
       # 上記の構成はシステム構成です。
   
       profiles:
       - name: koord-descheduler
         plugins:
           deschedule:
             enabled:
               - name: RemovePodsViolatingNodeTaints  # ノード Taint 検証プラグインを有効にします。        
   
         pluginConfig:             
         - name: RemovePodsViolatingNodeTaints # ノード Taint 検証プラグインの構成。
           args:        
             excludedTaints: 
             - deschedule=not-allow # Taint キーが deschedule で Taint 値が not-allow のノードを無視します。
         
         # ノード Taint 検証プラグインを有効にするには、次の構成が必要です。削除しないでください。     
         - name: MigrationController # 移行コントローラーのパラメーターを構成します。
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly            

2. 次のコマンドを実行して、クラスターに koord-descheduler-config.yaml ファイルをデプロイします。

   kubectl apply -f koord-descheduler-config.yaml

3. 次のコマンドを実行して、デスケジューラーモジュール Koordinator Descheduler を再起動します。

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   # 期待される出力
   # deployment.apps/ack-koord-descheduler scaled
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1
   # 期待される出力
   # deployment.apps/ack-koord-descheduler scaled

   ack-koord-descheduler Deployment のレプリカ数を 0 に設定してから 1 に設定します。この操作により、Koordinator Descheduler モジュールが再起動します。再起動後、最新の構成が使用されます。

ステップ 3: デスケジューリング機能の検証

3 つのノードを含むクラスターを例として使用します。

1. 次の YAML コンテンツを使用して、stress-demo.yaml という名前のファイルを作成します。

   stress-demo.yaml ファイルでサンプルアプリケーションが定義されています。

   YAML コンテンツの表示

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 3
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: registry-cn-beijing.ack.aliyuncs.com/acs/stress:v1.0.4
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. 次のコマンドを実行して stress-demo.yaml ファイルをデプロイし、テスト Pod を作成します。

   kubectl create -f stress-demo.yaml

3. 次のコマンドを実行して、Pod が実行中状態になるまで Pod のステータスを表示します。

   kubectl get pod -o wide

   期待される出力:

   NAME                         READY   STATUS    RESTARTS   AGE    IP              NODE                        NOMINATED NODE   READINESS GATES
   stress-demo-5f6cddf9-9****   1/1     Running   0          10s    192.XX.XX.27   cn-beijing.192.XX.XX.247   <none>           <none>
   stress-demo-5f6cddf9-h****   1/1     Running   0          10s    192.XX.XX.20   cn-beijing.192.XX.XX.249   <none>           <none>
   stress-demo-5f6cddf9-v****   1/1     Running   0          10s    192.XX.XX.32   cn-beijing.192.XX.XX.248   <none>           <none>

4. 次のコマンドを実行して、ノードに key=value:NoSchedule Taint を追加します。

   • cn-beijing.192.XX.XX.247 という名前のノードに deschedule=not-allow:NoSchedule Taint を追加します。

     kubectl taint nodes cn-beijing.192.XX.XX.247 deschedule=not-allow:NoSchedule

     期待される出力:

     node/cn-beijing.192.XX.XX.247 tainted

   • cn-beijing.192.XX.XX.248 という名前のノードに deschedule=allow:NoSchedule Taint を追加します。

     kubectl taint nodes cn-beijing.192.XX.XX.248 deschedule=allow:NoSchedule

     期待される出力:

     node/cn-beijing.192.XX.XX.248 tainted

5. 次のコマンドを実行して、Pod の変更を表示します。

   kubectl get pod -o wide -w

   descheduler モジュールがノードの Taint をチェックし、エビクション操作を実行するのを待ちます。

   期待される出力:

   NAME                         READY   STATUS              RESTARTS   AGE     IP             NODE                    NOMINATED NODE   READINESS GATES
   stress-demo-5f6cddf9-9****   1/1     Running             0          5m34s   192.XX.XX.27   cn-beijing.192.XX.XX.247   <none>           <none>
   stress-demo-5f6cddf9-h****   1/1     Running             0          5m34s   192.XX.XX.20   cn-beijing.192.XX.XX.249   <none>           <none>
   stress-demo-5f6cddf9-v****   1/1     Running             0          5m34s   192.XX.XX.32   cn-beijing.192.XX.XX.248   <none>           <none>
   stress-demo-5f6cddf9-v****   1/1     Terminating         0          7m58s   192.XX.XX.32   cn-beijing.192.XX.XX.248   <none>           <none>
   stress-demo-5f6cddf9-j****   0/1     ContainerCreating   0          0s      <none>         cn-beijing.192.XX.XX.249   <none>           <none>
   stress-demo-5f6cddf9-j****   1/1     Running             0          2s      192.XX.XX.32   cn-beijing.192.XX.XX.249   <none>           <none>

   出力は次の情報を示しています。

   • Taint deschedule=allow:NoSchedule を持つノード cn-beijing.192.XX.XX.248 上の Pod stress-demo-5f6cddf9-v**** がエビクションされます。

   • Taint deschedule=not-allow:NoSchedule を持つノード cn-beijing.192.XX.XX.247 上の Pod stress-demo-5f6cddf9-9**** はエビクションされません。

   • エビクションされた Pod stress-demo-5f6cddf9-v**** は、NoSchedule Taint を持たないノード cn-beijing.192.XX.XX.249 にデスケジュールされます。

6. 次のコマンドを実行して、エビクションされた Pod のイベントを表示します。

   kubectl get event | grep stress-demo-5f6cddf9-v****

   期待される出力:

   3m24s       Normal    Evicting            podmigrationjob/b0fba65f-7fab-4a99-96a9-c71a3798****   Pod "default/stress-demo-5f6cddf9-v****" evicted from node "cn-beijing.192.XX.XX.248" by the reason "RemovePodsViolatingNodeTaints"
   2m51s       Normal    EvictComplete       podmigrationjob/b0fba65f-7fab-4a99-96a9-c71a3798****   Pod "default/stress-demo-5f6cddf9-v****" has been evicted
   3m24s       Normal    Descheduled         pod/stress-demo-5f6cddf9-v****                         Pod evicted from node "cn-beijing.192.XX.XX.248" by the reason "RemovePodsViolatingNodeTaints"
   3m24s       Normal    Killing             pod/stress-demo-5f6cddf9-v****                         Stopping container stress

   期待される出力は、Pod の移行レコードを示しています。Pod は、ノード cn-beijing.192.XX.XX.248 の Taint deschedule=not-allow を許容する一致する Toleration で構成されていません。その結果、Pod は別のノードにデスケジュールされます。結果は期待どおりです。

詳細パラメーターの設定

前述の操作に加えて、ConfigMap を使用して Koordinator Descheduler の詳細パラメーターを構成することもできます。

詳細設定の例

次の YAML ファイルは、Koordinator Descheduler の詳細設定の例を示しています。この構成は、DeschedulerConfiguration API を呼び出すことによって Koordinator Descheduler の動作を変更し、RemovePodsViolatingNodeTaint ノード Taint 検証ポリシーを有効にし、MigrationController を Pod エビクターとして使用します。

サンプル構成のパラメーターの詳細については、次のセクションをご参照ください。

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # koord-desheduler の次のシステム構成は変更しないでください。
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    dryRun: false # グローバル読み取り専用モード。このモードを有効にすると、koord-descheduler は操作を実行しません。  
    deschedulingInterval: 120s # LowNodeLoad が実行される間隔。この例では、間隔は 120 秒に設定されています。
    nodeSelector: # デスケジューリングに関与するノード。デフォルトでは、すべてのノードがデスケジュールされます。
      matchLabels:
        alibabacloud.com/nodepool-id: nodepool-1 # 要件に基づいて構成します。
    maxNoOfPodsToEvictPerNode: 10 # ノードからエビクションできる Pod の最大数。この制限はグローバル規模で有効になります。デフォルトでは、制限は構成されていません。
    maxNoOfPodsToEvictPerNamespace: 10 # 名前空間からエビクションできる Pod の最大数。この制限はグローバル規模で有効になります。デフォルトでは、制限は構成されていません。
    # 上記の構成はシステム構成です。

    # テンプレートリスト。
    profiles: 
    - name: koord-descheduler # テンプレートの名前。
    
      # 次の構成はテンプレートの範囲を指定し、指定されたノードでのみ有効になります
      # 方法 1: 1 つのノードプール内のノードを選択します。
      nodeSelector:
        matchLabels:
          alibabacloud.com/nodepool-id: nodepool-1 # 要件に基づいて構成します
      # 方法 2: 複数のノードプール内のノードを選択します。
      # nodeSelector:
      #   matchExpressions:
      #   - key: alibabacloud.com/nodepool-id
      #     operator: In
      #     values:
      #     - nodepool-1
      #     - nodepool-2     
      # 上記の構成はテンプレートの範囲を指定します    
      
      # 次のテンプレート構成は、有効にするプラグインを指定します。
      plugins: 
        deschedule: # Deschedule ポリシーを指定します。デフォルトでは、すべてのプラグインが無効になっています。
          enabled: # 有効にするプラグインを指定します。enabled パラメーターで明示的に指定されていない他のすべてのプラグインは無効になります。
            - name: RemovePodsViolatingNodeTaints  # ノード Taint 検証プラグインを有効にします。
        balance: # Balance ポリシーを指定します。デフォルトでは、すべてのプラグインが無効になっています。
          disabled: # 無効にするプラグインを指定します。
            - name: "*" # アスタリスク (*) は、すべてのプラグインが無効になっていることを示します。
        evict:          
          enabled:
            - name: MigrationController # エビクターを指定します。デフォルトでは、移行コントローラーが有効になっています。
        filter: 
          enabled:
            - name: MigrationController # エビクションフィルタリングポリシーを指定します。デフォルトでは、移行コントローラーのエビクションフィルタリングポリシーが使用されます。
      # 上記の構成はテンプレート構成です。

      # ポリシーのプラグインとエビクターのプラグインを含むプラグインリスト。
      pluginConfig: 
      # RemovePodsViolatingNodeTaints ポリシープラグインの構成。
      - name: RemovePodsViolatingNodeTaints
        args:
          excludedTaints:
          - deschedule=not-allow # Taint キーが deschedule で Taint 値が not-allow のノードを無視します。
          - reserved # Taint キーが reserved のノードを無視します。
          includePreferNoSchedule: false # PreferNoSchedule 効果を持つ Taint を含めるかどうかを指定します。デフォルトでは、NoSchedule 効果を持つ Taint のみが含まれます。
          namespaces: # デスケジューリングに含めるか除外する名前空間を指定します。包含リストと除外リストは相互に排他的です。
            include the following: # デスケジューリングに含める名前空間を指定します。
              - "namespace1"
              - "namespace2"
            # exclude: # デスケジューリングから除外する名前空間を指定します。
            #   - "namespace1"
            #   - "namespace2"
          labelSelector: # デスケジュールできる Pod を指定します。デフォルトでは、すべての Pod をデスケジュールできます。
            accelerator: nvidia-tesla-p100 # キーが accelerator で値が nvidia-tesla-p100 の Pod のみデスケジュールできます。     
    
      # ノード Taint 検証プラグインの構成。     
      - name: MigrationController # 移行コントローラーのパラメーターを構成します。
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly  
          evictLocalStoragePods: false # emptyDir または hostPath で構成された Pod をデスケジュールできるかどうかを指定します。        
          maxMigratingPerNode: 1 # ノード上で同時に移行できる Pod の最大数。
          maxMigratingPerNamespace: 1  # 名前空間内で同時に移行できる Pod の最大数。
          maxMigratingPerWorkload: 1 # Deployment などのワークロード内で同時に移行できる Pod の最大数。
          maxUnavailablePerWorkload: 2 # Deployment などのワークロードで許可される利用不可能なレプリカ Pod の最大数。
          objectLimiters:
            workload: # ワークロード固有の Pod 移行制御。デフォルトでは、システムは最初の eviction から 5 分以内に 1 つのレプリカ Pod のみを移行できます。
              duration: 5m
              maxMigrating: 1
          evictionPolicy: Eviction # Pod のエビクションメソッド。デフォルトでは、Eviction API が呼び出されて Pod がエビクションされます。       

type MigrationObjectLimiter struct {
    Duration time.Duration `json:"duration,omitempty"`
    MaxMigrating *intstr.IntOrString `json:"maxMigrating,omitempty"`
}

objectLimiters:
  workload:
    duration: 5m
    maxMigrating: 1

リファレンス

• 一部のデスケジューリング機能は ACK スケジューラに依存します。詳細については、「負荷認識ホットスポットデスケジューリングの操作」をご参照ください。

• Cost Insight 機能を有効にすると、クラスターのリソース使用量とコスト配分を理解し、コスト削減の推奨事項を取得できます。詳細については、「Cost Insight」をご参照ください。

• 発生する可能性のある問題のトラブルシューティング方法については、「スケジューリングに関する FAQ」をご参照ください。

• ack-koordinator の概要とリリースノートの詳細については、「ack-koordinator (ack-slo-manager)」をご参照ください。

• ack-descheduler は廃止されました。 ack-descheduler から Koordinator Descheduler へ移行することをお勧めします。 詳細については、「ack-descheduler から Koordinator Descheduler に移行する」をご参照ください。