Container Service for Kubernetes:Use hotspot-aware descheduling to balance node loads

Limitações

• Há suporte apenas para os ACK managed Pro clusters.

• Versões necessárias dos componentes:

  Componente	Versão
  ACK Scheduler	v1.22.15-ack-4.0 ou posterior, v1.24.6-ack-4.0 ou posterior
  ack-koordinator	v1.1.1-ack.1 ou posterior
  Helm	v3.0 ou posterior

Faturamento

O ack-koordinator é gratuito para instalação e uso. Contudo, podem ser aplicadas cobranças adicionais nos seguintes cenários:

• Recursos de nós workers: o ack-koordinator é um componente autogerenciado que consome recursos dos nós workers. Durante a instalação, configure as solicitações de recursos para cada módulo.

• Métricas personalizadas do Prometheus: se você ativar Enable Prometheus Monitoring for ACK-Koordinator e usar o Managed service for Prometheus, o sistema contabiliza as métricas expostas como métricas personalizadas e gera cobrança. As taxas dependem do tamanho do cluster e da quantidade de aplicações. Revise o faturamento de instâncias do Prometheus antes de ativar este recurso. Consulte os dados de uso para monitorar o consumo de recursos.

Como funciona

Pré-requisitos

Antes de começar, certifique-se de que você tem:

• Um ACK managed Pro cluster

• ACK Scheduler v1.22.15-ack-4.0 ou posterior, ack-koordinator v1.1.1-ack.1 ou posterior e Helm v3.0 ou posterior

Etapa 1: Ativar o desagendamento no ack-koordinator

• Nova instalação: instale o ack-koordinator e selecione Enable ACK-Koordinator Descheduling Module na página de configuração.

• Instalação existente: na página de configuração, selecione Enable ACK-Koordinator Descheduling Module. Consulte modifique o ack-koordinator.

Etapa 2: Ativar o plugin LowNodeLoad

1. Para começar, crie um ConfigMap koord-descheduler-config.yaml para ativar o plugin LowNodeLoad.

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # System configuration for koord-descheduler. Do not modify this section.
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s  # Execution interval. The descheduler runs every 120s.
                                   # Must not exceed detectorCacheTimeout (default: 5m).
       dryRun: false               # Set to true to run in read-only mode (no evictions).
       # End of system configuration.
   
       profiles:
       - name: koord-descheduler
         plugins:
           balance:
             enabled:
               - name: LowNodeLoad      # Enable the LowNodeLoad plugin for hot spot descheduling.
           evict:
             enabled:
               - name: MigrationController  # Enable the eviction and migration controller.
   
         pluginConfig:
         - name: MigrationController
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly
   
         - name: LowNodeLoad
           args:
             apiVersion: descheduler/v1alpha2
             kind: LowNodeLoadArgs
   
             # A node is idle if usage of ALL resources is below lowThresholds.
             lowThresholds:
               cpu: 20    # 20% CPU utilization
               memory: 30 # 30% memory utilization
   
             # A node is a hot spot if usage of ANY resource exceeds highThresholds.
             highThresholds:
               cpu: 50    # 50% CPU utilization
               memory: 60 # 60% memory utilization
   
             # Scopes descheduling to specific namespaces.
             # include and exclude are mutually exclusive—configure only one.
             evictableNamespaces:
               include:
                 - default
               # exclude:
               #   - "kube-system"
               #   - "koordinator-system"

2. Aplique o ConfigMap no cluster.

   kubectl apply -f koord-descheduler-config.yaml

3. Reinicie o Koordinator Descheduler para carregar a nova configuração.

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1

Etapa 3 (opcional): Ativar o agendamento com base na carga

Para um balanceamento de carga ideal, ative o agendamento com base na carga para que o ACK Scheduler evite colocar Pods em nós com hotspots após a evicção.

Para isso, defina loadAwareThreshold para corresponder a highThresholds. Valores incompatíveis podem fazer com que os Pods evictados sejam reagendados em nós com hotspots, especialmente quando há poucos nós com utilização semelhante.

Etapa 4: Verificar o desagendamento

Este exemplo utiliza um cluster de três nós, em que cada nó possui 104 núcleos e 396 GiB de memória.

1. Primeiro, crie um arquivo stress-demo.yaml com o seguinte conteúdo.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: polinux/stress
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. Implante o workload de teste de estresse.

   kubectl create -f stress-demo.yaml

   Saída esperada:

   deployment.apps/stress-demo created

3. Em seguida, verifique se os Pods estão em execução e anote o nó atribuído a eles.

   kubectl get pod -o wide

   Saída esperada:

   NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Running   0          82s   10.XX.XX.53   cn-beijing.10.XX.XX.53   <none>           <none>

4. Aumente a carga em cn-beijing.10.XX.XX.53 e verifique a utilização do nó.

   kubectl top node

   Saída esperada:

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.10.XX.XX.215   17611m       17%    24358Mi         6%
   cn-beijing.10.XX.XX.53    63472m       63%    11969Mi         3%

   O nó cn-beijing.10.XX.XX.53 está com 63% de CPU, excedendo o limiar de hotspot de 50%. O nó cn-beijing.10.XX.XX.215 está com 17% de CPU, abaixo do limiar de ociosidade de 20%.

5. Em seguida, ative o plugin LowNodeLoad conforme descrito na Etapa 2: Ativar o plugin LowNodeLoad.

6. Monitore as alterações nos Pods.

   Por padrão, um nó deve exceder highThresholds por cinco verificações consecutivas (cerca de 10 minutos no intervalo padrão de 120 segundos) para ser classificado como um hotspot.

   kubectl get pod -w

   Saída esperada:

   NAME                           READY   STATUS             RESTARTS   AGE   IP             NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Terminating        0          59s   10.XX.XX.53    cn-beijing.10.XX.XX.53   <none>           <none>
   stress-demo-588f9646cf-7****   1/1     ContainerCreating  0          10s   10.XX.XX.215   cn-beijing.10.XX.XX.215  <none>           <none>

7. Por fim, verifique o evento de evicção.

   kubectl get event | grep stress-demo-588f9646cf-s****

   Saída esperada:

   2m14s   Normal   Evicting        podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   101s    Normal   EvictComplete   podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" has been evicted
   2m14s   Normal   Descheduled     pod/stress-demo-588f9646cf-s****   Pod evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   2m14s   Normal   Killing         pod/stress-demo-588f9646cf-s****   Stopping container stress

   O descheduler evictou o Pod no nó com hotspot e o migrou para cn-beijing.10.XX.XX.215.

Configuração avançada

Todos os parâmetros do Koordinator Descheduler são configurados no ConfigMap da Etapa 2.

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # System configuration. Do not modify this section.
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s  # Execution interval. Must not exceed detectorCacheTimeout.
    dryRun: false               # Set to true for read-only mode (no evictions).
    # End of system configuration.

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"  # All plugins disabled by default (shown for reference only).
        balance:
          enabled:
            - name: LowNodeLoad
        evict:
          disabled:
            - name: "*"  # All plugins disabled by default (shown for reference only).
          enabled:
            - name: MigrationController

      pluginConfig:
      - name: MigrationController
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1       # Max Pods migrating simultaneously per node. 0 = unlimited.
          maxMigratingPerNamespace: 1  # Max Pods migrating simultaneously per namespace.
          maxMigratingPerWorkload: 1   # Max Pods migrating simultaneously per workload (e.g., Deployment).
          maxUnavailablePerWorkload: 2 # Max unavailable replicas per workload during migration.
          evictLocalStoragePods: false # Whether to evict Pods using HostPath or emptyDir volumes.
          objectLimiters:
            workload:               # At most 1 replica migrated per workload within 5 minutes.
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:
            cpu: 20
            memory: 30
          highThresholds:
            cpu: 50
            memory: 60

          anomalyCondition:
            consecutiveAbnormalities: 5  # Number of consecutive checks above highThresholds
                                          # before a node is classified as a hot spot.
                                          # Counter resets after eviction.

          detectorCacheTimeout: "5m"  # Cache duration for hot spot checks.
                                      # Must be >= deschedulingInterval.

          evictableNamespaces:
            include:
              - default
            # exclude:
            #   - "kube-system"
            #   - "koordinator-system"

          nodeSelector:  # Process only the specified nodes.
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors:  # Process only the specified Pods.
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

Perguntas frequentes

Próximas etapas

• Use o agendamento de Pods com base na carga

• instale e gerencie o componente ack-koordinator