Container Service for Kubernetes:Use hotspot-aware descheduling to balance node loads

Ciclo de ejecución

El Koordinator Descheduler se ejecuta de forma periódica. Cada ciclo de ejecución consta de tres etapas:

1. Recolección de datos: obtiene la información de nodos y cargas de trabajo, así como los datos de uso de recursos.

2. Ejecución de plugins (ejemplo con LowNodeLoad):

   1. Identifica los nodos con puntos críticos según highThresholds y lowThresholds.

   2. Recorre todos los nodos con puntos críticos, asigna una puntuación a los Pods elegibles y los ordena para su expulsión. Consulte Pod scoring policy.

   3. Valida cada Pod candidato frente a las restricciones de migración: capacidad del clúster, uso de recursos y límites de proporción de réplicas. Consulte Load-aware hot spot descheduling policies.

   4. Marca como candidatos a migración los Pods que cumplen los requisitos y omite el resto.

3. Expulsión y migración de Pods: expulsa los candidatos a migración mediante la API de expulsión.

Clasificación de nodos

El plugin LowNodeLoad clasifica los nodos en tres categorías a partir de dos umbrales: lowThresholds (umbral de inactividad) y highThresholds (umbral de punto crítico).

A continuación se muestra un ejemplo con lowThresholds = 45 % y highThresholds = 70 %:

1. Nodo inactivo: el uso de recursos está por debajo de lowThresholds (< 45 %).

2. Nodo normal: el uso de recursos se encuentra entre lowThresholds y highThresholds (45 %–70 %). Este es el rango objetivo.

3. Nodo con punto crítico: el uso de recursos supera highThresholds (> 70 %). Los Pods se expulsan hasta que la carga del nodo disminuya al 70 % o menos.

Los datos de uso de recursos se actualizan cada minuto y reflejan el promedio de los últimos cinco minutos.

Si todos los nodos superan lowThresholds , se considera que la carga del clúster es alta y el desprogramado se suspende, incluso si algunos nodos superan highThresholds .

Directivas de desprogramado de puntos críticos con detección de carga

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # System configuration. Do not modify this section.
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s  # Execution interval. Must not exceed detectorCacheTimeout.
    dryRun: false               # Set to true for read-only mode (no evictions).
    # End of system configuration.

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"  # All plugins disabled by default (shown for reference only).
        balance:
          enabled:
            - name: LowNodeLoad
        evict:
          disabled:
            - name: "*"  # All plugins disabled by default (shown for reference only).
          enabled:
            - name: MigrationController

      pluginConfig:
      - name: MigrationController
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1       # Max Pods migrating simultaneously per node. 0 = unlimited.
          maxMigratingPerNamespace: 1  # Max Pods migrating simultaneously per namespace.
          maxMigratingPerWorkload: 1   # Max Pods migrating simultaneously per workload (e.g., Deployment).
          maxUnavailablePerWorkload: 2 # Max unavailable replicas per workload during migration.
          evictLocalStoragePods: false # Whether to evict Pods using HostPath or emptyDir volumes.
          objectLimiters:
            workload:               # At most 1 replica migrated per workload within 5 minutes.
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:
            cpu: 20
            memory: 30
          highThresholds:
            cpu: 50
            memory: 60

          anomalyCondition:
            consecutiveAbnormalities: 5  # Number of consecutive checks above highThresholds
                                          # before a node is classified as a hot spot.
                                          # Counter resets after eviction.

          detectorCacheTimeout: "5m"  # Cache duration for hot spot checks.
                                      # Must be >= deschedulingInterval.

          evictableNamespaces:
            include:
              - default
            # exclude:
            #   - "kube-system"
            #   - "koordinator-system"

          nodeSelector:  # Process only the specified nodes.
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors:  # Process only the specified Pods.
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

Configuración del sistema de Koordinator Descheduler

Configuración de control de expulsión y migración

Configuración del plugin LowNodeLoad

El uso del nodo supera el umbral, pero los Pods no se expulsan

La causa más común es que la configuración del desprogramador no esté activa. Revise los siguientes puntos en orden:

1. Alcance no configurado: el desprogramador solo procesa los namespaces y nodos incluidos explícitamente (o no excluidos). Compruebe evictableNamespaces y nodeSelector.

2. No se reinició el desprogramador tras cambiar la configuración: los cambios de configuración requieren un reinicio. Consulte Step 2 para ver las instrucciones.

3. Intervalo mayor que el tiempo de espera de la caché: deschedulingInterval (predeterminado: 2 min) no debe superar detectorCacheTimeout (predeterminado: 5 min); de lo contrario, la detección de puntos críticos falla. Ajuste los valores y reinicie.

4. El nodo no supera el umbral de manera constante: el desprogramador utiliza un promedio suavizado. Un nodo se clasifica como punto crítico solo después de superar highThresholds durante consecutiveAbnormalities ciclos consecutivos (valor predeterminado: 5, unos 10 minutos). kubectl top node refleja únicamente el último minuto; supervise durante un periodo más largo para confirmar que el uso se mantiene elevado.

5. Capacidad insuficiente del clúster: antes de expulsar un Pod, el desprogramador comprueba que otro nodo tenga capacidad libre suficiente. Si ninguno la tiene, se omite la expulsión. Agregue nodos para aumentar la capacidad.

6. Carga de trabajo con una sola réplica: de forma predeterminada, los Pods de una sola réplica no se expulsan. Para modificarlo, agregue la anotación descheduler.alpha.kubernetes.io/evict: "true" al Pod o a spec.template.metadata de la carga de trabajo. Esta opción no es compatible con ack-koordinator v1.3.0-ack1.6 a v1.3.0-ack1.8. Siga el procedimiento de Upgrade to the latest version para utilizarla.

7. El Pod usa HostPath o emptyDir: estos Pods se excluyen del desprogramado de forma predeterminada. Establezca evictLocalStoragePods: true en MigrationController para habilitar su expulsión. Consulte Eviction and migration control configuration.

8. Demasiadas réplicas no disponibles o en migración: si las réplicas no disponibles o en migración alcanzan maxUnavailablePerWorkload o maxMigratingPerWorkload, se bloquean las expulsiones adicionales. Espere a que finalicen las expulsiones en curso o aumente estos límites.

9. Cantidad de réplicas ≤ límite de migración: si el total de réplicas es ≤ maxMigratingPerWorkload o maxUnavailablePerWorkload, se omite la carga de trabajo. Reduzca estos valores o utilice porcentajes.

El desprogramador se reinicia con frecuencia

Un ConfigMap no válido o ausente provoca bucles de reinicio. Compruebe el formato del ConfigMap con base en Advanced configuration y luego reinícielo tal como se indica en Step 2.

Cómo funcionan en conjunto la programación con detección de carga y el desprogramado de puntos críticos

Habilite ambas funciones para obtener un equilibrio de carga óptimo. El desprogramado expulsa los Pods de los nodos sobrecargados, mientras que la programación con detección de carga ubica los Pods reprogramados en nodos con menor uso de recursos.

Establezca loadAwareThreshold con el mismo valor que highThresholds. Consulte Use load-aware scheduling y Scheduling policies.

¿Qué datos de uso emplea el desprogramador?

El desprogramador calcula un promedio suavizado a lo largo de varios ciclos. La expulsión se activa solo cuando el uso promedio se mantiene por encima de highThresholds durante los ciclos consecutivos configurados (valor predeterminado: unos 10 minutos).

El desprogramador excluye la caché de páginas de los cálculos de memoria, ya que el sistema operativo puede recuperarla. kubectl top node sí incluye la caché de páginas; utilice Managed Service for Prometheus para consultar la métrica real.