Container Service for Kubernetes:Use hotspot-aware descheduling to balance node loads

Sınırlamalar

• Yalnızca ACK yönetilen Pro kümeleri desteklenir.

• Gerekli bileşen sürümleri:

  Bileşen	Sürüm
  ACK Scheduler	v1.22.15-ack-4.0 veya üzeri, v1.24.6-ack-4.0 veya üzeri
  ack-koordinator	v1.1.1-ack.1 veya üzeri
  Helm	v3.0 veya üzeri

Faturalandırma

ack-koordinator'u kurmak ve kullanmak ücretsizdir. Aşağıdaki senaryolarda ek ücretler uygulanabilir:

• Çalışan düğüm kaynakları: ack-koordinator, çalışan düğüm kaynaklarını tüketen kendi kendine yönetilen bir bileşendir. Kurulum sırasında her modül için kaynak isteklerini yapılandırın.

• Prometheus özel ölçümleri: Enable Prometheus Monitoring for ACK-Koordinator seçeneğini etkinleştirir ve Managed Service for Prometheus kullanırsanız, sunulan ölçümler özel ölçümler olarak sayılır ve ücretlendirilir. Ücretler küme boyutuna ve uygulama sayısına bağlıdır. Bu özelliği etkinleştirmeden önce Prometheus örneklerinin faturalandırmasını inceleyin. Kaynak tüketiminizi izlemek için kullanım verilerini sorgulayın.

Nasıl çalışır

Ön koşullar

Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:

• Bir ACK yönetilen Pro kümesi

• ACK Scheduler v1.22.15-ack-4.0 veya üzeri, ack-koordinator v1.1.1-ack.1 veya üzeri ve Helm v3.0 veya üzeri

Adım 1: ack-koordinator'da yeniden planlamayı etkinleştirin

• Yeni kurulum: ack-koordinator'u yükleyin ve yapılandırma sayfasında Enable ACK-Koordinator Descheduling Module seçeneğini işaretleyin.

• Mevcut kurulum: Yapılandırma sayfasında Enable ACK-Koordinator Descheduling Module seçeneğini işaretleyin. Bkz. ack-koordinator'u değiştirme.

Adım 2: LowNodeLoad eklentisini etkinleştirin

1. LowNodeLoad eklentisini etkinleştirmek için bir koord-descheduler-config.yaml ConfigMap oluşturun.

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # System configuration for koord-descheduler. Do not modify this section.
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s  # Execution interval. The descheduler runs every 120s.
                                   # Must not exceed detectorCacheTimeout (default: 5m).
       dryRun: false               # Set to true to run in read-only mode (no evictions).
       # End of system configuration.
   
       profiles:
       - name: koord-descheduler
         plugins:
           balance:
             enabled:
               - name: LowNodeLoad      # Enable the LowNodeLoad plugin for hot spot descheduling.
           evict:
             enabled:
               - name: MigrationController  # Enable the eviction and migration controller.
   
         pluginConfig:
         - name: MigrationController
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly
   
         - name: LowNodeLoad
           args:
             apiVersion: descheduler/v1alpha2
             kind: LowNodeLoadArgs
   
             # A node is idle if usage of ALL resources is below lowThresholds.
             lowThresholds:
               cpu: 20    # 20% CPU utilization
               memory: 30 # 30% memory utilization
   
             # A node is a hot spot if usage of ANY resource exceeds highThresholds.
             highThresholds:
               cpu: 50    # 50% CPU utilization
               memory: 60 # 60% memory utilization
   
             # Scopes descheduling to specific namespaces.
             # include and exclude are mutually exclusive—configure only one.
             evictableNamespaces:
               include:
                 - default
               # exclude:
               #   - "kube-system"
               #   - "koordinator-system"

2. ConfigMap'i kümeye uygulayın.

   kubectl apply -f koord-descheduler-config.yaml

3. Yeni yapılandırmayı yüklemek için Koordinator Descheduler'ı yeniden başlatın.

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1

Adım 3 (isteğe bağlı): Yük farkındalıklı zamanlamayı etkinleştirin

Optimal yük dengeleme için, ACK Scheduler'ın tahliye sonrası Pod'ları hot spot düğümlere yerleştirmemesini sağlamak amacıyla yük farkındalıklı zamanlamayı etkinleştirin.

loadAwareThreshold değerini highThresholds ile eşleşecek şekilde ayarlayın. Uyuşmazlık durumunda, özellikle benzer kullanıma sahip az sayıda düğüm varsa, tahliye edilen Pod'lar hot spot düğümlere yeniden planlanabilir.

Adım 4: Yeniden planlamayı doğrulayın

Bu örnekte, her düğümün 104 çekirdek ve 396 GiB belleğe sahip olduğu üç düğümlü bir küme kullanılmaktadır.

1. Aşağıdaki içeriğe sahip bir stress-demo.yaml dosyası oluşturun.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: polinux/stress
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. Stres testi iş yükünü dağıtın.

   kubectl create -f stress-demo.yaml

   Beklenen çıktı:

   deployment.apps/stress-demo created

3. Pod'ların çalıştığını doğrulayın ve atanmış düğümlerini not edin.

   kubectl get pod -o wide

   Beklenen çıktı:

   NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Running   0          82s   10.XX.XX.53   cn-beijing.10.XX.XX.53   <none>           <none>

4. cn-beijing.10.XX.XX.53 üzerindeki yükü artırın ve düğüm kullanımını kontrol edin.

   kubectl top node

   Beklenen çıktı:

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.10.XX.XX.215   17611m       17%    24358Mi         6%
   cn-beijing.10.XX.XX.53    63472m       63%    11969Mi         3%

   cn-beijing.10.XX.XX.53 düğümü, %50'lik hot spot eşiğini aşan %63 CPU kullanımına sahiptir. cn-beijing.10.XX.XX.215 düğümü ise %20'lik boşta kalma eşiğinin altında olan %17 CPU kullanımına sahiptir.

5. Adım 2: LowNodeLoad eklentisini etkinleştirin bölümünde açıklandığı gibi LowNodeLoad eklentisini etkinleştirin.

6. Pod değişikliklerini izleyin.

   Varsayılan olarak, bir düğümün hot spot olarak sınıflandırılması için beş ardışık kontrolde (~120 saniyelik varsayılan aralıkla ~10 dakika) highThresholds değerini aşması gerekir.

   kubectl get pod -w

   Beklenen çıktı:

   NAME                           READY   STATUS             RESTARTS   AGE   IP             NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Terminating        0          59s   10.XX.XX.53    cn-beijing.10.XX.XX.53   <none>           <none>
   stress-demo-588f9646cf-7****   1/1     ContainerCreating  0          10s   10.XX.XX.215   cn-beijing.10.XX.XX.215  <none>           <none>

7. Tahliye olayını kontrol edin.

   kubectl get event | grep stress-demo-588f9646cf-s****

   Beklenen çıktı:

   2m14s   Normal   Evicting        podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   101s    Normal   EvictComplete   podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" has been evicted
   2m14s   Normal   Descheduled     pod/stress-demo-588f9646cf-s****   Pod evicted from node "cn-beijing.10.XX.XX.53" by the reason "node is overutilized, cpu usage(68.53%)>threshold(50.00%)"
   2m14s   Normal   Killing         pod/stress-demo-588f9646cf-s****   Stopping container stress

   Hot spot düğümdeki Pod tahliye edilmiş ve cn-beijing.10.XX.XX.215 düğümüne taşınmıştır.

Gelişmiş yapılandırma

Tüm Koordinator Descheduler parametreleri, Adım 2'deki ConfigMap içinde yapılandırılır.

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # System configuration. Do not modify this section.
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s  # Execution interval. Must not exceed detectorCacheTimeout.
    dryRun: false               # Set to true for read-only mode (no evictions).
    # End of system configuration.

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"  # All plugins disabled by default (shown for reference only).
        balance:
          enabled:
            - name: LowNodeLoad
        evict:
          disabled:
            - name: "*"  # All plugins disabled by default (shown for reference only).
          enabled:
            - name: MigrationController

      pluginConfig:
      - name: MigrationController
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1       # Max Pods migrating simultaneously per node. 0 = unlimited.
          maxMigratingPerNamespace: 1  # Max Pods migrating simultaneously per namespace.
          maxMigratingPerWorkload: 1   # Max Pods migrating simultaneously per workload (e.g., Deployment).
          maxUnavailablePerWorkload: 2 # Max unavailable replicas per workload during migration.
          evictLocalStoragePods: false # Whether to evict Pods using HostPath or emptyDir volumes.
          objectLimiters:
            workload:               # At most 1 replica migrated per workload within 5 minutes.
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:
            cpu: 20
            memory: 30
          highThresholds:
            cpu: 50
            memory: 60

          anomalyCondition:
            consecutiveAbnormalities: 5  # Number of consecutive checks above highThresholds
                                          # before a node is classified as a hot spot.
                                          # Counter resets after eviction.

          detectorCacheTimeout: "5m"  # Cache duration for hot spot checks.
                                      # Must be >= deschedulingInterval.

          evictableNamespaces:
            include:
              - default
            # exclude:
            #   - "kube-system"
            #   - "koordinator-system"

          nodeSelector:  # Process only the specified nodes.
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors:  # Process only the specified Pods.
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

SSS

Sonraki adımlar

• Yük farkındalıklı Pod zamanlamayı kullanma

• ack-koordinator bileşenini yükleme ve yönetme