Container Service for Kubernetes:Gunakan descheduling yang peka terhadap hotspot untuk menyeimbangkan beban node

Batasan

• Hanya kluster ACK managed Pro yang didukung.

• Diperlukan versi komponen berikut:

  Komponen	Versi
  ACK Scheduler	v1.22.15-ack-4.0 atau yang lebih baru, v1.24.6-ack-4.0 atau yang lebih baru
  ack-koordinator	v1.1.1-ack.1 atau yang lebih baru
  Helm	v3.0 atau yang lebih baru

Penagihan

ack-koordinator gratis untuk diinstal dan digunakan. Biaya tambahan mungkin berlaku dalam skenario berikut:

• Sumber daya node pekerja: ack-koordinator adalah komponen yang dikelola sendiri dan mengonsumsi sumber daya node pekerja setelah instalasi. Konfigurasikan permintaan sumber daya untuk setiap modul saat menginstal komponen tersebut.

• Metrik kustom Prometheus: Jika Anda mengaktifkan Enable Prometheus Monitoring for ACK-Koordinator dan menggunakan layanan Alibaba Cloud Prometheus, metrik yang diekspos dihitung sebagai metrik kustom dan dikenai biaya. Biaya tergantung pada ukuran kluster dan jumlah aplikasi. Tinjau dokumentasi penagihan instans Prometheus sebelum mengaktifkan fitur ini. Kueri data penggunaan untuk memantau dan mengelola konsumsi sumber daya Anda.

Cara kerja

Siklus eksekusi

Koordinator Descheduler berjalan secara berkala. Setiap siklus eksekusi terdiri dari tiga tahap:

1. Pengumpulan data: Mengambil informasi node dan workload beserta data utilisasi sumber dayanya.

2. Eksekusi plugin (menggunakan LowNodeLoad sebagai contoh):

   1. Mengidentifikasi node hotspot berdasarkan highThresholds dan lowThresholds.

   2. Menelusuri semua node hotspot, memberi skor pada Pod yang memenuhi syarat, dan mengurutkannya untuk eviction. Lihat Kebijakan pemberian skor Pod.

   3. Memeriksa setiap Pod kandidat terhadap batasan migrasi—kapasitas kluster, utilisasi sumber daya, dan batas rasio replika. Lihat Kebijakan descheduling hotspot yang peka terhadap beban.

   4. Menandai Pod yang lolos semua pemeriksaan sebagai kandidat migrasi dan melewatkan yang tidak lolos.

3. Eviction dan migrasi Pod: Mengusir kandidat migrasi menggunakan API eviction.

Klasifikasi node

Plugin LowNodeLoad mengklasifikasikan node ke dalam tiga kategori berdasarkan dua ambang batas: lowThresholds (ambang batas idle) dan highThresholds (ambang batas hotspot).

Sebagai contoh, dengan lowThresholds = 45% dan highThresholds = 70%:

1. Node idle: Utilisasi sumber daya di bawah lowThresholds (< 45%).

2. Node normal: Utilisasi sumber daya berada di antara lowThresholds dan highThresholds (45%–70%). Ini adalah rentang target.

3. Node hotspot: Utilisasi sumber daya melebihi highThresholds (> 70%). Pod diusir hingga beban node turun menjadi 70% atau di bawahnya.

Data utilisasi sumber daya diperbarui setiap menit dan mencerminkan rata-rata selama 5 menit.

Jika semua node dalam kluster berada di atas lowThresholds, beban keseluruhan kluster dianggap tinggi. Dalam kondisi ini, Koordinator Descheduler menangguhkan descheduling meskipun beberapa node melebihi highThresholds.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Sebuah kluster ACK managed Pro

• ACK Scheduler v1.22.15-ack-4.0 atau yang lebih baru, ack-koordinator v1.1.1-ack.1 atau yang lebih baru, dan Helm v3.0 atau yang lebih baru

Langkah 1: Aktifkan descheduling di ack-koordinator

• Instalasi baru: Instal ack-koordinator dan pilih Enable Descheduling For Ack-koordinator pada halaman konfigurasi komponen. Lihat Instal komponen ack-koordinator.

• Instalasi yang sudah ada: Pada halaman konfigurasi komponen, pilih Enable Descheduling For Ack-koordinator. Lihat Ubah komponen ack-koordinator.

Langkah 2: Aktifkan plugin LowNodeLoad

1. Buat file koord-descheduler-config.yaml dengan konten berikut. ConfigMap ini mengaktifkan plugin descheduling LowNodeLoad.

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # Konfigurasi sistem untuk koord-descheduler. Jangan ubah bagian ini.
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s  # Interval eksekusi. Descheduler berjalan setiap 120 detik.
                                   # Tidak boleh melebihi detectorCacheTimeout (default: 5m).
       dryRun: false               # Atur ke true untuk menjalankan dalam mode read-only (tanpa eviction).
       # Akhir konfigurasi sistem.
   
       profiles:
       - name: koord-descheduler
         plugins:
           balance:
             enabled:
               - name: LowNodeLoad      # Aktifkan plugin LowNodeLoad untuk descheduling hotspot.
           evict:
             enabled:
               - name: MigrationController  # Aktifkan controller eviction dan migrasi.
   
         pluginConfig:
         - name: MigrationController
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly
   
         - name: LowNodeLoad
           args:
             apiVersion: descheduler/v1alpha2
             kind: LowNodeLoadArgs
   
             # Sebuah node dianggap idle jika penggunaan SEMUA sumber daya berada di bawah lowThresholds.
             lowThresholds:
               cpu: 20    # Utilisasi CPU 20%
               memory: 30 # Utilisasi memori 30%
   
             # Sebuah node dianggap hotspot jika penggunaan SALAH SATU sumber daya melebihi highThresholds.
             highThresholds:
               cpu: 50    # Utilisasi CPU 50%
               memory: 60 # Utilisasi memori 60%
   
             # Membatasi cakupan descheduling ke namespace tertentu.
             # include dan exclude saling eksklusif—konfigurasikan hanya salah satu.
             evictableNamespaces:
               include:
                 - default
               # exclude:
               #   - "kube-system"
               #   - "koordinator-system"

2. Terapkan ConfigMap ke kluster.

   kubectl apply -f koord-descheduler-config.yaml

3. Restart Koordinator Descheduler untuk memuat konfigurasi baru.

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1

Langkah 3 (opsional): Aktifkan penjadwalan yang peka terhadap beban

Untuk penyeimbangan beban optimal, aktifkan penjadwalan yang peka terhadap beban agar ACK Scheduler tidak menempatkan kembali Pod ke node hotspot setelah eviction. Lihat Langkah 1: Aktifkan penjadwalan yang peka terhadap beban.

Atur loadAwareThreshold dalam kebijakan penjadwalan yang peka terhadap beban ke nilai yang sama dengan highThresholds. Jika nilainya berbeda, Pod yang diusir mungkin dijadwalkan ulang kembali ke node hotspot—terutama ketika hanya tersedia beberapa node dengan tingkat utilisasi yang serupa.

Langkah 4: Verifikasi descheduling

Contoh ini menggunakan kluster tiga node di mana setiap node memiliki 104 core dan memori 396 GiB.

1. Buat file stress-demo.yaml dengan konten berikut.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: polinux/stress
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. Terapkan workload pengujian stres.

   kubectl create -f stress-demo.yaml

   Output yang diharapkan:

   deployment.apps/stress-demo created

3. Verifikasi Pod sedang berjalan dan catat node tempat mereka dijadwalkan.

   kubectl get pod -o wide

   Output yang diharapkan:

   NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Running   0          82s   10.XX.XX.53   cn-beijing.10.XX.XX.53   <none>           <none>

4. Tingkatkan beban pada cn-beijing.10.XX.XX.53 dan periksa utilisasi node.

   kubectl top node

   Output yang diharapkan:

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.10.XX.XX.215   17611m       17%    24358Mi         6%
   cn-beijing.10.XX.XX.53    63472m       63%    11969Mi         3%

   Node cn-beijing.10.XX.XX.53 berada pada 63% CPU, yang melebihi ambang batas hotspot yang dikonfigurasi sebesar 50%. Node cn-beijing.10.XX.XX.215 berada pada 17% CPU, yang berada di bawah ambang batas idle sebesar 20%.

5. Aktifkan plugin LowNodeLoad seperti yang dijelaskan dalam Langkah 2: Aktifkan plugin LowNodeLoad.

6. Amati perubahan Pod.

   Secara default, sebuah node harus melebihi highThresholds selama lima pemeriksaan berturut-turut sebelum diklasifikasikan sebagai hotspot. Dengan interval default 120 detik, proses ini membutuhkan waktu sekitar 10 menit.

   kubectl get pod -w

   Output yang diharapkan:

   NAME                           READY   STATUS             RESTARTS   AGE   IP             NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Terminating        0          59s   10.XX.XX.53    cn-beijing.10.XX.XX.53   <none>           <none>
   stress-demo-588f9646cf-7****   1/1     ContainerCreating  0          10s   10.XX.XX.215   cn-beijing.10.XX.XX.215  <none>           <none>

7. Periksa event eviction.

   kubectl get event | grep stress-demo-588f9646cf-s****

   Output yang diharapkan:

   2m14s   Normal   Evicting        podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" diusir dari node "cn-beijing.10.XX.XX.53" dengan alasan "node overutilized, cpu usage(68.53%)>threshold(50.00%)"
   101s    Normal   EvictComplete   podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" telah diusir
   2m14s   Normal   Descheduled     pod/stress-demo-588f9646cf-s****   Pod diusir dari node "cn-beijing.10.XX.XX.53" dengan alasan "node overutilized, cpu usage(68.53%)>threshold(50.00%)"
   2m14s   Normal   Killing         pod/stress-demo-588f9646cf-s****   Menghentikan kontainer stress

   Pod pada node hotspot telah diusir dan dimigrasikan ke cn-beijing.10.XX.XX.215.

Konfigurasi lanjutan

Semua parameter Koordinator Descheduler diatur dalam ConfigMap yang dibuat pada Langkah 2. Berikut ini menunjukkan konfigurasi lanjutan lengkap untuk descheduling hotspot yang peka terhadap beban.

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # Konfigurasi sistem. Jangan ubah bagian ini.
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s  # Interval eksekusi. Tidak boleh melebihi detectorCacheTimeout.
    dryRun: false               # Atur ke true untuk mode read-only (tanpa eviction).
    # Akhir konfigurasi sistem.

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"  # Semua plugin dinonaktifkan secara default (ditampilkan hanya sebagai referensi).
        balance:
          enabled:
            - name: LowNodeLoad
        evict:
          disabled:
            - name: "*"  # Semua plugin dinonaktifkan secara default (ditampilkan hanya sebagai referensi).
          enabled:
            - name: MigrationController

      pluginConfig:
      - name: MigrationController
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1       # Maksimum Pod yang bermigrasi secara simultan per node. 0 = tak terbatas.
          maxMigratingPerNamespace: 1  # Maksimum Pod yang bermigrasi secara simultan per namespace.
          maxMigratingPerWorkload: 1   # Maksimum Pod yang bermigrasi secara simultan per workload (misalnya, Deployment).
          maxUnavailablePerWorkload: 2 # Maksimum replika yang tidak tersedia per workload selama migrasi.
          evictLocalStoragePods: false # Apakah akan mengusir Pod yang menggunakan volume HostPath atau emptyDir.
          objectLimiters:
            workload:               # Paling banyak 1 replika dimigrasikan per workload dalam 5 menit.
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:
            cpu: 20
            memory: 30
          highThresholds:
            cpu: 50
            memory: 60

          anomalyCondition:
            consecutiveAbnormalities: 5  # Jumlah pemeriksaan berturut-turut di atas highThresholds
                                          # sebelum sebuah node diklasifikasikan sebagai hotspot.
                                          # Penghitung direset setelah eviction.

          detectorCacheTimeout: "5m"  # Durasi cache untuk pemeriksaan hotspot.
                                      # Harus >= deschedulingInterval.

          evictableNamespaces:
            include:
              - default
            # exclude:
            #   - "kube-system"
            #   - "koordinator-system"

          nodeSelector:  # Proses hanya node yang ditentukan.
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors:  # Proses hanya Pod yang ditentukan.
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

FAQ

Langkah selanjutnya

• Gunakan penjadwalan pod yang peka terhadap beban

• Instal dan kelola komponen ack-koordinator