Container Service for Kubernetes:Gunakan descheduling sadar hotspot untuk menyeimbangkan beban node

Batasan

• Hanya kluster ACK managed Pro yang didukung.

• Versi komponen yang diperlukan:

  Komponen	Versi
  ACK Scheduler	v1.22.15-ack-4.0 atau lebih baru, v1.24.6-ack-4.0 atau lebih baru
  ack-koordinator	v1.1.1-ack.1 atau lebih baru
  Helm	v3.0 atau lebih baru

Penagihan

ack-koordinator gratis untuk diinstal dan digunakan. Biaya tambahan mungkin berlaku dalam skenario berikut:

• Resource node pekerja: ack-koordinator adalah komponen self-managed yang mengonsumsi resource node pekerja. Konfigurasikan permintaan resource untuk setiap modul selama instalasi.

• Metric kustom Prometheus: Jika Anda mengaktifkan Enable Prometheus Monitoring for ACK-Koordinator dan menggunakan Managed Service for Prometheus, metric yang diekspos dihitung sebagai metric kustom dan dikenai biaya. Biaya tergantung pada ukuran kluster dan jumlah aplikasi. Tinjau penagihan instans Prometheus sebelum mengaktifkan fitur ini. Kueri data penggunaan untuk memantau konsumsi resource Anda.

Cara kerja

Siklus eksekusi

Descheduler Koordinator berjalan secara berkala. Setiap siklus eksekusi memiliki tiga tahap:

1. Pengumpulan data: Mengambil informasi node dan workload serta data pemanfaatan resource.

2. Eksekusi plugin (contoh LowNodeLoad):

   1. Mengidentifikasi node hotspot berdasarkan highThresholds dan lowThresholds.

   2. Menelusuri semua node hotspot, memberi skor pada Pod yang memenuhi syarat, dan mengurutkannya untuk eviction. Lihat Kebijakan pemberian skor Pod.

   3. Memeriksa setiap Pod kandidat terhadap batasan migrasi—kapasitas kluster, pemanfaatan resource, dan batas rasio replika. Lihat Kebijakan descheduling hotspot sadar beban.

   4. Menandai Pod yang lolos sebagai kandidat migrasi dan melewati sisanya.

3. Eviction dan migrasi Pod: Mengusir kandidat migrasi melalui API eviction.

Klasifikasi node

Plugin LowNodeLoad mengklasifikasikan node ke dalam tiga kategori berdasarkan dua ambang batas: lowThresholds (ambang batas idle) dan highThresholds (ambang batas hotspot).

Contoh dengan lowThresholds = 45% dan highThresholds = 70%:

1. Node idle: Pemanfaatan resource di bawah lowThresholds (< 45%).

2. Node normal: Pemanfaatan resource berada di antara lowThresholds dan highThresholds (45%–70%). Ini adalah rentang target.

3. Node hotspot: Pemanfaatan resource melebihi highThresholds (> 70%). Pod diusir hingga beban node turun menjadi 70% atau di bawahnya.

Data pemanfaatan resource diperbarui setiap menit dan mencerminkan rata-rata selama 5 menit.

Jika semua node melebihi lowThresholds, beban kluster dianggap tinggi dan descheduling ditangguhkan, meskipun beberapa node melebihi highThresholds.

Prasyarat

Sebelum memulai, pastikan Anda memiliki:

• kluster ACK managed Pro

• ACK Scheduler v1.22.15-ack-4.0 atau lebih baru, ack-koordinator v1.1.1-ack.1 atau lebih baru, dan Helm v3.0 atau lebih baru

Langkah 1: Aktifkan descheduling di ack-koordinator

• Instalasi baru: Instal ack-koordinator dan pilih Enable Descheduling For Ack-koordinator pada halaman konfigurasi.

• Instalasi yang sudah ada: Pada halaman konfigurasi, pilih Enable Descheduling For Ack-koordinator. Lihat Modifikasi ack-koordinator.

Langkah 2: Aktifkan plugin LowNodeLoad

1. Buat ConfigMap koord-descheduler-config.yaml untuk mengaktifkan plugin LowNodeLoad.

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # Konfigurasi sistem untuk koord-descheduler. Jangan ubah bagian ini.
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s  # Interval eksekusi. Descheduler berjalan setiap 120 detik.
                                   # Tidak boleh melebihi detectorCacheTimeout (default: 5m).
       dryRun: false               # Atur ke true untuk menjalankan dalam mode read-only (tanpa eviction).
       # Akhir konfigurasi sistem.
   
       profiles:
       - name: koord-descheduler
         plugins:
           balance:
             enabled:
               - name: LowNodeLoad      # Aktifkan plugin LowNodeLoad untuk descheduling hotspot.
           evict:
             enabled:
               - name: MigrationController  # Aktifkan controller eviction dan migrasi.
   
         pluginConfig:
         - name: MigrationController
           args:
             apiVersion: descheduler/v1alpha2
             kind: MigrationControllerArgs
             defaultJobMode: EvictDirectly
   
         - name: LowNodeLoad
           args:
             apiVersion: descheduler/v1alpha2
             kind: LowNodeLoadArgs
   
             # Sebuah node dianggap idle jika penggunaan SEMUA resource berada di bawah lowThresholds.
             lowThresholds:
               cpu: 20    # Pemanfaatan CPU 20%
               memory: 30 # Pemanfaatan memori 30%
   
             # Sebuah node dianggap hotspot jika penggunaan SALAH SATU resource melebihi highThresholds.
             highThresholds:
               cpu: 50    # Pemanfaatan CPU 50%
               memory: 60 # Pemanfaatan memori 60%
   
             # Membatasi ruang lingkup descheduling ke namespace tertentu.
             # include dan exclude saling eksklusif—konfigurasikan hanya salah satu.
             evictableNamespaces:
               include:
                 - default
               # exclude:
               #   - "kube-system"
               #   - "koordinator-system"

2. Terapkan ConfigMap ke kluster.

   kubectl apply -f koord-descheduler-config.yaml

3. Mulai ulang Koordinator Descheduler untuk memuat konfigurasi baru.

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1

Langkah 3 (opsional): Aktifkan load-aware scheduling

Untuk penyeimbangan beban optimal, aktifkan load-aware scheduling agar ACK Scheduler menghindari menempatkan Pod pada node hotspot setelah eviction.

Atur loadAwareThreshold agar sesuai dengan highThresholds. Nilai yang tidak sesuai dapat menyebabkan Pod yang diusir dijadwalkan ulang ke node hotspot, terutama jika hanya ada sedikit node dengan pemanfaatan serupa.

Langkah 4: Verifikasi descheduling

Contoh ini menggunakan kluster tiga node di mana setiap node memiliki 104 core dan memori 396 GiB.

1. Buat file stress-demo.yaml dengan konten berikut.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: polinux/stress
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. Terapkan workload pengujian stres.

   kubectl create -f stress-demo.yaml

   Output yang diharapkan:

   deployment.apps/stress-demo created

3. Verifikasi Pod sedang berjalan dan catat node tempatnya ditempatkan.

   kubectl get pod -o wide

   Output yang diharapkan:

   NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Running   0          82s   10.XX.XX.53   cn-beijing.10.XX.XX.53   <none>           <none>

4. Tingkatkan beban pada cn-beijing.10.XX.XX.53 dan periksa pemanfaatan node.

   kubectl top node

   Output yang diharapkan:

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.10.XX.XX.215   17611m       17%    24358Mi         6%
   cn-beijing.10.XX.XX.53    63472m       63%    11969Mi         3%

   Node cn-beijing.10.XX.XX.53 berada pada 63% CPU, melebihi ambang batas hotspot 50%. Node cn-beijing.10.XX.XX.215 berada pada 17% CPU, di bawah ambang batas idle 20%.

5. Aktifkan plugin LowNodeLoad seperti yang dijelaskan dalam Langkah 2: Aktifkan plugin LowNodeLoad.

6. Amati perubahan Pod.

   Secara default, sebuah node harus melebihi highThresholds selama lima pemeriksaan berturut-turut (~10 menit pada interval default 120 detik) untuk diklasifikasikan sebagai hotspot.

   kubectl get pod -w

   Output yang diharapkan:

   NAME                           READY   STATUS             RESTARTS   AGE   IP             NODE                     NOMINATED NODE   READINESS GATES
   stress-demo-588f9646cf-s****   1/1     Terminating        0          59s   10.XX.XX.53    cn-beijing.10.XX.XX.53   <none>           <none>
   stress-demo-588f9646cf-7****   1/1     ContainerCreating  0          10s   10.XX.XX.215   cn-beijing.10.XX.XX.215  <none>           <none>

7. Periksa event eviction.

   kubectl get event | grep stress-demo-588f9646cf-s****

   Output yang diharapkan:

   2m14s   Normal   Evicting        podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" diusir dari node "cn-beijing.10.XX.XX.53" dengan alasan "node kelebihan beban, penggunaan cpu(68,53%)>ambang(50,00%)"
   101s    Normal   EvictComplete   podmigrationjob/00fe88bd-****   Pod "default/stress-demo-588f9646cf-s****" telah diusir
   2m14s   Normal   Descheduled     pod/stress-demo-588f9646cf-s****   Pod diusir dari node "cn-beijing.10.XX.XX.53" dengan alasan "node kelebihan beban, penggunaan cpu(68,53%)>ambang(50,00%)"
   2m14s   Normal   Killing         pod/stress-demo-588f9646cf-s****   Menghentikan kontainer stress

   Pod pada node hotspot telah diusir dan dimigrasikan ke cn-beijing.10.XX.XX.215.

Konfigurasi lanjutan

Semua parameter Koordinator Descheduler dikonfigurasi dalam ConfigMap dari Langkah 2.

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # Konfigurasi sistem. Jangan ubah bagian ini.
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    deschedulingInterval: 120s  # Interval eksekusi. Tidak boleh melebihi detectorCacheTimeout.
    dryRun: false               # Atur ke true untuk mode read-only (tanpa eviction).
    # Akhir konfigurasi sistem.

    profiles:
    - name: koord-descheduler
      plugins:
        deschedule:
          disabled:
            - name: "*"  # Semua plugin dinonaktifkan secara default (ditampilkan hanya sebagai referensi).
        balance:
          enabled:
            - name: LowNodeLoad
        evict:
          disabled:
            - name: "*"  # Semua plugin dinonaktifkan secara default (ditampilkan hanya sebagai referensi).
          enabled:
            - name: MigrationController

      pluginConfig:
      - name: MigrationController
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs
          defaultJobMode: EvictDirectly
          maxMigratingPerNode: 1       # Maksimum Pod yang bermigrasi secara simultan per node. 0 = tak terbatas.
          maxMigratingPerNamespace: 1  # Maksimum Pod yang bermigrasi secara simultan per namespace.
          maxMigratingPerWorkload: 1   # Maksimum Pod yang bermigrasi secara simultan per workload (misalnya, Deployment).
          maxUnavailablePerWorkload: 2 # Maksimum replika tidak tersedia per workload selama migrasi.
          evictLocalStoragePods: false # Apakah akan mengusir Pod yang menggunakan volume HostPath atau emptyDir.
          objectLimiters:
            workload:               # Paling banyak 1 replika dimigrasikan per workload dalam 5 menit.
              duration: 5m
              maxMigrating: 1

      - name: LowNodeLoad
        args:
          apiVersion: descheduler/v1alpha2
          kind: LowNodeLoadArgs

          lowThresholds:
            cpu: 20
            memory: 30
          highThresholds:
            cpu: 50
            memory: 60

          anomalyCondition:
            consecutiveAbnormalities: 5  # Jumlah pemeriksaan berturut-turut di atas highThresholds
                                          # sebelum sebuah node diklasifikasikan sebagai hotspot.
                                          # Penghitung diatur ulang setelah eviction.

          detectorCacheTimeout: "5m"  # Durasi cache untuk pemeriksaan hotspot.
                                      # Harus >= deschedulingInterval.

          evictableNamespaces:
            include:
              - default
            # exclude:
            #   - "kube-system"
            #   - "koordinator-system"

          nodeSelector:  # Proses hanya node yang ditentukan.
            matchLabels:
              alibabacloud.com/nodepool-id: np77f520e1108f47559e63809713ce****

          podSelectors:  # Proses hanya Pod yang ditentukan.
          - name: lsPods
            selector:
              matchLabels:
                koordinator.sh/qosClass: "LS"

FAQ

Langkah selanjutnya

• Gunakan penjadwalan Pod berbasis beban

• Instal dan kelola komponen ack-koordinator