Container Service for Kubernetes:Aktifkan kebijakan optimasi performa CPU Burst

Manfaat

Penggunaan CPU merupakan metrik utama untuk memantau kesehatan kontainer. Administrator kluster sering menggunakannya untuk menetapkan batas CPU. Dibandingkan dengan metrik tingkat detik, penggunaan CPU tingkat milidetik menunjukkan lonjakan dan fluktuasi jangka pendek yang lebih nyata. Pada grafik di bawah ini, penggunaan CPU yang diukur per detik (garis ungu) tampak jauh di bawah 4 core. Namun pada tingkat milidetik (garis hijau), penggunaan melebihi 4 core selama beberapa periode. Jika batas CPU ditetapkan pada 4 core, throttling akan menunda thread—dan meningkatkan latensi respons (RT). Ini merupakan penyebab utama masalah RT long-tail.

Gambar berikutnya menunjukkan alokasi sumber daya CPU untuk kontainer layanan web dengan batas CPU 2 pada node 4-core. Sisi kiri menunjukkan perilaku normal. Sisi kanan menunjukkan perilaku setelah mengaktifkan CPU Burst.

CPU Burst juga membantu ketika permintaan CPU melonjak secara tiba-tiba. Misalnya, jika lalu lintas layanan meningkat pesat, ack-koordinator mengatasi bottleneck CPU dalam hitungan detik—sementara tetap menjaga beban total node dalam batas aman.

Skenario

Kasus penggunaan khas untuk CPU Burst meliputi hal-hal berikut:

• Penggunaan CPU sebagian besar waktu berada di bawah batas CPU—namun throttling tetap terjadi dan merusak performa aplikasi. Mengaktifkan CPU Burst memungkinkan kontainer menggunakan waktu CPU terakumulasi selama lonjakan beban, sehingga mengatasi throttling dan meningkatkan kualitas layanan.

• Kontainer menggunakan CPU tinggi selama startup dan pemuatan. Setelah pemuatan selesai, penggunaan CPU turun ke level rendah yang stabil. Dengan CPU Burst diaktifkan, Anda tidak perlu menetapkan batas CPU yang terlalu tinggi. Kontainer menggunakan waktu CPU ekstra selama startup—dan memulai lebih cepat.

Langkah verifikasi

1. Buat file bernama apache-demo.yaml menggunakan YAML berikut.

   Tambahkan anotasi CPU Burst di bawah bidang metadata untuk mengaktifkan CPU Burst pada Pod ini.

   apiVersion: v1
   kind: Pod
   metadata:
     name: apache-demo
     annotations:
       koordinator.sh/cpuBurst: '{"policy": "auto"}'   # Aktifkan CPU Burst.
   spec:
     containers:
     - command:
       - httpd
       - -D
       - FOREGROUND
       image: registry.cn-zhangjiakou.aliyuncs.com/acs/apache-2-4-51-for-slo-test:v0.1
       imagePullPolicy: Always
       name: apache
       resources:
         limits:
           cpu: "4"
           memory: 10Gi
         requests:
           cpu: "4"
           memory: 10Gi
     nodeName: $nodeName # Ganti dengan nama node yang sebenarnya.
     hostNetwork: False
     restartPolicy: Never
     schedulerName: default-scheduler

2. Deploy Apache HTTP Server sebagai aplikasi uji coba.

   kubectl apply -f apache-demo.yaml

3. Gunakan wrk2 untuk mengirim permintaan.

   # Unduh dan ekstrak tool open-source wrk2. Lihat https://github.com/giltene/wrk2.
   # Image Apache telah mengaktifkan kompresi Gzip untuk mensimulasikan pemrosesan permintaan di sisi server.
   # Jalankan uji beban. Ganti $target_ip_address dengan alamat IP Pod Apache.
   ./wrk -H "Accept-Encoding: deflate, gzip" -t 2 -c 12 -d 120 --latency --timeout 2s -R 24 http://$target_ip_address:8010/static/file.1m.test

   Catatan

   • Ganti alamat target dalam perintah dengan alamat IP Pod Apache.

   • Sesuaikan tekanan QPS dengan mengubah parameter -R.

Analisis hasil

Tabel berikut membandingkan performa pada Alibaba Cloud Linux dan CentOS komunitas—dengan dan tanpa CPU Burst.

• All disabled berarti kebijakan CPU Burst diatur ke none.

• All enabled berarti kebijakan CPU Burst diatur ke auto.

Hasil ini menunjukkan:

• Mengaktifkan CPU Burst secara signifikan meningkatkan metrik RT p99.

• Mengaktifkan CPU Burst sangat mengurangi throttling CPU. Rata-rata utilisasi CPU Pod tetap hampir tidak berubah.

Saya menggunakan CPU Burst dengan protokol lama ack-slo-manager. Apakah masih berfungsi setelah upgrade ke ack-koordinator?

Anotasi Pod lama menggunakan alibabacloud.com/cpuBurst. ack-koordinator sepenuhnya mendukung protokol lama ini. Anda dapat melakukan upgrade secara mulus.

ack-koordinator kompatibel dengan versi protokol berikut.

Mengapa throttling CPU masih terjadi setelah mengaktifkan CPU Burst?

Penyebab umum dan solusinya:

• Sintaksis konfigurasi tidak valid mencegah CPU Burst berjalan. Lihat Konfigurasi lanjutan untuk memperbaiki dan memverifikasi.

• Throttling tetap terjadi saat penggunaan CPU mencapai batas cfsQuotaBurstPercent karena sumber daya CPU tidak mencukupi.

  Sesuaikan nilai request dan limit CPU Anda agar sesuai dengan kebutuhan riil aplikasi.

• CPU Burst menyesuaikan dua parameter cgroup: cpu.cfs_quota_us dan cpu.cfs_burst_us. Lihat Konfigurasi lanjutan. cpu.cfs_quota_us hanya diperbarui setelah ack-koordinator mendeteksi throttling—sehingga terdapat sedikit penundaan. cpu.cfs_burst_us diperbarui langsung dari nilai yang dikonfigurasi—sehingga merespons lebih cepat.

  Untuk hasil terbaik, gunakan Alibaba Cloud Linux.

• Kebijakan CPU Burst memiliki mekanisme perlindungan saat menyesuaikan cpu.cfs_quota_us, yaitu pengaturan ambang batas watermark keamanan keseluruhan sharePoolThresholdPercent. Saat utilisasi keseluruhan terlalu tinggi, untuk mencegah satu Pod menyebabkan gangguan lebih lanjut, cpu.cfs_quota_us dikembalikan ke nilai awalnya.

  Anda harus menetapkan ambang batas keamanan mesin yang sesuai berdasarkan kondisi aktual aplikasi Anda untuk mencegah utilisasi mesin tinggi memengaruhi performa aplikasi.

Apakah saya perlu menggunakan Alibaba Cloud Linux untuk mengaktifkan kebijakan CPU Burst?

ack-koordinator CPU Burst berfungsi pada semua kernel open-source Alibaba Cloud Linux dan CentOS. Kami merekomendasikan Alibaba Cloud Linux. Fitur kernel-nya memungkinkan ack-koordinator memberikan elastisitas CPU yang lebih granular. Untuk detailnya, lihat Aktifkan CPU Burst menggunakan antarmuka cgroup v1.

Setelah mengaktifkan CPU Burst, mengapa aplikasi saya melaporkan jumlah thread yang berbeda?

Hal ini karena mekanisme kerja CPU Burst bertentangan dengan cara aplikasi tertentu memperoleh sumber daya sistem. ack-koordinator secara dinamis menyesuaikan parameter cgroup dasar kontainer, cpu.cfs_quota_us, saat menerapkan CPU Burst. Nilai ini merepresentasikan kuota waktu CPU yang tersedia untuk kontainer dalam siklus penjadwalan saat ini. ack-koordinator secara dinamis mengubah skala kuota ini berdasarkan beban aplikasi.

Banyak aplikasi, seperti Runtime.getRuntime().availableProcessors() pada Java, langsung membaca cpu.cfs_quota_us untuk menghitung jumlah core CPU yang tersedia. Oleh karena itu, saat kuota CPU disesuaikan secara dinamis, jumlah core yang diperoleh aplikasi juga berubah, sehingga menyebabkan parameter yang bergantung pada nilai ini—seperti ukuran kolam thread—menjadi tidak stabil.

Sebagai gantinya, buat aplikasi Anda bergantung pada nilai tetap limits.cpu yang didefinisikan dalam spesifikasi Pod.

1. Suntikkan variabel lingkungan: Gunakan resourceFieldRef untuk menyuntikkan nilai limits.cpu Pod ke dalam kontainer.

   env: 
     - name: CPU_LIMIT 
       valueFrom: 
         resourceFieldRef: 
           resource: limits.cpu

2. Perbarui kode aplikasi Anda: Ubah logika startup untuk membaca CPU_LIMIT terlebih dahulu saat menghitung dan menetapkan ukuran kolam thread. Hal ini memastikan perilaku yang stabil dan andal—meskipun CPU Burst mengubah kuota.