Container Service for Kubernetes：Aktifkan kebijakan optimasi kinerja CPU Burst

Manfaat

Pemanfaatan CPU merupakan metrik utama untuk mengukur kesehatan sebuah kontainer. Administrator kluster biasanya menggunakan metrik ini untuk mengonfigurasi CPU Limit kontainer. Dibandingkan dengan metrik per detik yang umum digunakan, pemanfaatan CPU kontainer pada skala ratusan milidetik sering kali menunjukkan gangguan yang lebih jelas dan fluktuasi cepat. Pada gambar berikut, penggunaan CPU jauh di bawah 4 core dalam basis per detik (garis ungu). Namun, dalam basis per milidetik (garis hijau), penggunaan CPU kontainer melebihi 4 core selama beberapa periode. Jika Anda menetapkan CPU Limit sebesar 4 core, sistem operasi akan menangguhkan thread karena throttling CPU.

Gambar berikut menunjukkan bagaimana sumber daya CPU dialokasikan ke thread-thread kontainer layanan web pada node 4-core setelah kontainer menerima permintaan (req). CPU Limit kontainer adalah 2. Gambar di sebelah kiri menunjukkan kasus normal, sedangkan gambar di sebelah kanan menunjukkan kasus setelah CPU Burst diaktifkan.

Selain skenario di atas, CPU Burst juga cocok untuk menangani lonjakan penggunaan CPU. Misalnya, ketika lalu lintas layanan melonjak, ack-koordinator dapat menghilangkan hambatan CPU dalam beberapa detik sambil memastikan beban keseluruhan pada node tetap berada pada level aman.

Skenario

Fitur CPU Burst berguna dalam skenario berikut.

• Sebuah kontainer sering mengalami throttling CPU, yang memengaruhi kinerja aplikasi, meskipun penggunaan CPU-nya biasanya di bawah CPU Limit yang dikonfigurasi. Anda dapat mengaktifkan CPU Burst agar kontainer menggunakan irisan waktu yang terakumulasi selama lonjakan beban. Hal ini secara efektif menyelesaikan masalah throttling CPU dan meningkatkan kualitas layanan aplikasi.

• Aplikasi kontainer mengonsumsi lebih banyak sumber daya CPU selama fase startup. Setelah aplikasi mulai berjalan dan memasuki kondisi stabil, penggunaan CPU-nya turun ke level yang lebih rendah dan stabil. Jika Anda mengaktifkan CPU Burst, aplikasi dapat menggunakan lebih banyak irisan waktu selama startup untuk memastikan peluncuran cepat tanpa perlu mengonfigurasi CPU Limit yang terlalu tinggi.

Langkah verifikasi

1. Buat file bernama apache-demo.yaml yang berisi konten berikut untuk aplikasi contoh.

   Tambahkan anotasi ke bidang metadata objek pod untuk mengaktifkan kebijakan CPU Burst untuk pod tersebut.

   apiVersion: v1
   kind: Pod
   metadata:
     name: apache-demo
     annotations:
       koordinator.sh/cpuBurst: '{"policy": "auto"}'   # Aktifkan kebijakan CPU Burst.
   spec:
     containers:
     - command:
       - httpd
       - -D
       - FOREGROUND
       image: registry.cn-zhangjiakou.aliyuncs.com/acs/apache-2-4-51-for-slo-test:v0.1
       imagePullPolicy: Always
       name: apache
       resources:
         limits:
           cpu: "4"
           memory: 10Gi
         requests:
           cpu: "4"
           memory: 10Gi
     nodeName: $nodeName # Ubah ini menjadi nama node yang sebenarnya.
     hostNetwork: False
     restartPolicy: Never
     schedulerName: default-scheduler

2. Jalankan perintah berikut untuk menerapkan Apache HTTP Server sebagai aplikasi target evaluasi.

   kubectl apply -f apache-demo.yaml

3. Gunakan alat uji stres wrk2 untuk mengirim permintaan.

   # Unduh, ekstrak, dan instal alat pengujian wrk2 open-source. Untuk detailnya, lihat https://github.com/giltene/wrk2.
   # Modul kompresi Gzip diaktifkan dalam konfigurasi citra Apache saat ini untuk mensimulasikan logika pemrosesan permintaan di sisi server.
   # Jalankan perintah uji stres. Pastikan untuk mengubah alamat IP menjadi alamat IP aplikasi target.
   ./wrk -H "Accept-Encoding: deflate, gzip" -t 2 -c 12 -d 120 --latency --timeout 2s -R 24 http://$target_ip_address:8010/static/file.1m.test

   Catatan

   • Ganti alamat target dalam perintah dengan alamat IP pod Apache.

   • Anda dapat memodifikasi parameter -R untuk menyesuaikan laju QPS dari pengirim.

Analisis hasil

Data berikut menunjukkan kinerja pada Alibaba Cloud Linux dan versi komunitas CentOS sebelum dan setelah kebijakan CPU Burst diaktifkan.

• Benar-benar dinonaktifkan berarti kebijakan CPU Burst diatur ke none.

• Saat diaktifkan, kebijakan CPU Burst diatur ke auto.

Perbandingan data menunjukkan hal berikut:

• Setelah fitur CPU Burst diaktifkan, waktu respons (RT) p99 aplikasi meningkat secara signifikan.

• Setelah fitur CPU Burst diaktifkan, throttling CPU berkurang secara signifikan, sedangkan pemanfaatan CPU pod secara keseluruhan tetap hampir tidak berubah.

Apakah fitur CPU Burst yang saya aktifkan berdasarkan protokol versi sebelumnya dari ack-slo-manager masih berfungsi setelah saya meningkatkan ack-slo-manager ke ack-koordinator?

Ya. Protokol Pod versi sebelumnya mengharuskan Anda menambahkan anotasi alibabacloud.com/cpuBurst. ack-koordinator sepenuhnya kompatibel dengan versi protokol sebelumnya ini. Anda dapat meningkatkan komponen tersebut ke versi baru secara mulus.

Berikut ini menjelaskan kompatibilitas ack-koordinator dengan berbagai versi protokol.

Setelah saya mengaktifkan konfigurasi CPU Burst, mengapa pod saya masih mengalami throttling CPU?

Hal ini dapat terjadi karena beberapa alasan. Tinjau poin-poin berikut untuk memecahkan masalah tersebut.

• Format konfigurasi mungkin salah, sehingga kebijakan CPU Burst tidak berlaku. Untuk informasi lebih lanjut, lihat Konfigurasi Lanjutan untuk memverifikasi dan memodifikasi konfigurasi.

• Event throttling CPU mungkin tetap dihasilkan jika pemanfaatan CPU mencapai batas atas yang ditentukan oleh cfsQuotaBurstPercent karena sumber daya CPU yang tidak mencukupi.

  Anda dapat menyesuaikan nilai Request dan Limit berdasarkan kebutuhan aktual aplikasi Anda.

• Kebijakan CPU Burst menyesuaikan dua parameter cgroup untuk pod: cpu.cfs_quota_us dan cpu.cfs_burst_us. Untuk informasi lebih lanjut, lihat Konfigurasi parameter lanjutan. Parameter cpu.cfs_quota_us hanya diatur setelah ack-koordinator mendeteksi event CPU Throttled, yang menyebabkan sedikit keterlambatan. Sebaliknya, parameter cpu.cfs_burst_us diatur langsung berdasarkan konfigurasi, sehingga lebih responsif.

  Untuk hasil optimal, kami merekomendasikan agar Anda menggunakan sistem operasi Alibaba Cloud Linux.

• Kebijakan CPU Burst mencakup mekanisme perlindungan untuk menyesuaikan cpu.cfs_quota_us, yaitu ambang batas keamanan tingkat node yang dikonfigurasi oleh parameter sharePoolThresholdPercent. Jika pemanfaatan CPU node menjadi terlalu tinggi, cpu.cfs_quota_us dikembalikan ke nilai awalnya untuk mencegah pod memengaruhi pod lain.

  Anda dapat mengatur ambang batas keamanan berdasarkan kebutuhan aplikasi Anda untuk menghindari degradasi kinerja akibat pemanfaatan mesin yang tinggi.

Apakah perlu menggunakan sistem operasi Alibaba Cloud Linux untuk mengaktifkan kebijakan CPU Burst?

Tidak. Kebijakan CPU Burst ack-koordinator mendukung semua kernel open source Alibaba Cloud Linux dan CentOS. Namun, kami merekomendasikan agar Anda menggunakan sistem operasi Alibaba Cloud Linux. Fitur kernel Alibaba Cloud Linux memungkinkan ack-koordinator menyediakan mekanisme manajemen CPU yang lebih detail halus dan elastis. Untuk informasi lebih lanjut, lihat Aktifkan Fitur CPU Burst pada Antarmuka cgroup v1.

Setelah saya mengaktifkan CPU Burst, mengapa jumlah thread yang dilaporkan oleh kode aplikasi saya berubah?

Hal ini terjadi karena mekanisme CPU Burst dapat bertentangan dengan cara beberapa aplikasi mengambil informasi sumber daya sistem. ack-koordinator mengimplementasikan CPU Burst dengan menyesuaikan secara dinamis parameter cgroup dasar kontainer cpu.cfs_quota_us. Nilai ini merepresentasikan kuota waktu CPU yang tersedia untuk kontainer dalam periode penjadwalan saat ini. ack-koordinator secara dinamis mengubah kuota ini berdasarkan beban aplikasi.

Banyak aplikasi, seperti Runtime.getRuntime().availableProcessors() pada Java, langsung membaca cpu.cfs_quota_us untuk memperkirakan jumlah core CPU yang tersedia. Oleh karena itu, ketika kuota CPU disesuaikan secara dinamis, jumlah core yang diambil oleh aplikasi juga berubah, menyebabkan parameter yang bergantung pada nilai ini—seperti ukuran kolam thread—menjadi tidak stabil.

Kami merekomendasikan agar Anda memodifikasi aplikasi Anda agar bergantung pada nilai tetap limits.cpu yang didefinisikan dalam pod.

1. Suntikkan variabel lingkungan: Anda dapat menggunakan resourceFieldRef untuk menyuntikkan nilai limits.cpu pod ke dalam kontainer sebagai variabel lingkungan.

   env: 
     - name: CPU_LIMIT 
       valueFrom: 
         resourceFieldRef: 
           resource: limits.cpu

2. Modifikasi kode aplikasi: Anda dapat memodifikasi logika startup aplikasi agar memprioritaskan pembacaan variabel lingkungan CPU_LIMIT untuk menghitung dan mengatur ukuran kolam thread. Setelah perubahan ini, aplikasi berjalan berdasarkan nilai yang stabil dan andal, terlepas dari bagaimana CPU Burst menyesuaikan kuota.