Container Service for Kubernetes：Metrik dan dasbor untuk komponen kube-apiserver

Nama

PromQL

Deskripsi

API QPS

sum(irate(apiserver_request_total[$interval]))

Total QPS API Server.

Read Request Success Rate

sum(irate(apiserver_request_total{code=~"20.*",verb=~"GET|LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~"GET|LIST"}[$interval]))

Tingkat keberhasilan API Server dalam memproses permintaan baca.

Write Request Success Rate

sum(irate(apiserver_request_total{code=~"20.*",verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))

Tingkat keberhasilan API Server dalam memproses permintaan tulis.

Number Of In-flight Read Requests

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

Jumlah permintaan baca yang sedang diproses oleh API Server.

Number Of In-flight Write Requests

sum(apiserver_current_inflight_requests{requestKind="mutating"})

Jumlah permintaan tulis yang sedang diproses oleh API Server.

Request Throttling Rate

sum(irate(apiserver_dropped_requests_total[$interval]))

Tingkat Permintaan yang Dijatuhkan.

Rasio permintaan yang secara aktif dijatuhkan oleh API Server selama pengendalian aliran terhadap jumlah total permintaan.

Nama

PromQL

Deskripsi

GET Read Request Latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

Menampilkan waktu respons permintaan GET. Dimensi mencakup pod API Server, Verb (GET), Sumber Daya, dan Cakupan.

LIST Read Request Latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

Menampilkan waktu respons permintaan LIST. Dimensi mencakup pod API Server, Verb (LIST), Sumber Daya, dan Cakupan.

Write Request Latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

Menampilkan waktu respons permintaan mutating. Dimensi mencakup pod API Server, Verb (tidak termasuk GET, WATCH, LIST, CONNECT), Sumber Daya, dan Cakupan.

Number Of In-flight Read Requests

apiserver_current_inflight_requests{request_kind="readOnly"}

Jumlah permintaan baca yang sedang diproses oleh API Server.

Number Of In-flight Write Requests

apiserver_current_inflight_requests{request_kind="mutating"}

Jumlah permintaan tulis yang sedang diproses oleh API Server.

Request Throttling Rate

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

Tingkat pengendalian aliran API Server. Tidak ada data atau 0 menunjukkan bahwa tidak terjadi pengendalian aliran.

Nama

PromQL

Deskripsi

Memory Usage

memory_utilization_byte{container="kube-apiserver"}

Penggunaan memori API Server. Satuan: Byte.

CPU Usage

cpu_utilization_core{container="kube-apiserver"}*1000

Penggunaan CPU API Server. Satuan: millicore.

Resource Object Count

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• Jika versi ACK adalah 1.22 atau lebih baru, nama metriknya adalah apiserver_storage_objects.

• Jika versi ACK lebih lama dari 1.22, nama metriknya adalah etcd_object_counts.

Nama

PromQL

Deskripsi

QPS Analysis By Verb

sum(irate(apiserver_request_total{verb=~"$verb"}[$interval]))by(verb)

Menganalisis permintaan per detik (QPS) berdasarkan Verb.

QPS Analysis By Verb And Resource

sum(irate(apiserver_request_total{verb=~"$verb",resource=~"$resource"}[$interval]))by(verb,resource)

Menganalisis QPS berdasarkan Verb dan Resource.

Request Latency Analysis By Verb

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT",resource!=""}[$interval])) by (le,verb))

Menganalisis latensi permintaan berdasarkan Verb.

Request Latency Analysis By Verb And Resource

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT", resource=~"$resource",resource!=""}[$interval])) by (le,verb,resource))

Menganalisis latensi permintaan berdasarkan Verb dan Resource.

Read Request QPS With Non-2xx Return Values

sum(irate(apiserver_request_total{verb=~"GET|LIST",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

Menghitung QPS permintaan baca yang memiliki nilai kembali non-2xx. Nilai kembali non-2xx menunjukkan kegagalan, seperti 4xx dan 5xx.

Write Request QPS With Non-2xx Return Values

sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH",verb=~"$verb",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

Menghitung QPS permintaan tulis yang memiliki nilai kembali non-2xx. Nilai kembali non-2xx menunjukkan kegagalan, seperti 4xx dan 5xx.

API Server Request Latency To Etcd

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

Menghitung latensi permintaan dari API Server ke etcd.

Nama

PromQL

Deskripsi

APF Request Concurrency Limit (by PL)

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Menghitung batas konkurensi permintaan APF berdasarkan PL atau berdasarkan Instance dan PL. Ini adalah jumlah maksimum permintaan yang secara teoretis dapat diproses oleh antrian prioritas secara bersamaan.

Metrik apiserver_flowcontrol_request_concurrency_limit telah ditinggalkan di Kubernetes v1.30 dan akan dihapus di v1.31. Untuk kluster yang menjalankan Kubernetes v1.31 atau lebih baru, gunakan metrik apiserver_flowcontrol_nominal_limit_seats sebagai gantinya.

APF Request Concurrency Limit (by Instance And PL)

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Number Of Current APF Executing Requests (by FS And PL)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

Menghitung jumlah permintaan APF yang sedang dieksekusi berdasarkan FS dan PL atau berdasarkan Instance, FS, dan PL.

Number Of Current APF Executing Requests (by Instance, FS, And PL)

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

Number Of APF Requests Waiting In Queue (by FS And PL)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

Menghitung jumlah permintaan yang menunggu untuk diproses dalam antrian saat ini berdasarkan FS dan PL atau berdasarkan Instance, FS, dan PL.

Number Of APF Requests Waiting In Queue (by Instance, FS, And PL)

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

Number Of APF Nominal Concurrency Limit Seats

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

Menghitung metrik terkait kursi APF berdasarkan Instance dan PL. Metrik tersebut mencakup hal-hal berikut:

• Batas konkurensi nominal: Batas kursi konkuren maksimum nominal untuk antrian dengan prioritas berbeda.

• Batas konkurensi saat ini: Jumlah maksimum kursi konkuren yang diizinkan dalam antrian dengan prioritas berbeda setelah penyesuaian dinamis.

• Eksekusi: Jumlah kursi yang sesuai dengan permintaan yang sedang dieksekusi dalam antrian dengan prioritas berbeda.

• Dalam antrian: Jumlah kursi yang sesuai dengan permintaan yang menunggu dalam antrian dengan prioritas berbeda.

Number Of APF Current Concurrency Limit Seats

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

Number Of APF Seats Currently Being Executed

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

Number Of APF Seats Currently In Queue

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

APF Request Execution Time

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Waktu yang dibutuhkan untuk menyelesaikan permintaan sejak awal eksekusi.

APF Request Wait Time

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Waktu tunggu dari saat permintaan masuk ke antrian hingga mulai dieksekusi.

QPS Of Successfully Dispatched And Processed APF Requests

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS permintaan yang berhasil dijadwalkan dan diproses.

QPS Of Rejected APF Requests

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS permintaan yang ditolak karena batas konkurensi atau kapasitas antrian terlampaui.

Nama

PromQL

Deskripsi

Admission Controller Latency [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi admission controller tipe admit yang digunakan.

Ambang batas bucket untuk metrik ini adalah {0.005, 0.025, 0.1, 0.5, 2.5}. Satuannya adalah detik.

Admission Controller Latency [validate]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi admission controller tipe validate yang digunakan.

Ambang batas bucket untuk metrik ini adalah {0.005, 0.025, 0.1, 0.5, 2.5}. Satuannya adalah detik.

Admission Webhook Latency [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi webhook tipe admit yang digunakan.

Ambang batas bucket untuk metrik ini adalah {0.005, 0.025, 0.1, 0.5, 2.5}. Satuannya adalah detik.

Admission Webhook Latency [validating]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi webhook tipe validating yang digunakan.

Ambang batas bucket untuk metrik ini adalah {0.005, 0.025, 0.1, 0.5, 2.5}. Satuannya adalah detik.

Admission Webhook Request QPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

QPS permintaan admission webhook.

Nama

PromQL

Deskripsi

QPS Analysis By Client

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

Menganalisis QPS berdasarkan klien. Ini digunakan untuk menganalisis klien yang mengakses API Server dan QPS-nya.

QPS Analysis By Verb, Resource, And Client

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

Menganalisis QPS berdasarkan Verb, Resource, dan Klien.

LIST Request QPS Analysis By Verb, Resource, And Client (without ResourceVersion Field)

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• Menganalisis QPS permintaan LIST tanpa field resourceVersion berdasarkan Verb, Resource, dan Klien.

• Anda dapat menganalisis beberapa permintaan LIST ke etcd di antara semua permintaan LIST ke API Server. Hal ini membantu Anda mengidentifikasi dan mengoptimalkan perilaku LIST klien API Server.

Normal

Tidak Normal

Deskripsi

Read Request Success Rate dan Write Request Success Rate mendekati 100%.

Read Request Success Rate dan Write Request Success Rate tetap pada persentase rendah, misalnya kurang dari 90%.

Ada banyak permintaan dengan nilai kembali non-200.

Normal

Tidak Normal

Deskripsi

GET Read Request Latency, LIST Read Request Latency, dan Write Request Latency berkaitan dengan jumlah sumber daya kluster yang diakses dan skala kluster. Tidak ada batas tetap antara waktu normal dan tidak normal. Selama bisnis tidak terpengaruh, latensi berada dalam kisaran yang dapat diterima. Misalnya, semakin banyak sumber daya jenis tertentu yang diakses, semakin lama waktu permintaan LIST. Secara umum, GET Read Request Latency dan Write Request Latency kurang dari 1 detik, serta LIST Read Request Latency kurang dari 5 detik dianggap normal.

• GET Read Request Latency dan Write Request Latency lebih besar dari 1 detik.

• LIST Read Request Latency lebih besar dari 5 detik.

Jika waktu respons permintaan terlalu lama, Anda perlu menyingkirkan faktor-faktor seperti banyaknya sumber daya kluster dan panggilan webhook yang lambat.

Normal

Tidak Normal

Deskripsi

Secara umum, dianggap normal jika Number Of In-flight Read Requests dan Number Of In-flight Write Requests kurang dari 100, dan Request Throttling Rate adalah 0.

• Number Of In-flight Read Requests dan Number Of In-flight Write Requests lebih dari 100.

• Request Throttling Rate lebih dari 0.

Saat antrian untuk memproses permintaan mengalami antrean, Anda perlu menyingkirkan faktor-faktor seperti penundaan pemrosesan akibat lonjakan permintaan dan panggilan webhook yang lambat. Jika panjang antrian terlampaui, API Server melakukan pengendalian aliran terhadap permintaan. Hal ini menyebabkan Request Throttling Rate lebih dari 0 dan memengaruhi stabilitas kluster.

Normal

Tidak Normal

Deskripsi

Admission Webhook Latency kurang dari 0,5 detik.

Admission Webhook Latency terus-menerus lebih dari 0,5 detik.

Tanggapan webhook yang lambat memengaruhi waktu respons API Server.