Container Service for Kubernetes:kube-apiserver: Metrics and dashboard

Name

PromQL

Description

API QPS

sum(irate(apiserver_request_total[$interval]))

Total QPS untuk API Server.

Read request success rate

sum(irate(apiserver_request_total{code=~"20.*",verb=~"GET|LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~"GET|LIST"}[$interval]))

Tingkat keberhasilan permintaan baca untuk API Server.

Write request success rate

sum(irate(apiserver_request_total{code=~"20.*",verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))

Tingkat keberhasilan permintaan tulis untuk API Server.

Number of read requests processed

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

Permintaan baca yang sedang berjalan.

Number of write requests processed

sum(apiserver_current_inflight_requests{requestKind="mutating"})

Permintaan tulis yang sedang berjalan.

Request limit rate

sum(irate(apiserver_dropped_requests_total[$interval]))

Persentase total permintaan yang dibuang oleh kebijakan throttling API server.

Name

PromQL

Description

GET read request latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

Waktu respons permintaan GET, dikelompokkan berdasarkan pod API Server, resource, dan cakupan.

LIST read request latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

Waktu respons permintaan LIST, dikelompokkan berdasarkan pod API Server, resource, dan cakupan.

Write request latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

Waktu respons permintaan mutating, dikelompokkan berdasarkan pod API Server, verb (tidak termasuk GET, WATCH, LIST, CONNECT), resource, dan cakupan.

Number of read requests processed

apiserver_current_inflight_requests{request_kind="readOnly"}

Permintaan baca yang sedang diproses oleh API Server.

Number of write requests processed

apiserver_current_inflight_requests{request_kind="mutating"}

Permintaan tulis yang sedang diproses oleh API Server.

Request limit rate

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

Tingkat pembatasan permintaan untuk API Server. No data atau 0 menunjukkan tidak ada throttling.

Name

PromQL

Description

Memory usage

memory_utilization_byte{container="kube-apiserver"}

Penggunaan memori API Server. Satuan: byte.

CPU usage

cpu_utilization_core{container="kube-apiserver"}*1000

Penggunaan CPU API Server. Satuan: millicores.

Resource object count

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• Untuk kluster ACK yang menjalankan v1.22 atau lebih baru, nama metriknya adalah apiserver_storage_objects.

• Untuk kluster ACK yang menjalankan v1.22 atau lebih lama, nama metriknya adalah etcd_object_counts.

Karena masalah kompatibilitas, kedua metrik apiserver_storage_objects dan etcd_object_counts ada di versi 1.22.

Tingkat pemanfaatan memori

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="normal"}

• Jika resource_utilization_level{utilization_level="high",...} bernilai 1, tingkat pemanfaatan resource kontainer ≥ 80%.

• Jika resource_utilization_level{utilization_level="normal",...} bernilai 1, tingkat pemanfaatan resource kontainer < 80%.

Tingkat pemanfaatan CPU

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="normal"}

Name

PromQL

Description

QPS analysis by verb

sum(irate(apiserver_request_total{verb=~"$verb"}[$interval]))by(verb)

QPS permintaan, dikelompokkan berdasarkan verb.

QPS analysis by verb and resource

sum(irate(apiserver_request_total{verb=~"$verb",resource=~"$resource"}[$interval]))by(verb,resource)

QPS permintaan, dikelompokkan berdasarkan verb dan resource.

Request latency analysis by verb

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT",resource!=""}[$interval])) by (le,verb))

Latensi permintaan, dikelompokkan berdasarkan verb.

Request latency analysis by verb and resource

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT", resource=~"$resource",resource!=""}[$interval])) by (le,verb,resource))

Latensi permintaan, dikelompokkan berdasarkan verb dan resource.

QPS of read requests with non-2xx responses

sum(irate(apiserver_request_total{verb=~"GET|LIST",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

QPS permintaan baca yang mengembalikan kode status non-2xx, seperti 4xx atau 5xx.

QPS of write requests with non-2xx responses

sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH",verb=~"$verb",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

QPS permintaan tulis yang mengembalikan kode status non-2xx, seperti 4xx atau 5xx.

API Server to etcd request latency

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

Latensi permintaan dari API Server ke etcd.

Name

PromQL

Description

APF request concurrency limit (by PL)

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Batas konkurensi permintaan APF, dikelompokkan berdasarkan PL atau Instance + PL. Ini merepresentasikan jumlah maksimum teoretis permintaan konkuren per antrian prioritas.

apiserver_flowcontrol_request_concurrency_limit usang di Kubernetes 1.30 dan dihapus di 1.31. Untuk kluster yang menjalankan v1.31 atau lebih baru, gunakan apiserver_flowcontrol_nominal_limit_seats sebagai gantinya.

APF request concurrency limit (by Instance + PL)

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Number of current APF executing requests (by FS + PL)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

Permintaan yang sedang dieksekusi di bawah APF, dikelompokkan berdasarkan FS + PL atau Instance + FS + PL.

Number of current APF executing requests (by Instance + FS + PL)

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

Number of current APF in-queue requests (by FS + PL)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

Permintaan yang menunggu dalam antrean, dikelompokkan berdasarkan FS + PL atau Instance + FS + PL.

Number of current APF in-queue requests (by Instance + FS + PL)

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

APF nominal limit seats

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

Metrik seat APF berdasarkan Instance + PL:

• Nominal limit seats: jumlah maksimum seat konkuren per Antrian prioritas.

• Seats limit saat ini: jumlah maksimum seats konkuren setelah penyesuaian dinamis per antrian prioritas.

• Seats yang sedang dieksekusi: seats yang dikonsumsi oleh permintaan yang sedang dieksekusi per antrian prioritas.

• Seats dalam antrean: seats yang dikonsumsi oleh permintaan yang menunggu per antrian prioritas.

APF current limit seats

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

APF current executing seats

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

APF current in-queue seats

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

APF request execution time

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Waktu dari awal eksekusi permintaan hingga selesai.

APF request wait time

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_duration_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Waktu permintaan menunggu dalam antrean sebelum eksekusi.

QPS of successfully dispatched APF requests

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS permintaan yang berhasil didispatch.

QPS of rejected APF requests

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS permintaan yang ditolak karena melebihi batas konkurensi atau kapasitas antrean.

Name

PromQL

Description

Admission controller latency [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi admission controller tipe admit.

Bucket histogram:{0.005, 0.025, 0.1, 0.5, 2.5}. Satuan: detik.

Admission controller latency [validate]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi admission controller tipe validate.

Bucket histogram:{0.005, 0.025, 0.1, 0.5, 2.5}. Satuan: detik.

Admission webhook latency [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi webhook tipe admit.

Bucket histogram:{0.005, 0.025, 0.1, 0.5, 2.5}. Satuan: detik.

Admission webhook latency [validating]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval])) )

Nama, operasi, status penolakan, dan waktu eksekusi webhook tipe validating.

Bucket histogram:{0.005, 0.025, 0.1, 0.5, 2.5}. Satuan: detik.

Admission webhook request QPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

QPS permintaan admission webhook.

Name

PromQL

Description

QPS analysis by client

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

QPS berdasarkan klien, menunjukkan klien mana yang mengakses API Server.

QPS analysis by verb, resource, and client

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

QPS permintaan server API, dikelompokkan berdasarkan verb, resource, dan klien.

QPS of LIST requests without resourceVersion

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• QPS permintaan LIST yang tidak menyertakan bidang resourceVersion, dikelompokkan berdasarkan resource dan klien.

• Analisis bagian permintaan LIST ke API Server yang mencapai etcd. Gunakan metrik ini untuk mengidentifikasi dan mengoptimalkan perilaku LIST klien.

Normal

Abnormal

Description

Read request success rate dan Write request success rate seharusnya mendekati 100%.

Read request success rate dan Write request success rate tetap pada persentase rendah, misalnya kurang dari 90%.

Banyak permintaan mengembalikan kode status non-2xx.

Normal

Abnormal

Description

GET read request latency, LIST read request latency, dan Write request latency berkorelasi dengan ukuran kluster dan jumlah resource yang diakses. Tidak ada ambang batas tetap—latensi dapat diterima selama tidak memengaruhi aplikasi Anda. Misalnya, semakin besar volume resource yang diakses klien, semakin lama permintaan LIST membutuhkan waktu. Biasanya, GET read request latency dan Write request latency di bawah 1 detik, serta LIST read request latency di bawah 5 detik dianggap normal.

• GET read request latency atau Write request latency melebihi 1 detik.

• LIST read request latency melebihi 5 detik.

Jika latensi permintaan tinggi, periksa apakah faktor seperti jumlah resource kluster yang besar atau panggilan webhook yang lambat turut berkontribusi.

Normal

Abnormal

Description

Umumnya, Number of read requests processed dan Number of write requests processed berada di bawah 100, dan Request limit rate bernilai 0.

• Number of read requests processed atau Number of write requests processed melebihi 100.

• Request limit rate lebih besar dari 0.

Jika antrean permintaan memiliki backlog, singkirkan faktor seperti lonjakan permintaan mendadak atau webhook yang lambat. Jika kapasitas antrean terlampaui, API server akan melakukan throttling terhadap permintaan, menyebabkan Request limit rate naik di atas 0 dan memengaruhi stabilitas kluster.

Normal

Abnormal

Description

Admission webhook latency seharusnya kurang dari 0,5 detik.

Admission webhook latency terus-menerus melebihi 0,5 detik.

Respons webhook yang lambat memengaruhi latensi respons API server.