Container Service for Kubernetes:kube-apiserver: Metrics and dashboard

Nom

PromQL

Description

API QPS

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

Temps de réponse des requêtes GET, ventilé par pod API Server, ressource et étendue.

Read request success rate

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

Temps de réponse des requêtes LIST, ventilé par pod API Server, ressource et étendue.

Write request success rate

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

Temps de réponse des requêtes de modification, ventilé par pod API Server, verbe (à l'exception de GET, WATCH, LIST, CONNECT), ressource et étendue.

Number of in-flight read requests

apiserver_current_inflight_requests{request_kind="readOnly"}

Requêtes en lecture actuellement traitées par API Server.

Number of in-flight write requests

apiserver_current_inflight_requests{request_kind="mutating"}

Requêtes en écriture actuellement traitées par API Server.

Request throttling rate

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

Taux de limitation des requêtes pour API Server. L'absence de données (No data) ou la valeur 0 indique qu'aucune limitation n'est appliquée.

Nom

PromQL

Description

GET read request latency

memory_utilization_byte{container="kube-apiserver"}

Utilisation de la mémoire par API Server. Unité : octets.

LIST read request latency

cpu_utilization_core{container="kube-apiserver"}*1000

Utilisation du CPU par API Server. Unité : millicœurs.

Write request latency

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• Pour les clusters ACK exécutant la version 1.22 ou ultérieure, le nom de la métrique est apiserver_storage_objects.

• Pour les clusters ACK exécutant une version antérieure à 1.22, le nom de la métrique est etcd_object_counts.

Niveau d'utilisation de la mémoire

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="normal"}

• Si resource_utilization_level{utilization_level="high",...} est égal à 1, le niveau d'utilisation des ressources du conteneur est supérieur ou égal à 80 %.

• Si resource_utilization_level{utilization_level="normal",...} est égal à 1, le niveau d'utilisation des ressources du conteneur est inférieur à 80 %.

Niveau d'utilisation du CPU

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="normal"}

Nom

PromQL

Description

Number of in-flight read requests

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Limite de concurrence des requêtes APF, ventilée par PL ou Instance + PL. Nombre théorique maximal de requêtes concurrentes par file d'attente prioritaire.

apiserver_flowcontrol_request_concurrency_limit est obsolète depuis Kubernetes 1.30 et supprimé dans la version 1.31. Pour les clusters exécutant la version 1.31 ou ultérieure, utilisez apiserver_flowcontrol_nominal_limit_seats à la place.

Number of in-flight write requests

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Request throttling rate

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

Requêtes actuellement en cours d'exécution sous APF, ventilées par FS + PL ou Instance + FS + PL.

Memory usage

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

CPU usage

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

Requêtes en attente dans la file d'attente, ventilées par FS + PL ou Instance + FS + PL.

Resource object count

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

QPS analysis by verb

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

Métriques de slots APF par Instance + PL :

• Slots de limite nominale : concurrence maximale nominale en slots par file d'attente prioritaire.

• Slots de limite actuelle : nombre maximal de slots concurrents après ajustements dynamiques par file d'attente prioritaire.

• Slots en cours d'exécution : slots consommés par les requêtes actuellement en cours d'exécution par file d'attente prioritaire.

• Slots en file d'attente : slots consommés par les requêtes en attente par file d'attente prioritaire.

QPS analysis by verb and resource

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

Request latency analysis by verb

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

Request latency analysis by verb and resource

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

QPS of read requests with non-2xx responses

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Temps écoulé entre le début et la fin de l'exécution de la requête.

QPS of write requests with non-2xx responses

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Temps d'attente d'une requête dans la file d'attente avant son exécution.

API Server to etcd request latency

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS des requêtes distribuées avec succès.

APF request concurrency limit (by PL)

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS des requêtes rejetées car elles dépassent la limite de concurrence ou la capacité de la file d'attente.

Nom

PromQL

Description

APF request concurrency limit (by Instance + PL)

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

QPS par client, indiquant quels clients accèdent à API Server.

Number of current APF executing requests (by FS + PL)

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

QPS des requêtes API Server, ventilé par verbe, ressource et client.

Number of current APF executing requests (by Instance + FS + PL)

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• QPS des requêtes LIST n'incluant pas le champ resourceVersion, ventilé par ressource et client.

• Analysez les requêtes LIST envoyées de API Server vers etcd pour optimiser le comportement des clients API Server.

Normal

Anormal

Description

Les métriques APF request execution time, APF request wait time et QPS of successfully dispatched APF requests dépendent de la taille du cluster et du nombre de ressources accessibles. Il n'existe pas de seuil fixe : la latence est acceptable tant qu'elle n'affecte pas vos applications. En règle générale, les valeurs QPS of rejected APF requests et Admission controller latency [admit] inférieures à 1 seconde, ainsi que Admission controller latency [validate] inférieure à 5 secondes, sont normales.

• La métrique Admission webhook latency [admit] ou Admission webhook latency [validating] dépasse 1 seconde.

• La métrique Admission webhook request QPS dépasse 5 secondes.

Si la latence des requêtes est élevée, vous devez exclure des facteurs tels qu'un grand nombre de ressources dans le cluster ou des appels de webhooks lents.

Normal

Anormal

Description

En règle générale, le read request success rate et le write request success rate sont inférieurs à 100, et le read request success rate est de 0.

• Le write request success rate ou le Non-2xx Read Request QPS dépasse 100.

• Le Non-2xx Write Request QPS est supérieur à 0.

Si la file d'attente des requêtes présente un backlog, excluez des facteurs tels qu'une augmentation soudaine des requêtes ou des webhooks lents. Si la capacité de la file d'attente est dépassée, API server applique une limitation de débit, ce qui entraîne une augmentation du GET/deployment 404 au-dessus de 0 et affecte la stabilité du cluster.