Container Service for Kubernetes:kube-apiserver: Metrics and dashboard

Nome

PromQL

Descrição

API QPS

sum(irate(apiserver_request_total[$interval]))

QPS total para o API Server.

Read request success rate

sum(irate(apiserver_request_total{code=~"20.*",verb=~"GET

LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~"GET

LIST"}[$interval]))

Taxa de sucesso de requisições de leitura para o API Server.

Write request success rate

sum(irate(apiserver_request_total{code=~"20.*",verb!~"GET

LIST

WATCH

CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~"GET

LIST

WATCH

CONNECT"}[$interval]))

Taxa de sucesso de requisições de escrita para o API Server.

Number of read requests processed

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

Requisições de leitura atualmente em andamento.

Number of write requests processed

sum(apiserver_current_inflight_requests{requestKind="mutating"})

Requisições de escrita atualmente em andamento.

Request limit rate

sum(irate(apiserver_dropped_requests_total[$interval]))

Porcentagem do total de requisições descartadas pela política de throttling do API server.

Nome

PromQL

Descrição

GET read request latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

Tempo de resposta de requisições GET, detalhado por pod do API Server, recurso e escopo.

LIST read request latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

Tempo de resposta de requisições LIST, detalhado por pod do API Server, recurso e escopo.

Write request latency

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

Tempo de resposta de requisições mutáveis, detalhado por pod do API Server, verbo (excluindo GET, WATCH, LIST, CONNECT), recurso e escopo.

Number of read requests processed

apiserver_current_inflight_requests{request_kind="readOnly"}

Requisições de leitura que o API Server processa atualmente.

Number of write requests processed

apiserver_current_inflight_requests{request_kind="mutating"}

Requisições de escrita que o API Server processa atualmente.

Request limit rate

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

Taxa de limite de requisições para o API Server. No data ou 0 indica ausência de throttling.

Nome

PromQL

Descrição

Memory usage

memory_utilization_byte{container="kube-apiserver"}

Uso de memória do API Server. Unidade: bytes.

CPU usage

cpu_utilization_core{container="kube-apiserver"}*1000

Uso de CPU do API Server. Unidade: milinúcleos.

Resource object count

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• Para clusters ACK executando v1.22 ou posterior, o nome da métrica é apiserver_storage_objects.

• Para clusters ACK executando v1.22 ou anterior, o nome da métrica é etcd_object_counts.

Devido a problemas de compatibilidade, tanto apiserver_storage_objects quanto etcd_object_counts existem na versão 1.22.

Nível de utilização de memória

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="normal"}

• Se resource_utilization_level{utilization_level="high",...} for 1, o nível de utilização de recursos do container é ≥ 80%.

• Se resource_utilization_level{utilization_level="normal",...} for 1, o nível de utilização de recursos do container é < 80%.

Nível de utilização de CPU

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="normal"}

Nome

PromQL

Descrição

QPS analysis by verb

sum(irate(apiserver_request_total{verb=~"$verb"}[$interval]))by(verb)

QPS de requisições, detalhado por verbo.

QPS analysis by verb and resource

sum(irate(apiserver_request_total{verb=~"$verb",resource=~"$resource"}[$interval]))by(verb,resource)

QPS de requisições, detalhado por verbo e recurso.

Request latency analysis by verb

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH

CONNECT",resource!=""}[$interval])) by (le,verb))

Latência de requisições, detalhada por verbo.

Request latency analysis by verb and resource

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH

CONNECT", resource=~"$resource",resource!=""}[$interval])) by (le,verb,resource))

Latência de requisições, detalhada por verbo e recurso.

QPS of read requests with non-2xx responses

sum(irate(apiserver_request_total{verb=~"GET

LIST",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

QPS de requisições de leitura que retornaram um código de status não-2xx, como 4xx ou 5xx.

QPS of write requests with non-2xx responses

sum(irate(apiserver_request_total{verb!~"GET

LIST

WATCH",verb=~"$verb",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

QPS de requisições de escrita que retornaram um código de status não-2xx, como 4xx ou 5xx.

API Server to etcd request latency

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

Latência de requisições do API Server para o etcd.

Nome

PromQL

Descrição

APF request concurrency limit (by PL)

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Limite de concorrência de requisições APF, detalhado por PL ou Instance + PL. Representa o número máximo teórico de requisições simultâneas por fila de prioridade.

apiserver_flowcontrol_request_concurrency_limit foi descontinuado no Kubernetes 1.30 e removido na versão 1.31. Para clusters executando v1.31 ou posterior, use apiserver_flowcontrol_nominal_limit_seats.

APF request concurrency limit (by Instance + PL)

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

Number of current APF executing requests (by FS + PL)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

Requisições em execução sob APF, detalhadas por FS + PL ou Instance + FS + PL.

Number of current APF executing requests (by Instance + FS + PL)

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

Number of current APF in-queue requests (by FS + PL)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

Requisições aguardando na fila, detalhadas por FS + PL ou Instance + FS + PL.

Number of current APF in-queue requests (by Instance + FS + PL)

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

APF nominal limit seats

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

Métricas de assentos APF por Instance + PL:

• Nominal limit seats: máximo nominal de concorrência em assentos por fila de prioridade.

• Current limit seats: máximo de assentos simultâneos após ajustes dinâmicos por fila de prioridade.

• Executing seats: assentos consumidos por requisições em execução por fila de prioridade.

• In-queue seats: assentos consumidos por requisições em espera por fila de prioridade.

APF current limit seats

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

APF current executing seats

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

APF current in-queue seats

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

APF request execution time

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Tempo desde o início da execução da requisição até a conclusão.

APF request wait time

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_duration_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

Tempo que uma requisição aguarda na fila antes da execução.

QPS of successfully dispatched APF requests

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS de requisições despachadas com sucesso.

QPS of rejected APF requests

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

QPS de requisições rejeitadas por excederem o limite de concorrência ou a capacidade da fila.

Nome

PromQL

Descrição

Admission controller latency [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval])) )

Nome, operação, status de rejeição e tempo de execução de controladores de admissão do tipo admit.

Buckets do histograma:{0.005, 0.025, 0.1, 0.5, 2.5}. Unidade: segundos.

Admission controller latency [validate]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval])) )

Nome, operação, status de rejeição e tempo de execução de controladores de admissão do tipo validate.

Buckets do histograma:{0.005, 0.025, 0.1, 0.5, 2.5}. Unidade: segundos.

Admission webhook latency [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval])) )

Nome, operação, status de rejeição e tempo de execução de webhooks do tipo admit.

Buckets do histograma:{0.005, 0.025, 0.1, 0.5, 2.5}. Unidade: segundos.

Admission webhook latency [validating]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval])) )

Nome, operação, status de rejeição e tempo de execução de webhooks do tipo validating.

Buckets do histograma:{0.005, 0.025, 0.1, 0.5, 2.5}. Unidade: segundos.

Admission webhook request QPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

QPS de requisições de webhooks de admissão.

Nome

PromQL

Descrição

QPS analysis by client

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

QPS por cliente, mostrando quais clientes acessam o API Server.

QPS analysis by verb, resource, and client

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

QPS de requisições do servidor de API, detalhado por verbo, recurso e cliente.

QPS of LIST requests without resourceVersion

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• QPS de requisições LIST que não incluem o campo resourceVersion, detalhado por recurso e cliente.

• Analise a parcela de requisições LIST para o API Server que chegam ao etcd. Use esta métrica para identificar e otimizar o comportamento LIST dos clientes.

Normal

Anormal

Descrição

A Read request success rate e a Write request success rate devem estar próximas de 100%.

A Read request success rate e a Write request success rate permanecem em uma porcentagem baixa, por exemplo, menos de 90%.

Muitas requisições retornam códigos de status não-2xx.

Normal

Anormal

Descrição

A GET read request latency, a LIST read request latency e a Write request latency correlacionam-se com o tamanho do cluster e o número de recursos acessados. Não há um limiar fixo — a latência é aceitável se não afetar suas aplicações. Por exemplo, quanto maior o volume de um recurso acessado pelos clientes, mais tempo as requisições LIST levam. Normalmente, GET read request latency e Write request latency abaixo de 1s, e LIST read request latency abaixo de 5s são consideradas normais.

• A GET read request latency ou a Write request latency excede 1s.

• A LIST read request latency excede 5s.

Se a latência da requisição estiver alta, verifique se fatores como grande quantidade de recursos no cluster ou chamadas lentas de webhook estão contribuindo.

Normal

Anormal

Descrição

Normalmente, Number of read requests processed e Number of write requests processed ficam abaixo de 100, e Request limit rate é 0.

• O Number of read requests processed ou o Number of write requests processed excede 100.

• A Request limit rate é maior que 0.

Se a fila de requisições tiver um backlog, descarte fatores como pico repentino de requisições ou webhooks lentos. Se a capacidade da fila for excedida, o API server aplica throttling nas requisições, fazendo com que a Request limit rate suba acima de 0 e afetando a estabilidade do cluster.

Normal

Anormal

Descrição

A Admission webhook latency deve ser inferior a 0,5s.

A Admission webhook latency excede persistentemente 0,5s.

Respostas lentas de webhook afetam a latência de resposta do API server.