Container Service for Kubernetes：kube-apiserver組件監控指標及大盤使用說明

名稱

PromQL

說明

API QPS

sum(irate(apiserver_request_total[$interval]))

API Server的總QPS。

讀請求成功率

sum(irate(apiserver_request_total{code=~"20.*",verb=~"GET|LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~"GET|LIST"}[$interval]))

API Server處理讀請求的成功率。

寫請求成功率

sum(irate(apiserver_request_total{code=~"20.*",verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))

API Server處理寫請求的成功率。

在處理讀請求數量

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

API Server當前在處理的讀請求數量。

在處理寫請求數量

sum(apiserver_current_inflight_requests{requestKind="mutating"})

API Server當前在處理的寫請求數量。

請求限流速率

sum(irate(apiserver_dropped_requests_total[$interval]))

Dropped Request Rate。

API Server限流策略過程中，主動丟棄掉的請求數所佔總請求數的比例。

名稱

PromQL

說明

GET讀請求時延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

展示GET請求的回應時間，維度包括API Server Pod、Verb（GET）、Resources、Scope。

LIST讀請求時延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

展示LIST請求的回應時間，維度包括API Server Pod、Verb（LIST）、Resources、Scope。

寫請求時延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

展示Mutating請求的回應時間，維度包括API Server Pod、Verb（GET、WATCH、LIST、CONNECT）、Resources、Scope。

在處理讀請求數量

apiserver_current_inflight_requests{request_kind="readOnly"}

API Server正在處理的讀請求數量。

在處理寫請求數量

apiserver_current_inflight_requests{request_kind="mutating"}

API Server正在處理的寫請求數量。

請求限流速率

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

API Server的限流速率 ，No data或者0表示沒有限流。

名稱

PromQL

說明

記憶體使用量量

memory_utilization_byte{container="kube-apiserver"}

API Server的記憶體使用量量。單位：位元組。

CPU使用量

cpu_utilization_core{container="kube-apiserver"}*1000

API Server的CPU使用量。單位：毫核。

資來源物件數量

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• 當ACK為1.22及以上版本時， 指標名字為apiserver_storage_objects

• 當ACK為1.22及以下版本時，指標名字為etcd_object_counts。

名稱

PromQL

說明

按Verb維度分析QPS

sum(irate(apiserver_request_total{verb=~"$verb"}[$interval]))by(verb)

按Verb維度，統計單位時間（1s）內的請求QPS。

按Verb+Resource維度分析QPS

sum(irate(apiserver_request_total{verb=~"$verb",resource=~"$resource"}[$interval]))by(verb,resource)

按Verb+Resource維度，統計單位時間（1s）內的請求QPS。

按Verb維度分析請求時延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT",resource!=""}[$interval])) by (le,verb))

按Verb維度，分析請求時延。

按Verb+Resource維度分析請求時延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT", resource=~"$resource",resource!=""}[$interval])) by (le,verb,resource))

按Verb+Resource維度，分析請求時延。

非2xx傳回值的讀請求QPS

sum(irate(apiserver_request_total{verb=~"GET|LIST",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

統計非2xx傳回值（除成功以外的所有情況，例如4xx、5xx等）的讀請求QPS。

非2xx傳回值的寫請求QPS

sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH",verb=~"$verb",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

統計非2xx傳回值（除成功以外的所有情況，例如4xx、5xx等）的寫請求QPS。

Apiserver對etcd請求時延

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

統計API Server對etcd的請求時延。

名稱

PromQL

說明

APF 請求並發限制（維度：PL）

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

按 PL 或 Instance + PL 維度統計 APF 請求並發限制，即某個優先順序隊列理論上允許同時處理的最大請求數。

apiserver_flowcontrol_request_concurrency_limit 在Kubernetes 1.30版本變為Deprecated，自1.31版本起移除，1.31及以上版本的叢集中建議使用apiserver_flowcontrol_nominal_limit_seats指標代替。

APF 請求並發限制（維度：Instance + PL）

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

APF 當前執行請求數量（維度：FS + PL）

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

按 FS + PL 或 Instance + FS + PL 維度統計 APF 當前正在執行的請求數量。

APF 當前執行請求數量（維度：Instance + FS + PL）

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

APF當前在隊列中待處理請求數量（維度：FS + PL）

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

按 FS + PL 或 Instance + FS + PL 維度統計當前隊列中待處理的請求數量。

APF 當前隊列中待處理請求數量（維度：Instance + FS + PL）

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

APF 名義並發限制席位元量

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

按 Instance + PL 維度統計APF席位元量的相關指標。包括以下指標：

• 名義並發限制：不同優先順序隊列的名義最大並發席位限制。

• 當前並發限制：不同優先順序隊列中，在動態調整後實際允許的最大並發席位元量。

• 在執行：不同優先順序隊列中當前正在執行的請求數對應的席位元量。

• 隊列中：不同優先順序隊列中排隊中的請求數對應的席位元量。

APF 當前並發限制席位元量

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

APF 當前在執行的席位元量

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

APF 當前隊列中席位元量

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

APF 請求執行時間

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

請求從開始執行到最終完成所花費的時間。

APF 請求等待時間

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

請求從進入隊列到開始執行之間的等待時間。

APF 成功調度並處理的請求QPS

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

成功調度並處理的請求QPS。

APF 拒絕請求QPS

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

因超出並發限制或隊列容量而被拒絕的請求QPS。

名稱

PromQL

說明

准入控制器時延[admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval])) )

使用到的admit類型的Admission Controller名稱、操作、是否拒絕以及相應的執行時間。

指標Bucket的閾值為{0.005、0.025、0.1、0.5、2.5}。單位：秒。

准入控制器時延[validate]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval])) )

使用到的validate類型的Admission Controller名稱、操作、是否拒絕以及相應的執行時間。

指標Bucket的閾值為{0.005、0.025、0.1、0.5、2.5}。單位：秒。

准入Webhook時延[admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval])) )

使用到的admit類型的Webhook名稱、操作、是否拒絕以及相應的執行時間。

指標Bucket的閾值為{0.005、0.025、0.1、0.5、2.5}，單位：秒。

准入Webhook時延[validating]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval])) )

使用到的admit類型的Webhook名稱、操作、是否拒絕以及相應的執行時間。

指標Bucket的閾值為{0.005、0.025、0.1、0.5、2.5}。單位：秒。

准入Webhook請求QPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

准入Webhook的請求QPS。

名稱

PromQL

說明

按Client維度分析QPS

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

按Client維度分析QPS。用於分析訪問API Server的用戶端以及QPS。

按Verb+Resource+Client維度分析QPS

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

按Verb+Resource+Client維度分析QPS。

按Verb+Resource+Client維度分析LIST請求QPS（無resourceVersion欄位）

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• 按Verb+Resource+Client維度分析LIST請求的QPS（無resourceVersion欄位）。

• 可以分析對API Server的全部LIST請求中、到etcd的部分LIST請求，協助識別以及最佳化API Server用戶端的LIST行為。

正常情況

異常情況

說明

讀請求成功率和寫請求成功率接近100%。

讀請求成功率和寫請求成功率維持在較低百分比，例如小於90%。

存在較多非200傳回值請求。

正常情況

異常情況

說明

GET讀請求時延、LIST讀請求時延、寫請求時延與訪問的叢集資源數量和叢集規模相關聯，沒有固定的正常與異常的時間分界，只要不影響業務即在接受範圍內。例如，如果訪問的某種資源量越大，那麼LIST請求時間就會越長。一般情況下，GET讀請求時延、寫請求時延小於1s，LIST讀請求時延小於5s，為正常現象。

• GET讀請求時延、寫請求時延大於1s。

• LIST讀請求時延大於5s。

請求的響應時延過長時，需要排除叢集資源數量多、Webhook調用慢等因素的影響。

正常情況

異常情況

說明

通常情況下，在處理讀請求數量和在處理寫請求數量小於100，請求限流速率為0，為正常現象。

• 在處理讀請求數量、在處理寫請求數量大於100。

• 請求限流速率大於0。

當前在處理請求的隊列積壓時，需要排除短時請求量湧入導致處理延時、Webhook調用慢等因素的影響。超過隊列長度時，API Server會限流，導致請求限流速率大於0，影響叢集穩定性。

正常情況

異常情況

說明

准入Webhook時延小於0.5s。

持續出現准入Webhook時延大於0.5s。

Webhook響應慢會影響API Server的響應時延。