Container Service for Kubernetes:kube-apiserver コンポーネントのメトリックとダッシュボード

名前

PromQL

説明

API QPS

sum(irate(apiserver_request_total[$interval]))

API Server の合計 QPS。

読み取りリクエスト成功率

sum(irate(apiserver_request_total{code=~"20.*",verb=~"GET|LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~"GET|LIST"}[$interval]))

API Server が読み取りリクエストを処理する際の成功率。

書き込みリクエスト成功率

sum(irate(apiserver_request_total{code=~"20.*",verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))

API Server が書き込みリクエストを処理する際の成功率。

処理中の読み取りリクエスト数

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

API Server が現在処理している読み取りリクエストの数。

処理中の書き込みリクエスト数

sum(apiserver_current_inflight_requests{requestKind="mutating"})

API Server が現在処理している書き込みリクエストの数。

リクエストスロットリング率

sum(irate(apiserver_dropped_requests_total[$interval]))

ドロップされたリクエスト率。

スロットリング中に API Server によって積極的にドロップされたリクエストの総リクエスト数に対する比率。

名前

PromQL

説明

GET 読み取りリクエストレイテンシー

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

GET リクエストの応答時間を表示します。ディメンションには、API Server Pod、Verb (GET)、Resources、および Scope が含まれます。

LIST 読み取りリクエストレイテンシー

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

LIST リクエストの応答時間を表示します。ディメンションには、API Server Pod、Verb (LIST)、Resources、および Scope が含まれます。

書き込みリクエストレイテンシー

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

変更リクエストの応答時間を表示します。ディメンションには、API Server Pod、Verb (GET、WATCH、LIST、CONNECT を除く)、Resources、および Scope が含まれます。

処理中の読み取りリクエスト数

apiserver_current_inflight_requests{request_kind="readOnly"}

API Server が処理している読み取りリクエストの数。

処理中の書き込みリクエスト数

apiserver_current_inflight_requests{request_kind="mutating"}

API Server が処理している書き込みリクエストの数。

リクエストスロットリング率

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

API Server のスロットリング率。No data または 0 は、スロットリングが発生していないことを示します。

名前

PromQL

説明

メモリ使用量

memory_utilization_byte{container="kube-apiserver"}

API Server のメモリ使用量。単位: バイト。

CPU 使用率

cpu_utilization_core{container="kube-apiserver"}*1000

API Server の CPU 使用率。単位: ミリコア。

リソースオブジェクト数

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• ACK バージョンが 1.22 以降の場合、メトリック名は apiserver_storage_objects です。

• ACK バージョンが 1.22 より前の場合、メトリック名は etcd_object_counts です。

名前

PromQL

説明

Verb 別の QPS 分析

sum(irate(apiserver_request_total{verb=~"$verb"}[$interval]))by(verb)

Verb 別にリクエストのクエリ/秒 (QPS) を分析します。

Verb とリソース別の QPS 分析

sum(irate(apiserver_request_total{verb=~"$verb",resource=~"$resource"}[$interval]))by(verb,resource)

Verb と Resource 別にリクエストの QPS を分析します。

Verb 別のリクエストレイテンシー分析

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT",resource!=""}[$interval])) by (le,verb))

Verb 別にリクエストレイテンシーを分析します。

Verb とリソース別のリクエストレイテンシー分析

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT", resource=~"$resource",resource!=""}[$interval])) by (le,verb,resource))

Verb と Resource 別にリクエストレイテンシーを分析します。

2xx 以外の戻り値を持つ読み取りリクエストの QPS

sum(irate(apiserver_request_total{verb=~"GET|LIST",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

2xx 以外の戻り値を持つ読み取りリクエストの QPS をカウントします。2xx 以外の戻り値は、4xx や 5xx などの失敗を示します。

2xx 以外の戻り値を持つ書き込みリクエストの QPS

sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH",verb=~"$verb",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

2xx 以外の戻り値を持つ書き込みリクエストの QPS をカウントします。2xx 以外の戻り値は、4xx や 5xx などの失敗を示します。

API Server から Etcd へのリクエストレイテンシー

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

API Server から etcd へのリクエストレイテンシーをカウントします。

名前

PromQL

説明

APF リクエスト同時実行数制限 (PL 別)

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

PL 別または Instance と PL 別に APF リクエストの同時実行数制限をカウントします。これは、優先度付きキューが理論的に同時に処理できるリクエストの最大数です。

apiserver_flowcontrol_request_concurrency_limit メトリックは Kubernetes v1.30 で非推奨となり、v1.31 で削除されます。Kubernetes v1.31 以降を実行するクラスターでは、代わりに apiserver_flowcontrol_nominal_limit_seats メトリックを使用してください。

APF リクエスト同時実行数制限 (Instance および PL 別)

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

現在の APF 実行中リクエスト数 (FS および PL 別)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

FS と PL 別、または Instance、FS、PL 別に現在実行中の APF リクエストの数をカウントします。

現在の APF 実行中リクエスト数 (Instance、FS、および PL 別)

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

キューで待機中の APF リクエスト数 (FS および PL 別)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

FS と PL 別、または Instance、FS、PL 別に現在のキューで処理を待っているリクエストの数をカウントします。

キューで待機中の APF リクエスト数 (Instance、FS、および PL 別)

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

APF 公称同時実行数制限シート数

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

Instance と PL 別に APF シート関連のメトリックをカウントします。メトリックには以下が含まれます。

• 公称同時実行数制限: 異なる優先度のキューに対する公称最大同時実行シート制限。

• 現在の同時実行数制限: 動的調整後、異なる優先度のキューで許可される最大同時実行シート数。

• 実行中: 異なる優先度のキューで現在実行中のリクエストに対応するシート数。

• キュー内: 異なる優先度のキューで待機中のリクエストに対応するシート数。

APF 現在の同時実行数制限シート数

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

現在実行中の APF シート数

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

現在キューにある APF シート数

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

APF リクエスト実行時間

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

リクエストが実行開始から完了するまでにかかる時間。

APF リクエスト待機時間

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

リクエストがキューに入ってから実行が開始されるまでの待機時間。

正常にディスパッチおよび処理された APF リクエストの QPS

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

正常にスケジュールされ、処理されたリクエストの QPS。

拒否された APF リクエストの QPS

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

同時実行数制限またはキュー容量を超えたために拒否されたリクエストの QPS。

名前

PromQL

説明

アドミッションコントローラーレイテンシー [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval])) )

使用される admit タイプのアドミッションコントローラーの名前、操作、拒否ステータス、および実行時間。

メトリックのバケットのしきい値は {0.005, 0.025, 0.1, 0.5, 2.5} です。単位は秒です。

アドミッションコントローラーレイテンシー [validate]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval])) )

使用される validate タイプのアドミッションコントローラーの名前、操作、拒否ステータス、および実行時間。

メトリックのバケットのしきい値は {0.005, 0.025, 0.1, 0.5, 2.5} です。単位は秒です。

アドミッション Webhook レイテンシー [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval])) )

使用される admit タイプの Webhook の名前、操作、拒否ステータス、および実行時間。

メトリックのバケットのしきい値は {0.005, 0.025, 0.1, 0.5, 2.5} です。単位は秒です。

アドミッション Webhook レイテンシー [validating]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval])) )

使用される validating タイプの Webhook の名前、操作、拒否ステータス、および実行時間。

メトリックのバケットのしきい値は {0.005, 0.025, 0.1, 0.5, 2.5} です。単位は秒です。

アドミッション Webhook リクエスト QPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

アドミッション Webhook のリクエスト QPS。

名前

PromQL

説明

クライアント別の QPS 分析

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

クライアント別に QPS を分析します。これは、API Server にアクセスするクライアントとその QPS を分析するために使用されます。

Verb、リソース、クライアント別の QPS 分析

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

Verb、Resource、Client 別に QPS を分析します。

Verb、リソース、クライアント別の LIST リクエスト QPS 分析 (ResourceVersion フィールドなし)

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• resourceVersion フィールドなしで、Verb、Resource、Client 別に LIST リクエストの QPS を分析します。

• API Server へのすべての LIST リクエストの中から、etcd への一部の LIST リクエストを分析できます。これは、API Server クライアントの LIST 動作を特定し、最適化するのに役立ちます。

法線

異常

説明

[読み取りリクエスト成功率] と [書き込みリクエスト成功率] は 100% に近いです。

[読み取りリクエスト成功率] と [書き込みリクエスト成功率] は、たとえば 90% 未満など、低いパーセンテージのままです。

200 以外の戻り値を持つリクエストが多数あります。

法線

異常

説明

[GET 読み取りリクエストレイテンシー]、[LIST 読み取りリクエストレイテンシー]、および [書き込みリクエストレイテンシー] は、アクセスされるクラスターリソースの数とクラスターの規模に関連しています。正常な時間と異常な時間の間に固定の境界はありません。ビジネスに影響がない限り、レイテンシーは許容範囲内です。たとえば、特定のタイプのリソースにアクセスするほど、LIST リクエストにかかる時間は長くなります。一般的に、[GET 読み取りリクエストレイテンシー] と [書き込みリクエストレイテンシー] が 1 秒未満、[LIST 読み取りリクエストレイテンシー] が 5 秒未満であれば正常です。

• [GET 読み取りリクエストレイテンシー] と [書き込みリクエストレイテンシー] は 1 秒を超えています。

• [LIST 読み取りリクエストレイテンシー] は 5 秒を超えています。

リクエストの応答時間が長すぎる場合は、多くのクラスターリソースや遅い Webhook 呼び出しなどの要因を除外する必要があります。

法線

異常

説明

一般的に、[処理中の読み取りリクエスト数] と [処理中の書き込みリクエスト数] が 100 未満で、[リクエストスロットリング率] が 0 であれば正常です。

• [処理中の読み取りリクエスト数] と [処理中の書き込みリクエスト数] は 100 を超えています。

• [リクエストスロットリング率] は 0 より大きいです。

リクエストを処理するキューにバックログがある場合、リクエストの急増や遅い Webhook 呼び出しによる処理遅延などの要因を除外する必要があります。キューの長さを超えると、API Server はリクエストをスロットリングします。これにより、[リクエストスロットリング率] が 0 より大きくなり、クラスターの安定性に影響します。

法線

異常

説明

[アドミッション Webhook レイテンシー] は 0.5 秒未満です。

[アドミッション Webhook レイテンシー] は持続的に 0.5 秒を超えています。

遅い Webhook 応答は、API Server の応答時間に影響します。