Container Service for Kubernetes:kube-apiserver: Metrics and dashboard

名前

PromQL

説明

API QPS

sum(irate(apiserver_request_total[$interval]))

API サーバーの合計 QPS。

読み取りリクエスト成功率

sum(irate(apiserver_request_total{code=~"20.*",verb=~"GET|LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~"GET|LIST"}[$interval]))

API サーバーの読み取りリクエスト成功率。

書き込みリクエスト成功率

sum(irate(apiserver_request_total{code=~"20.*",verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))

API サーバーの書き込みリクエスト成功率。

処理済み読み取りリクエスト数

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

現在処理中の読み取りリクエスト。

処理済みの書き込みリクエスト数

sum(apiserver_current_inflight_requests{requestKind="mutating"})

現在処理中の書き込みリクエスト。

リクエスト制限率

sum(irate(apiserver_dropped_requests_total[$interval]))

API サーバーのスロットリングポリシーによってドロップされたリクエストの合計に対する割合。

名前

PromQL

説明

GET 読み取りリクエストのレイテンシー

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

GET リクエストのレスポンスタイム。API サーバーの Pod、リソース、スコープ別に分類されます。

LIST 読み取りリクエストのレイテンシー

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

LIST リクエストのレスポンスタイム。API サーバーの Pod、リソース、スコープ別に分類されます。

書き込みリクエストのレイテンシー

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

Mutating リクエストのレスポンスタイム。API サーバーの Pod、Verb (GET、WATCH、LIST、CONNECT を除く)、リソース、スコープ別に分類されます。

処理済みの読み取りリクエスト数

apiserver_current_inflight_requests{request_kind="readOnly"}

API サーバーが現在処理中の読み取りリクエスト。

処理済みの書き込みリクエスト数

apiserver_current_inflight_requests{request_kind="mutating"}

API サーバーが現在処理中の書き込みリクエスト。

リクエスト制限レート

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

API サーバーのリクエスト制限率。No data または 0 はスロットリングがないことを示します。

名前

PromQL

説明

メモリ使用量

memory_utilization_byte{container="kube-apiserver"}

API サーバーのメモリ使用量。単位：バイト。

CPU 使用量

cpu_utilization_core{container="kube-apiserver"}*1000

API サーバーの CPU 使用量。単位：ミリコア。

リソースオブジェクト数

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• v1.22 以降を実行している ACK クラスターの場合、メトリック名は apiserver_storage_objects です。

• v1.22 以前を実行している ACK クラスターの場合、メトリック名は etcd_object_counts です。

互換性の問題により、バージョン 1.22 には apiserver_storage_objects と etcd_object_counts の両方が存在します。

メモリ使用率レベル

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="memory",container="kube-apiserver",utilization_level="normal"}

• resource_utilization_level{utilization_level="high",...} が 1 の場合、コンテナのリソース使用率は ≥ 80% です。

• resource_utilization_level{utilization_level="normal",...} が 1 の場合、コンテナのリソース使用率は < 80% です。

CPU 使用率レベル

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="high"}

• resource_utilization_level{resource="cpu",container="kube-apiserver",utilization_level="normal"}

名前

PromQL

説明

Verb 別の QPS 分析

sum(irate(apiserver_request_total{verb=~"$verb"}[$interval]))by(verb)

Verb 別に分類されたリクエスト QPS。

Verb とリソース別の QPS 分析

sum(irate(apiserver_request_total{verb=~"$verb",resource=~"$resource"}[$interval]))by(verb,resource)

Verb とリソース別に分類されたリクエスト QPS。

Verb 別のリクエストレイテンシー分析

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT",resource!=""}[$interval])) by (le,verb))

Verb 別に分類されたリクエストレイテンシー。

Verb とリソース別のリクエストレイテンシー分析

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT", resource=~"$resource",resource!=""}[$interval])) by (le,verb,resource))

Verb とリソース別に分類されたリクエストレイテンシー。

2xx 以外のレスポンスを持つ読み取りリクエストの QPS

sum(irate(apiserver_request_total{verb=~"GET|LIST",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

4xx や 5xx などの 2xx 以外のステータスコードを返した読み取りリクエストの QPS。

2xx 以外のレスポンスを持つ書き込みリクエストの QPS

sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH",verb=~"$verb",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

4xx や 5xx などの 2xx 以外のステータスコードを返した書き込みリクエストの QPS。

API サーバーから etcd へのリクエストレイテンシー

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

API サーバーから etcd へのリクエストのレイテンシー。

名前

PromQL

説明

APF リクエスト同時実行数制限 (PL 別)

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

PL または Instance + PL 別に分類された APF リクエスト同時実行数制限。優先度付きキューごとの理論上の最大同時実行リクエスト数を表します。

apiserver_flowcontrol_request_concurrency_limit は Kubernetes 1.30 で非推奨となり、1.31 で削除されました。v1.31 以降を実行しているクラスターでは、代わりに apiserver_flowcontrol_nominal_limit_seats を使用してください。

APF リクエスト同時実行数制限 (Instance + PL 別)

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

現在の APF 実行中リクエスト数 (FS + PL 別)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

APF 下で現在実行中のリクエスト。FS + PL または Instance + FS + PL 別に分類されます。

現在の APF 実行中リクエスト数 (Instance + FS + PL 別)

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

現在の APF キュー内リクエスト数 (FS + PL 別)

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

キューで待機中のリクエスト。FS + PL または Instance + FS + PL 別に分類されます。

現在の APF キュー内リクエスト数 (Instance + FS + PL 別)

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

APF 公称制限シート

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

Instance + PL 別の APF シートメトリック：

• 名目上の制限シート数：優先度付きキューごとの名目上の最大同時実行シート数。

• 現在の制限シート数：優先度付きキューごとの動的調整後の最大同時実行シート数。

• 実行中シート数：優先度付きキューごとに現在実行中のリクエストによって消費されるシート数。

• キュー内シート数：優先度付きキューごとに待機中のリクエストによって消費されるシート数。

APF 現在の制限シート数

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

APF 現在の実行中シート数

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

APF 現在のキュー内シート数

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

APF リクエスト実行時間

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

リクエスト実行開始から完了までの時間。

APF リクエスト待機時間

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_duration_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

リクエストが実行前にキューで待機する時間。

正常にディスパッチされた APF リクエストの QPS

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

正常にディスパッチされたリクエストの QPS。

拒否された APF リクエストの QPS

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

同時実行数制限またはキューキャパシティを超えたために拒否されたリクエストの QPS。

名前

PromQL

説明

アドミッションコントローラーのレイテンシー [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval])) )

admit タイプのアドミッションコントローラーの名前、操作、拒否ステータス、および実行時間。

ヒストグラムバケット：{0.005, 0.025, 0.1, 0.5, 2.5}。単位：秒。

アドミッションコントローラーのレイテンシー [validate]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval])) )

validate タイプのアドミッションコントローラーの名前、操作、拒否ステータス、および実行時間。

ヒストグラムバケット：{0.005, 0.025, 0.1, 0.5, 2.5}。単位：秒。

アドミッション Webhook のレイテンシー [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval])) )

admit タイプの Webhook の名前、操作、拒否ステータス、および実行時間。

ヒストグラムバケット：{0.005, 0.025, 0.1, 0.5, 2.5}。単位：秒。

アドミッション Webhook のレイテンシー [validating]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval])) )

validating タイプの Webhook の名前、操作、拒否ステータス、および実行時間。

ヒストグラムバケット：{0.005, 0.025, 0.1, 0.5, 2.5}。単位：秒。

アドミッション Webhook のリクエスト QPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

アドミッション Webhook のリクエスト QPS。

名前

PromQL

説明

クライアント別の QPS 分析

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

クライアント別の QPS。API サーバーにアクセスしているクライアントを示します。

Verb、リソース、クライアント別の QPS 分析

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

API サーバーリクエストの QPS。Verb、リソース、クライアント別に分類されます。

resourceVersion のない LIST リクエストの QPS

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• resourceVersion フィールドを含まない LIST リクエストの QPS。リソースとクライアント別に分類されます。

• etcd に到達する API サーバーへの LIST リクエストの割合を分析します。このメトリックを使用して、クライアントの LIST 動作を特定し、最適化します。

正常

異常

説明

[読み取りリクエスト成功率] と [書き込みリクエスト成功率] は 100% に近い値であるべきです。

[読み取りリクエスト成功率] と [書き込みリクエスト成功率] が低いパーセンテージ、例えば 90% 未満で推移します。

多くのリクエストが 2xx 以外のステータスコードを返します。

正常

異常

説明

[GET 読み取りリクエストのレイテンシー]、[LIST 読み取りリクエストのレイテンシー]、および [書き込みリクエストのレイテンシー] は、クラスターのサイズとアクセスされるリソースの数と相関します。固定のしきい値はなく、アプリケーションに影響を与えない限り、レイテンシーは許容範囲内です。例えば、クライアントがアクセスするリソースのボリュームが大きいほど、LIST リクエストにかかる時間は長くなります。通常、[GET 読み取りリクエストのレイテンシー] と [書き込みリクエストのレイテンシー] が 1 秒未満、[LIST 読み取りリクエストのレイテンシー] が 5 秒未満であれば正常です。

• [GET 読み取りリクエストのレイテンシー] または [書き込みリクエストのレイテンシー] が 1 秒を超えます。

• [LIST 読み取りリクエストのレイテンシー] が 5 秒を超えます。

リクエストのレイテンシーが高い場合は、多数のクラスターリソースや遅い Webhook 呼び出しなどの要因が寄与しているかどうかを確認します。

正常

異常

説明

通常、[処理中の読み取りリクエスト数] と [処理中の書き込みリクエスト数] は 100 未満で、[リクエスト制限率] は 0 です。

• [読み取りリクエストの処理数] または [書き込みリクエストの処理数] が 100 を超えています。

• [リクエスト制限率] が 0 より大きいです。

リクエストキューにバックログがある場合は、急なリクエストの急増や遅い Webhook などの要因を除外します。キューのキャパシティを超えると、API サーバーはリクエストをスロットリングし、[リクエスト制限率] が 0 を超え、クラスターの安定性に影響を与えます。

正常

異常

説明

[アドミッション Webhook のレイテンシー] は 0.5 秒未満であるべきです。

[アドミッション Webhook のレイテンシー] が持続的に 0.5 秒を超えます。

遅い Webhook のレスポンスは、API サーバーのレスポンスレイテンシーに影響を与えます。