Container Service for Kubernetes:セルフマネージド Prometheus による ACK Pro コントロールプレーンコンポーネントのモニタリング

kube-apiserver

API サーバーは、すべてのコントロールプレーンメトリクスのエントリポイントです。他のコンポーネントのジョブは、プロキシとして API サーバー経由でルーティングされます。

スクレイプ設定：

- job_name: ack-api-server
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  kubernetes_sd_configs:
    - role: endpoints
      namespaces:
        names: [default]
  relabel_configs:
    - source_labels: [__meta_kubernetes_service_label_component]
      action: keep
      regex: apiserver
    - source_labels: [__meta_kubernetes_service_label_provider]
      action: keep
      regex: kubernetes
    - source_labels: [__meta_kubernetes_endpoint_port_name]
      action: keep
      regex: https

推奨アラートルール：

- alert: AckApiServerWarning
  expr: (absent(up{job="ack-api-server",pod!=""}) or (count(up{job="ack-api-server",pod!=""}) <= 1)) == 1
  for: 5m
  labels:
    severity: critical
  annotations:
    message: "APIServer が利用できません。Prometheus のジョブとターゲットのステータスを確認してください。"

pod!="" フィルターは、サービスレベルのエンドポイントを除外し、実際のコントロールプレーン Pod を対象にします。 <= 1 のしきい値は、正常な API サーバーのレプリカが 1 つ以下の場合にトリガーされ、高可用性が低下していることを示します。for: 5m 句により、短時間の再起動による誤検知を防止します。

etcd

API サーバープロキシを介して etcd メトリクスを収集します。honor_labels: true 設定により、プロキシの元のコンポーネントラベルが保持されます。

スクレイプ設定：

- job_name: ack-etcd
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  params:
    hosting: ["true"]
    job: ["etcd"]
  kubernetes_sd_configs:
    - role: endpoints
      namespaces:
        names: [default]
  authorization:
    credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config:
    insecure_skip_verify: false
    ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    server_name: kubernetes
  relabel_configs:
    - source_labels: [__meta_kubernetes_service_label_component]
      action: keep
      regex: apiserver
    - source_labels: [__meta_kubernetes_service_label_provider]
      action: keep
      regex: kubernetes
    - source_labels: [__meta_kubernetes_endpoint_port_name]
      action: keep
      regex: https

推奨アラートルール：

- alert: AckETCDLeaderMissing
  expr: sum_over_time(etcd_server_has_leader[5m]) == 0
  for: 5m
  labels:
    severity: critical
  annotations:
    message: "過去 5 分間、etcd クラスターにリーダーが存在しません。クラスターが過負荷になっていないか確認してください。"

- alert: AckETCDDown
  expr: (absent(up{job="ack-etcd",pod!=""}) or (count(up{job="ack-etcd",pod!=""}) <= 2)) == 1
  for: 5m
  labels:
    severity: critical
  annotations:
    message: "Etcd が利用できません。Prometheus のジョブとターゲットのステータスを確認してください。"

AckETCDLeaderMissing は、5 分間にわたって etcd リーダーが選出されない場合に発火し、スプリットブレインまたは過負荷のクラスターを示します。AckETCDDown は、etcd がコンセンサスに達するには少なくとも 3 つのメンバーからなるクォーラムが必要であり、メンバーが 2 つ以下ではコンセンサスに達することができないため、しきい値として <= 2 ではなく <= 0 を使用します。

kube-scheduler

スケジューラーのヘルスとスケジューリングレイテンシを監視します。

スクレイプ設定：

- job_name: ack-scheduler
  scrape_interval: 30s
  scheme: https
  params:
    hosting: ["true"]
    job: ["ack-scheduler"]
  kubernetes_sd_configs:
    - role: endpoints
      namespaces:
        names: [default]
  authorization:
    credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config:
    insecure_skip_verify: false
    ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    server_name: kubernetes
  relabel_configs:
    - source_labels: [__meta_kubernetes_service_label_component]
      action: keep
      regex: apiserver
    - source_labels: [__meta_kubernetes_endpoint_port_name]
      action: keep
      regex: https

推奨アラートルール：

- alert: AckSchedulerWarning
  expr: (absent(up{job="ack-scheduler",pod!=""}) or (count(up{job="ack-scheduler",pod!=""}) <= 0)) == 1
  for: 3m
  labels:
    severity: critical
  annotations:
    message: "Scheduler が利用できません。Prometheus のジョブとターゲットのステータスを確認してください。"

for: 3m の期間が API サーバーおよび etcd のアラートより短いのは、スケジューラーの停止が新しい Pod のスケジューリングを直接ブロックするため、より迅速な検知が必要だからです。

kube-controller-manager (KCM)

ノード、Namespace、Deployment など、Kubernetes のコアオブジェクトに対するコントローラーを監視します。

スクレイプ設定：

- job_name: ack-kcm
  scrape_interval: 30s
  scheme: https
  params:
    hosting: ["true"]
    job: ["ack-kube-controller-manager"]
  kubernetes_sd_configs:
    - role: endpoints
      namespaces:
        names: [default]
  authorization:
    credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config:
    ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    server_name: kubernetes
  relabel_configs:
    - source_labels: [__meta_kubernetes_service_label_component]
      action: keep
      regex: apiserver
    - source_labels: [__meta_kubernetes_endpoint_port_name]
      action: keep
      regex: https

推奨アラートルール：

- alert: AckKCMWarning
  expr: (absent(up{job="ack-kcm",pod!=""}) or (count(up{job="ack-kcm",pod!=""}) <= 0)) == 1
  for: 3m
  labels:
    severity: critical
  annotations:
    message: "KCM が利用できません。Prometheus のジョブとターゲットのステータスを確認してください。"

cloud-controller-manager (CCM)

クラスターを Alibaba Cloud インフラストラクチャと統合する CCM を監視します。このジョブでは、他のコンポーネントで使用する authorization.credentials_file ではなく、認可に bearer_token_file を使用します。

スクレイプ設定：

- job_name: ack-cloud-controller-manager
  scrape_interval: 30s
  scheme: https
  params:
    hosting: ["true"]
    job: ["ack-cloud-controller-manager"]
  kubernetes_sd_configs:
    - role: endpoints
      namespaces:
        names: [default]
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config:
    ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    server_name: kubernetes
  relabel_configs:
    - source_labels: [__meta_kubernetes_service_label_component]
      action: keep
      regex: apiserver
    - source_labels: [__meta_kubernetes_endpoint_port_name]
      action: keep
      regex: https

推奨アラートルール：

- alert: AckCCMWarning
  expr: (absent(up{job="ack-cloud-controller-manager",pod!=""}) or (count(up{job="ack-cloud-controller-manager",pod!=""}) <= 0)) == 1
  for: 3m
  labels:
    severity: critical
  annotations:
    message: "CCM が利用できません。Prometheus のジョブとターゲットのステータスを確認してください。"

pod!="" フィルターにより、有効なコントロールプレーン Pod のみがアラート対象となり、短時間のネットワーク中断やローリング再起動中の誤検知を回避できます。