Container Service for Kubernetes:オープンソース Prometheus による ACK クラスターの監視

DingTalk アラートの設定

1. 設定ファイルで、dingtalk フィールドを見つけ、enabled を true に設定します。

2. token フィールドに、DingTalk ウェブフック URL を入力します。

   Webhook URL については、「Kubernetes のモニタリングとアラートのための DingTalk チャットボットの使用」をご参照ください。

3. alertmanagerのconfig フィールドで、receiverの設定を見つけ、receiversで定義した DingTalk アラート名を入力します。デフォルト名は webhook です。

   例：複数の DingTalk チャットボットの設定

   2 つの DingTalk チャットボットがある場合は、次の手順に従います：

   1. DingTalk の token 設定を置き換えます。

      DingTalk チャットボット設定で、ウェブフック URL を dingtalk1 と dingtalk2 のアドレスに置き換えます。 https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxx を実際のウェブフック URL に置き換えます。

      ##
      podAnnotations: {}
      service:
        ## dingtalk サービスの設定
        ##
        annotations: {}
      clusterIP: ""
      externalIPs: ""
      loadBalancerIP: ""
      type: ClusterIP
      image:
        repository: timonwong/prometheus-webhook-dingtalk
        tag: latest
        pullPolicy: IfNotPresent
      # DingTalk ロボットのトークンを入力してください
      # 参考: https://open-doc.dingtalk.com/microapp/serverapi2/qf2nxq
      token:
      - dingtalk1=https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxx
      - dingtalk2=https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxx

   2. receivers を変更します。

      alertmanager の config フィールドで receiver を探し、receivers 設定から対応する DingTalk アラート名を入力します。この例では、名前は webhook1 と webhook2 です。

   3. URL の値を変更します。

      URL の値を、対応する DingTalk Webhook 名に置き換えます。この例では、名前は dingtalk1 と dingtalk2 です。

      config:
        global:
          resolve_timeout: 5m
        route:
          group_by: ['job']
          group_wait: 1m
          group_interval: 1m
          repeat_interval: 2m
          receiver: "webhook1"
          routes:
            - match:
                alertname: Watchdog
              receiver: "webhook2"
        receivers:
        #- name: "null"
        - name: webhook1
          webhook_configs:
            - url: http://ack-prometheus-operator-dingtalk:8060/dingtalk/dingtalk1/send
              send_resolved: true
        - name: webhook2
          webhook_configs:
            - url: http://ack-prometheus-operator-dingtalk:8060/dingtalk/dingtalk2/send
              send_resolved: true

   説明

   さらに DingTalk チャットボットを追加するには、各 Webhook 設定を順番に追加します。

メールアラートの設定

1. ハイライトされたセクションに、メールの詳細を入力します。

2. alertmanager の config フィールドで receiver を見つけ、receivers で定義されているメールアラート名を入力します。デフォルト名は mail です。

config:
  global:
    resolve_timeout: 5m
  route:
    group_by: ['job']
    group_wait: 1m
    group_interval: 1m
    repeat_interval: 2m
    receiver: "null"
    routes:
    - match:
        alertname: Watchdog
      receiver: "null"
  receivers:
  - name: "null"
  #- name: webhook
  #  webhook_configs:
  #  - url: http://ack-prometheus-operator-alertmanager.monitoring:8060/dingtalk/ops_dingding/send
  #    send_resolved: true
  #- name: 'mail'
  #  email_configs:
  #  - to: 'xxxxxxx@qq.com'        # 受信アドレス: 
  #    smarthost: 'smtp.163.com:465' # SMTP サーバーアドレス: 
  #    from: 'xxxxx@163.com'        # 送信者アドレス: 
  #    auth_username: 'xxxxx@163.com'  # メールユーザー名: 
  #    auth_password: 'xxxxxxxxx'      # メールパスワード (認証コード): 
  #    require_tls: false             # TLS スイッチ: 
  #    send_resolved: true

アラート receiver テンプレート

alertmanager 設定の templateFiles セクションで、アラートテンプレートをカスタマイズします。

##
templateFiles: {}
#
# テンプレートの例:
#   template_1.tmpl: |-
#     {{ define "cluster" }}{{ .ExternalURL | reReplaceAll ".*alertmanager\.(.*)" "$1" }}{{ end }}
#
#     {{ define "slack.myorg.text" }}
#     {{- $root := . -}}
#     {{ range .Alerts }}
#       *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}`
#       *Cluster:*  {{ template "cluster" $root }}
#       *Description:* {{ .Annotations.description }}
#       *Graph:* <{{ .GeneratorURL }}|:chart_with_upwards_trend:>
#       *Runbook:* <{{ .Annotations.runbook }}|:spiral_note_pad:>
#       *Details:*
#         {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}`
#         {{ end }}

Grafana へのダッシュボードファイルのマウント

extraConfigmapMounts: []
# - name: certs-configmap
#   mountPath: /etc/grafana/ssl/
#   configMap: certs-configmap
#   readOnly: true

ダッシュボードの永続化の有効化

バックアップのためにダッシュボードを JSON ファイルとしてエクスポートします。詳細については、「Grafana エクスポート」をご参照ください。

1. ACK コンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のウィンドウで、[アプリケーション] > [ヘルム] を選択します。

3. ack-prometheus-operator を見つけて更新をクリックします。grafana フィールドで、persistence オプションを以下のように設定します。

   ##
   persistence:
     # 永続化スイッチ:
     enabled: false
     # storageClass 名: ストレージクラスには alicloud-disk-available、alicloud-disk-efficiency、alicloud-disk-essd、alicloud-disk-ssd の 4 種類があります
     storageClassName: alicloud-disk-efficiency
     accessModes:
       - ReadWriteOnce
     size: 30 Gi
     # annotations: {}
     # subPath: ""
     #existingClaim:

オープンソース Prometheus のアンインストール

リソースの残存を防ぐため、お使いの Helm Chart のバージョンに応じた手順に従ってください。Helm リリース、名前空間、CRD、および kubelet Service を手動でクリーンアップします。

kubelet Service はアンインストール時に自動的に削除されません。これは既知のコミュニティの問題 (#1523) です。以下で説明するように手動で削除してください。

アラートサイレンスの設定

サイレンスルールは、サイレンス期間が終了するかルールが削除されるまで、一致するアラート通知を抑制します。

DingTalk の設定後にアラートが受信されない

1. DingTalk チャットボットの Webhook URL を取得します。詳細については、「イベントモニタリング」をご参照ください。

2. dingtalk フィールドを見つけ、enabled を true に設定し、Token フィールドに DingTalk Webhook URL を入力します。詳細については、「アラート設定」の「DingTalk アラートの設定」をご参照ください。

prometheus-operator のデプロイ時のエラー

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

メールアラートが機能しない

認証コードの代わりに auth_password にログインパスワードを入力すると、メールアラートが失敗する場合があります。SMTP サーバーアドレスにはポート番号を含める必要があります。

[YAML 更新] をクリックするとエラーが発生する：The current cluster is temporarily unavailable. Please try again later.

これは、Tiller 設定ファイルが大きすぎてクラスターにアクセスできなくなる場合に発生します。コメントを削除してファイルサイズを小さくし、ConfigMap としてマウントします。prometheus-operator は、prometheus および alertmanager Pod の ConfigMap マウントのみをサポートしています。詳細については、「Prometheus へのカスタム ConfigMap のマウント」をご参照ください。

デプロイ後の機能の有効化

prometheus-operator をデプロイした後に機能を有効にします。クラスターの詳細ページで、アプリケーション > Helm を選択します。ack-prometheus-operator を見つけ、[操作] 列の 更新 をクリックします。有効にする機能を見つけて設定し、 OK をクリックします。

TSDB と Alibaba Cloud ディスクの選択

## メトリクスを保持する期間
##
retention: 10d

Grafana ダッシュボードの表示の問題

クラスターの詳細ページで、アプリケーション > Helm を選択します。ack-prometheus-operator を見つけ、[操作] 列の 更新 をクリックします。 clusterVersion がクラスターのバージョンと一致していることを確認します。v1.16 より前のクラスターの場合は 1.14.8-aliyun.1 を入力します。v1.16 以降の場合は 1.16.6-aliyun.1 を入力します。

名前空間の削除後の再インストール失敗