Container Service for Kubernetes:Pantau kluster ACK dengan Prometheus open-source

Konfigurasi peringatan DingTalk

1. Dalam file konfigurasi, temukan field dingtalk dan atur enabled ke true.

2. Pada field token, masukkan URL webhook DingTalk.

   Lihat Gunakan Chatbot DingTalk untuk Pemantauan dan Peringatan Kubernetes untuk URL webhook.

3. Dalam field konfigurasi alertmanager config, temukan konfigurasi receiver dan masukkan nama peringatan DingTalk yang ditentukan di receivers. Nama default adalah webhook.

   Contoh: Konfigurasi beberapa chatbot DingTalk

   Jika Anda memiliki dua chatbot DingTalk, ikuti langkah-langkah berikut:

   1. Ganti konfigurasi token DingTalk.

      Di pengaturan chatbot DingTalk, ganti URL webhook dengan alamat untuk dingtalk1 dan dingtalk2. Ganti https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxx dengan URL webhook aktual Anda.

      ##
      podAnnotations: {}
      service:
        ## Configuration for dingtalk service
        ##
        annotations: {}
      clusterIP: ""
      externalIPs: ""
      loadBalancerIP: ""
      type: ClusterIP
      image:
        repository: timonwong/prometheus-webhook-dingtalk
        tag: latest
        pullPolicy: IfNotPresent
      # pls fill your dingtalk rebot token
      # ref: https://open-doc.dingtalk.com/microapp/serverapi2/qf2nxq
      token:
      - dingtalk1=https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxx
      - dingtalk2=https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxx

   2. Ubah receivers.

      Dalam field alertmanager config, temukan receiver dan masukkan nama peringatan DingTalk yang sesuai dari konfigurasi receivers Anda. Dalam contoh ini, nama-namanya adalah webhook1 dan webhook2.

   3. Ubah nilai URL.

      Ganti nilai di URL dengan nama webhook DingTalk yang sesuai. Dalam contoh ini, nama-namanya adalah dingtalk1 dan dingtalk2.

      config:
        global:
          resolve_timeout: 5m
        route:
          group_by: ['job']
          group_wait: 1m
          group_interval: 1m
          repeat_interval: 2m
          receiver: "webhook1"
          routes:
            - match:
                alertname: Watchdog
              receiver: "webhook2"
        receivers:
        #- name: "null"
        - name: webhook1
          webhook_configs:
            - url: http://ack-prometheus-operator-dingtalk:8060/dingtalk/dingtalk1/send
              send_resolved: true
        - name: webhook2
          webhook_configs:
            - url: http://ack-prometheus-operator-dingtalk:8060/dingtalk/dingtalk2/send
              send_resolved: true

   Catatan

   Untuk menambahkan lebih banyak chatbot DingTalk, tambahkan setiap konfigurasi webhook secara berurutan.

Konfigurasi peringatan email

1. Masukkan detail email di bagian yang disorot.

2. Dalam field alertmanager config, temukan receiver dan masukkan nama peringatan email yang ditentukan di receivers. Nama default adalah mail.

config:
  global:
    resolve_timeout: 5m
  route:
    group_by: ['job']
    group_wait: 1m
    group_interval: 1m
    repeat_interval: 2m
    receiver: "null"
    routes:
    - match:
        alertname: Watchdog
      receiver: "null"
  receivers:
  - name: "null"
  #- name: webhook
  #  webhook_configs:
  #  - url: http://ack-prometheus-operator-alertmanager.monitoring:8060/dingtalk/ops_dingding/send
  #    send_resolved: true
  #- name: 'mail'
  #  email_configs:
  #  - to: 'xxxxxxx@qq.com'        #receive address
  #    smarthost: 'smtp.163.com:465' #stmp server address
  #    from: 'xxxxx@163.com'        #sender address
  #    auth_username: 'xxxxx@163.com'  #email-username
  #    auth_password: 'xxxxxxxxx'      #email-password(Authorization code)
  #    require_tls: false             #tls switch
  #    send_resolved: true

Templat penerima peringatan

Sesuaikan templat peringatan di bagian templateFiles pada konfigurasi alertmanager.

##
templateFiles: {}
#
# An example template:
#   template_1.tmpl: |-
#     {{ define "cluster" }}{{ .ExternalURL | reReplaceAll ".*alertmanager\.(.*)" "$1" }}{{ end }}
#
#     {{ define "slack.myorg.text" }}
#     {{- $root := . -}}
#     {{ range .Alerts }}
#       *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}`
#       *Cluster:*  {{ template "cluster" $root }}
#       *Description:* {{ .Annotations.description }}
#       *Graph:* <{{ .GeneratorURL }}|:chart_with_upwards_trend:>
#       *Runbook:* <{{ .Annotations.runbook }}|:spiral_note_pad:>
#       *Details:*
#         {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}`
#         {{ end }}

Mount file dashboard ke Grafana

extraConfigmapMounts: []
# - name: certs-configmap
#   mountPath: /etc/grafana/ssl/
#   configMap: certs-configmap
#   readOnly: true

Aktifkan persistensi dashboard

Ekspor dashboard sebagai file JSON untuk backup. Lihat Ekspor Grafana.

1. Masuk ke Konsol ACK. Di panel navigasi kiri, klik Clusters.

2. Pada halaman Clusters, klik nama kluster Anda. Di panel navigasi kiri, klik Applications > Helm.

3. Temukan ack-prometheus-operator dan klik Update. Di field grafana, konfigurasikan opsi persistence seperti di bawah.

   ##
   persistence:
     #Persistent switch
     enabled: false
     #storageClass Name,there are four types of storageclasses: alicloud-disk-available,alicloud-disk-efficiency,alicloud-disk-essd,alicloud-disk-ssd
     storageClassName: alicloud-disk-efficiency
     accessModes:
       - ReadWriteOnce
     size: 30Gi
     # annotations: {}
     # subPath: ""
     #existingClaim:

Hapus instalan Prometheus sumber terbuka

Untuk mencegah sisa sumber daya, ikuti prosedur sesuai versi chart Helm Anda. Bersihkan secara manual rilis Helm, namespace, CRD, dan Service kubelet.

Service kubelet tidak dihapus otomatis saat uninstal — masalah umum di komunitas (#1523). Hapus secara manual seperti dijelaskan di bawah.

Konfigurasi penonaktifan peringatan

Aturan penonaktifan menekan notifikasi peringatan yang sesuai hingga periode penonaktifan berakhir atau aturan tersebut dihapus.

Tidak menerima peringatan setelah konfigurasi DingTalk

1. Dapatkan URL webhook untuk chatbot DingTalk Anda. Lihat Pemantauan Event.

2. Temukan field dingtalk, atur enabled ke true, lalu masukkan URL webhook DingTalk di field Token. Lihat Konfigurasi peringatan DingTalk di Konfigurasi peringatan.

Error saat menerapkan prometheus-operator

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

Peringatan email tidak berfungsi

Peringatan email dapat gagal jika Anda memasukkan kata sandi login untuk smtp_auth_password alih-alih kode otorisasi. Pastikan alamat server SMTP mencakup nomor port.

Terjadi error saat Anda mengklik YAML Update: Kluster saat ini sementara tidak tersedia. Silakan coba lagi nanti.

Hal ini terjadi ketika file konfigurasi Tiller terlalu besar sehingga membuat kluster tidak dapat diakses. Kurangi ukuran file dengan menghapus komentar dan mount sebagai ConfigMap. Prometheus-operator hanya mendukung mounting ConfigMap untuk Pod Prometheus dan Alertmanager. Lihat Mount ConfigMap kustom ke Prometheus.

Aktifkan fitur setelah penerapan

Untuk mengaktifkan fitur setelah menerapkan prometheus-operator, buka halaman detail kluster, lalu pilih Applications > Helm. Temukan ack-prometheus-operator, lalu klik Update di kolom Actions. Pilih fitur yang akan diaktifkan, konfigurasikan, lalu klik OK.

Pilih antara TSDB dan disk Alibaba Cloud

## How long to retain metrics
##
retention: 10d

Masalah tampilan dasbor Grafana

Di halaman detail kluster, pilih Applications > Helm. Temukan ack-prometheus-operator, lalu klik Update di kolom Actions. Verifikasi bahwa clusterVersion sesuai dengan versi kluster Anda. Untuk kluster sebelum v1.16, masukkan 1.14.8-aliyun.1. Untuk v1.16 atau lebih baru, masukkan 1.16.6-aliyun.1.

Instalasi ulang gagal setelah menghapus namespace