Container Service for Kubernetes:Monitor an ACK cluster with open-source Prometheus

Configurar alertas via DingTalk

1. No arquivo de configuração, localize o campo dingtalk e defina enabled como true.

2. No campo token, insira a URL do webhook do DingTalk.

   Consulte Use DingTalk Chatbots for Kubernetes Monitoring and Alerting para obter a URL do webhook.

3. No campo alertmanager config, localize a configuração de receiver e insira o nome do alerta DingTalk definido em receivers. O nome padrão é webhook.

   Exemplo: Configurar múltiplos chatbots do DingTalk

   Se você possui dois chatbots do DingTalk, siga estas etapas:

   1. Substitua a configuração do token do DingTalk.

      Nas configurações do chatbot do DingTalk, substitua as URLs de webhook pelos endereços de dingtalk1 e dingtalk2. Substitua https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxx pelas suas URLs de webhook reais.

      ##
      podAnnotations: {}
      service:
        ## Configuration for dingtalk service
        ##
        annotations: {}
      clusterIP: ""
      externalIPs: ""
      loadBalancerIP: ""
      type: ClusterIP
      image:
        repository: timonwong/prometheus-webhook-dingtalk
        tag: latest
        pullPolicy: IfNotPresent
      # pls fill your dingtalk rebot token
      # ref: https://open-doc.dingtalk.com/microapp/serverapi2/qf2nxq
      token:
      - dingtalk1=https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxx
      - dingtalk2=https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxx

   2. Modifique receivers.

      No campo alertmanager config, localize receiver e insira os nomes de alerta do DingTalk correspondentes da sua configuração de receivers. Neste exemplo, os nomes são webhook1 e webhook2.

   3. Modifique o valor da URL.

      Substitua o valor na URL pelo nome do webhook do DingTalk correspondente. Neste exemplo, os nomes são dingtalk1 e dingtalk2.

      config:
        global:
          resolve_timeout: 5m
        route:
          group_by: ['job']
          group_wait: 1m
          group_interval: 1m
          repeat_interval: 2m
          receiver: "webhook1"
          routes:
            - match:
                alertname: Watchdog
              receiver: "webhook2"
        receivers:
        #- name: "null"
        - name: webhook1
          webhook_configs:
            - url: http://ack-prometheus-operator-dingtalk:8060/dingtalk/dingtalk1/send
              send_resolved: true
        - name: webhook2
          webhook_configs:
            - url: http://ack-prometheus-operator-dingtalk:8060/dingtalk/dingtalk2/send
              send_resolved: true

   Nota

   Para adicionar mais chatbots do DingTalk, inclua cada configuração de webhook em sequência.

Configurar alertas por e-mail

1. Na seção destacada, insira os dados do e-mail.

2. No campo alertmanager config, localize receiver e insira o nome do alerta por e-mail definido em receivers. O nome padrão é mail.

config:
  global:
    resolve_timeout: 5m
  route:
    group_by: ['job']
    group_wait: 1m
    group_interval: 1m
    repeat_interval: 2m
    receiver: "null"
    routes:
    - match:
        alertname: Watchdog
      receiver: "null"
  receivers:
  - name: "null"
  #- name: webhook
  #  webhook_configs:
  #  - url: http://ack-prometheus-operator-alertmanager.monitoring:8060/dingtalk/ops_dingding/send
  #    send_resolved: true
  #- name: 'mail'
  #  email_configs:
  #  - to: 'xxxxxxx@qq.com'        #receive address
  #    smarthost: 'smtp.163.com:465' #stmp server address
  #    from: 'xxxxx@163.com'        #sender address
  #    auth_username: 'xxxxx@163.com'  #email-username
  #    auth_password: 'xxxxxxxxx'      #email-password(Authorization code)
  #    require_tls: false             #tls switch
  #    send_resolved: true

Modelo de receptor de alertas

Personalize os modelos de alerta na seção templateFiles da configuração do alertmanager.

##
templateFiles: {}
#
# An example template:
#   template_1.tmpl: |-
#     {{ define "cluster" }}{{ .ExternalURL | reReplaceAll ".*alertmanager\.(.*)" "$1" }}{{ end }}
#
#     {{ define "slack.myorg.text" }}
#     {{- $root := . -}}
#     {{ range .Alerts }}
#       *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}`
#       *Cluster:*  {{ template "cluster" $root }}
#       *Description:* {{ .Annotations.description }}
#       *Graph:* <{{ .GeneratorURL }}|:chart_with_upwards_trend:>
#       *Runbook:* <{{ .Annotations.runbook }}|:spiral_note_pad:>
#       *Details:*
#         {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}`
#         {{ end }}

Monte um arquivo de painel no Grafana

extraConfigmapMounts: []
# - name: certs-configmap
#   mountPath: /etc/grafana/ssl/
#   configMap: certs-configmap
#   readOnly: true

Ative a persistência de painéis

Exporte painéis como arquivos JSON para backup. Consulte Exportação do Grafana.

1. Faça logon no console do ACK. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique em no nome do cluster desejado. No painel de navegação à esquerda, clique em Applications > Helm.

3. Localize ack-prometheus-operator e clique em Update. No campo grafana, configure a opção persistence conforme o exemplo abaixo.

   ##
   persistence:
     #Persistent switch
     enabled: false
     #storageClass Name,there are four types of storageclasses: alicloud-disk-available,alicloud-disk-efficiency,alicloud-disk-essd,alicloud-disk-ssd
     storageClassName: alicloud-disk-efficiency
     accessModes:
       - ReadWriteOnce
     size: 30Gi
     # annotations: {}
     # subPath: ""
     #existingClaim:

Desinstalar o Prometheus open source

Para evitar recursos residuais, siga o procedimento correspondente à versão do seu Helm chart. Remova manualmente o Helm release, o namespace, os CRDs e o service do kubelet.

O service do kubelet não é excluído automaticamente durante a desinstalação — trata-se de um problema conhecido na comunidade ( #1523 ). Exclua-o manualmente conforme descrito a seguir.

Configure o silenciamento de alertas

Regras de silenciamento suprimem notificações de alertas correspondentes até que o período de silenciamento expire ou a regra seja excluída.

Alertas não recebidos após a configuração do DingTalk

1. Obtenha a URL de webhook do seu chatbot DingTalk. Consulte Event Monitoring.

2. Localize o campo dingtalk, defina enabled como true e insira a URL de webhook do DingTalk no campo Token. Consulte Configure DingTalk alerts em Alert configuration.

Erro ao implantar o prometheus-operator

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

Alertas por e-mail não funcionam

Os alertas por e-mail podem falhar se você informar a senha de login em vez do código de autorização no campo smtp_auth_password. O endereço do servidor SMTP deve incluir o número da porta.

Ocorre um erro ao clicar em YAML Update: The current cluster is temporarily unavailable. Please try again later.

Isso acontece quando o arquivo de configuração do Tiller é muito grande, tornando o cluster inacessível. Reduza o tamanho do arquivo removendo os comentários e monte-o como um ConfigMap. O prometheus-operator suporta montagem de ConfigMap apenas para Pods do prometheus e do alertmanager. Consulte Mount a custom ConfigMap to Prometheus.

Ativar recursos após a implantação

Ative recursos após implantar o prometheus-operator. Na página de detalhes do cluster, escolha Applications > Helm. Localize ack-prometheus-operator e clique em Update na coluna Actions. Encontre o recurso que deseja ativar, configure-o e clique em OK.

Escolher entre TSDB e discos Alibaba Cloud

## How long to retain metrics
##
retention: 10d

Problemas de exibição no painel do Grafana

Na página de detalhes do cluster, escolha Applications > Helm. Localize ack-prometheus-operator e clique em Update na coluna Actions. Verifique se clusterVersion corresponde à versão do seu cluster. Para clusters anteriores à v1.16, insira 1.14.8-aliyun.1. Para v1.16 ou posterior, insira 1.16.6-aliyun.1.

A reinstalação falha após excluir o namespace