Container Service for Kubernetes:Monitor an ACK cluster with open-source Prometheus

Contexto

Este tópico aborda o monitoramento de componentes do sistema e entidades de recursos em um cluster Kubernetes. Os alvos de monitoramento dividem-se em duas categorias:

• Monitoramento de recursos: rastreia a utilização de recursos de nós, clusters e Pods.

• Monitoramento de aplicações: acompanha métricas internas da aplicação, como contagem de usuários em tempo real. Exponha portas para ativar o monitoramento e os alertas no nível da aplicação.

Os alvos de monitoramento incluem:

• Componentes do sistema: componentes nativos do Kubernetes, como API Server, cloud-controller-manager e etcd. Configure o monitoramento nos respectivos arquivos de configuração.

• Entidades de recursos estáticos: recursos como status de nó e eventos de kernel. Especifique-os nos arquivos de configuração para ativar o monitoramento.

• Entidades de recursos dinâmicos: objetos de workload do Kubernetes, como Deployments, DaemonSets e Pods. Implante o Prometheus para monitorá-los.

• Aplicações personalizadas: exponha portas e use o Prometheus para coletar métricas personalizadas das suas aplicações.

Etapa 1: Implantar o Prometheus open source

1. Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique no nome do seu cluster. No painel de navegação à esquerda, clique em Applications > Helm.

3. Na página Helm, clique em Deploy. Na seção Chart, pesquise e selecione **ack-prometheus-operator**, mantenha as configurações padrão e clique em Next.

   • Por padrão, o componente é instalado no namespace monitoring, recebendo o nome do próprio componente.

   • Personalize o nome da aplicação e o namespace conforme necessário.

4. Na página Parameters, selecione a versão do Chart 12.0.0, defina os parâmetros necessários e clique em OK.

   A versão 12.0.0 oferece suporte à configuração de alertas com funcionalidades integradas.

   Parâmetros opcionais:

   • Alert configuration: oferece suporte a alertas por DingTalk e e-mail.

   • Mount a custom ConfigMap to Prometheus: permite configurações personalizadas.

   • Mount a dashboard file to Grafana: adiciona painéis personalizados.

   Após a instalação, verifique o status do componente na lista de charts Helm na página Helm .

Etapa 2: Visualizar tarefas de coleta do Prometheus

1. Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique no nome do seu cluster. No painel de navegação à esquerda, clique em Network > Services.

3. Na página Services, selecione o namespace monitoring onde o ack-prometheus-operator foi implantado. Na coluna Actions referente ao ack-prometheus-operator-prometheus, clique em Update.

4. Na caixa de diálogo, defina Type como LoadBalancer. Selecione Create Resource, defina Access Method como Public Access e configure Billing Method como Pay-as-you-go (Pay-by-CU). Clique em OK.

   Consulte CLB Billing Overview .

5. Após a atualização, copie o endereço IP externo. Acesse a interface do Prometheus em <external_IP_address>:9090, por exemplo, 47.XX.XX.12:9090.

6. Na interface do Prometheus, acesse para visualizar todas as tarefas de coleta de dados.

   Se todas as tarefas exibirem UP, a coleta de dados está funcionando corretamente.

7. Na barra de menus, clique em Alerts para visualizar as regras de alerta atuais.

   Na página Alerts, visualize estatísticas de status dos alertas: Inactive (89), Pending (3) e Firing (4). Os alertas acionados no momento incluem TargetDown (2 ativos) e Watchdog (1 ativo).

Etapa 3: Visualizar dados agregados no Grafana

1. Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique no nome do seu cluster. No painel de navegação à esquerda, clique em Network > Services.

3. Na página Services, selecione o namespace onde o **ack-prometheus-operator** está implantado (monitoring por padrão). Clique em Update na coluna Actions do Service chamado ack-prometheus-operator-grafana.

4. Na caixa de diálogo, defina Type como LoadBalancer. Selecione Create Resource, defina Access Method como Public Access e configure Billing Method como Pay-as-you-go (Pay-by-CU). Clique em OK.

   Consulte CLB Billing Overview .

5. Após a atualização, copie o endereço IP externo. Abra o painel do Grafana em <external_IP_address> (porta padrão: 80), por exemplo, 47.XX.XX.12.

   

Configuração de alertas

O componente ack-prometheus-operator oferece suporte a alertas via DingTalk e e-mail.

1. Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique no nome do seu cluster. No painel de navegação à esquerda, clique em Applications > Helm.

3. Clique em Create, localize ack-prometheus-operator e prossiga para a etapa Next. Na página Parameters, selecione a versão do Chart e configure os parâmetros conforme descrito abaixo.

   Caso o ack-prometheus-operator já esteja instalado, clique no respectivo nome na lista de charts Helm e, em seguida, clique em Parameters para atualizar a configuração.

config:
  global:
    resolve_timeout: 5m
  route:
    group_by: ['job']
    group_wait: 1m
    group_interval: 1m
    repeat_interval: 2m
    receiver: "null"
    routes:
    - match:
        alertname: Watchdog
      receiver: "null"
  receivers:
  - name: "null"
  #- name: webhook
  #  webhook_configs:
  #  - url: http://ack-prometheus-operator-alertmanager.monitoring:8060/dingtalk/ops_dingding/send
  #    send_resolved: true
  #- name: 'mail'
  #  email_configs:
  #  - to: 'xxxxxxx@qq.com'        #receive address
  #    smarthost: 'smtp.163.com:465' #stmp server address
  #    from: 'xxxxx@163.com'        #sender address
  #    auth_username: 'xxxxx@163.com'  #email-username
  #    auth_password: 'xxxxxxxxx'      #email-password(Authorization code)
  #    require_tls: false             #tls switch
  #    send_resolved: true

##
templateFiles: {}
#
# An example template:
#   template_1.tmpl: |-
#     {{ define "cluster" }}{{ .ExternalURL | reReplaceAll ".*alertmanager\.(.*)" "$1" }}{{ end }}
#
#     {{ define "slack.myorg.text" }}
#     {{- $root := . -}}
#     {{ range .Alerts }}
#       *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}`
#       *Cluster:*  {{ template "cluster" $root }}
#       *Description:* {{ .Annotations.description }}
#       *Graph:* <{{ .GeneratorURL }}|:chart_with_upwards_trend:>
#       *Runbook:* <{{ .Annotations.runbook }}|:spiral_note_pad:>
#       *Details:*
#         {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}`
#         {{ end }}

Montar um ConfigMap personalizado no Prometheus

Use um ConfigMap chamado special-config para montar um arquivo de configuração e especificá-lo como parâmetro --config.file na inicialização do Pod.

1. Crie um ConfigMap.

   Expanda para visualizar um exemplo de ConfigMap

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: special-config
   data:
     config.yaml: |-
         global:
           # Scrape interval, default is 1m
           [ scrape_interval: <duration> | default = 1m ]
   
           # Scrape timeout, default is 10s
           [ scrape_timeout: <duration> | default = 10s ]
   
           # Rule evaluation interval, default is 1m
           [ evaluation_interval: <duration> | default = 1m ]
   
         # Scrape configurations
         scrape_configs:
           [ - <scrape_config> ... ]
   
         # Rule files
         rule_files:
           [ - <filepath_glob> ... ]
   
         # Alerting configuration
         alerting:
           alert_relabel_configs:
             [ - <relabel_config> ... ]
           alertmanagers:
             [ - <alertmanager_config> ... ]

2. Monte o ConfigMap.

   Na página Parameters, adicione o seguinte ao campo configmaps para montar o ConfigMap em /etc/prometheus/configmaps/ no Pod do Prometheus.

   ## ConfigMaps is a list of ConfigMaps in the same namespace as the Alertmanager object, which shall be mounted
   ## into the Alertmanager Pods.
     ## The ConfigMaps are mounted into /etc/alertmanager/configmaps/.
     ##
   configMaps: [special-config]

   Exemplo de configuração de prometheus configmaps:

   ## ConfigMaps is a list of ConfigMaps in the same namespace as the Prometheus
   ## The ConfigMaps are mounted into /etc/prometheus/configmaps/.
   ##
   configMaps:
   - "special-config"
   - "detail-config"

Configuração do Grafana

extraConfigmapMounts: []
# - name: certs-configmap
#   mountPath: /etc/grafana/ssl/
#   configMap: certs-configmap
#   readOnly: true

Operações relacionadas

Perguntas frequentes

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

## How long to retain metrics
##
retention: 10d