Container Service for Kubernetes:Surveiller un cluster ACK avec Prometheus open source

Contexte

Cette rubrique aborde la surveillance des composants système et des entités de ressources au sein d'un cluster Kubernetes. Les cibles de surveillance se répartissent en deux catégories :

• Surveillance des ressources : suit l'utilisation des ressources par les nœuds, les clusters et les Pods.

• Surveillance des applications : suit les métriques internes des applications, telles que le nombre d'utilisateurs en temps réel. Exposez des ports pour activer la surveillance et les alertes au niveau de l'application.

Les cibles de surveillance incluent :

• Composants système : composants Kubernetes intégrés tels que l'API Server, cloud-controller-manager et etcd. Configurez la surveillance directement dans leurs fichiers de configuration respectifs.

• Entités de ressources statiques : ressources telles que l'état des nœuds et les événements du noyau. Spécifiez-les dans les fichiers de configuration pour activer leur surveillance.

• Entités de ressources dynamiques : objets de charge de travail Kubernetes tels que les Deployments, DaemonSets et Pods. Déployez Prometheus pour les surveiller.

• Applications personnalisées : exposez des ports et utilisez Prometheus pour collecter des métriques personnalisées depuis vos applications.

Étape 1 : Déployer Prometheus open source

1. Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.

2. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, accédez à Applications > Helm.

3. Sur la page Helm, cliquez sur Deploy. Dans la section Chart, recherchez et sélectionnez **ack-prometheus-operator**, conservez les paramètres par défaut, puis cliquez sur Next.

   • Le composant s'installe par défaut dans le namespace monitoring, avec un nom correspondant au composant.

   • Personnalisez le nom de l'application et le namespace selon vos besoins.

4. Sur la page Parameters, sélectionnez la version 12.0.0 du Chart, définissez les paramètres requis, puis cliquez sur OK.

   La version 12.0.0 prend en charge la configuration des alertes via des fonctionnalités intégrées.

   Paramètres facultatifs :

   • Configuration des alertes : prend en charge les alertes DingTalk et par e-mail.

   • Monter un ConfigMap personnalisé sur Prometheus : permet d'appliquer des configurations personnalisées.

   • Monter un fichier de tableau de bord sur Grafana : ajoute des tableaux de bord personnalisés.

   Après l'installation, vérifiez l'état du composant dans la liste des charts Helm sur la page Helm .

Étape 2 : Consulter les tâches de collecte Prometheus

1. Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.

2. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, accédez à Network > Services.

3. Sur la page Services, sélectionnez le namespace monitoring où ack-prometheus-operator est déployé. Dans la colonne Actions pour ack-prometheus-operator-prometheus, cliquez sur Update.

4. Dans la boîte de dialogue, définissez le type sur LoadBalancer. Sélectionnez Create Resource, définissez la Access Method sur Public Access, et définissez la Billing Method sur Pay-as-you-go (Pay-by-CU). Cliquez sur OK.

   Consultez la Présentation de la facturation CLB .

5. Après la mise à jour, copiez l'adresse IP externe. Ouvrez l'interface utilisateur Prometheus à l'adresse <external_IP_address>:9090, par exemple 47.XX.XX.12:9090.

6. Dans l'interface utilisateur Prometheus, accédez à pour afficher toutes les tâches de collecte de données.

   Si toutes les tâches affichent l'état UP, la collecte de données fonctionne correctement.

7. Dans la barre de menu, cliquez sur Alerts pour afficher les règles d'alerte actuelles.

   Sur la page Alerts, vous pouvez consulter les statistiques d'état des alertes : Inactive (89), Pending (3) et Firing (4). Les alertes actuellement déclenchées incluent TargetDown (2 actives) et Watchdog (1 active).

Étape 3 : Consulter les données agrégées dans Grafana

1. Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.

2. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, accédez à Network > Services.

3. Sur la page Services, sélectionnez le namespace où **ack-prometheus-operator** est déployé (monitoring par défaut). Cliquez sur Update dans la colonne Actions pour le service nommé ack-prometheus-operator-grafana.

4. Dans la boîte de dialogue, définissez le type sur LoadBalancer. Sélectionnez Create Resource, définissez la Access Method sur Public Access, et définissez la Billing Method sur Pay-as-you-go (Pay-by-CU). Cliquez sur OK.

   Consultez la Présentation de la facturation CLB .

5. Après la mise à jour, copiez l'adresse IP externe. Ouvrez le tableau de bord Grafana à l'adresse <external_IP_address> (port par défaut : 80), par exemple 47.XX.XX.12.

   

Configuration des alertes

Le composant ack-prometheus-operator prend en charge les alertes DingTalk et par e-mail.

1. Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.

2. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, accédez à Applications > Helm.

3. Cliquez sur Create, trouvez ack-prometheus-operator, puis passez à l'étape Next. Sur la page Parameters, sélectionnez la version du Chart et configurez les paramètres comme décrit ci-dessous.

   Si ack-prometheus-operator est déjà installé, cliquez sur son nom dans la liste des charts Helm, puis cliquez sur Parameters pour mettre à jour la configuration.

config:
  global:
    resolve_timeout: 5m
  route:
    group_by: ['job']
    group_wait: 1m
    group_interval: 1m
    repeat_interval: 2m
    receiver: "null"
    routes:
    - match:
        alertname: Watchdog
      receiver: "null"
  receivers:
  - name: "null"
  #- name: webhook
  #  webhook_configs:
  #  - url: http://ack-prometheus-operator-alertmanager.monitoring:8060/dingtalk/ops_dingding/send
  #    send_resolved: true
  #- name: 'mail'
  #  email_configs:
  #  - to: 'xxxxxxx@qq.com'        #receive address
  #    smarthost: 'smtp.163.com:465' #stmp server address
  #    from: 'xxxxx@163.com'        #sender address
  #    auth_username: 'xxxxx@163.com'  #email-username
  #    auth_password: 'xxxxxxxxx'      #email-password(Authorization code)
  #    require_tls: false             #tls switch
  #    send_resolved: true

##
templateFiles: {}
#
# An example template:
#   template_1.tmpl: |-
#     {{ define "cluster" }}{{ .ExternalURL | reReplaceAll ".*alertmanager\.(.*)" "$1" }}{{ end }}
#
#     {{ define "slack.myorg.text" }}
#     {{- $root := . -}}
#     {{ range .Alerts }}
#       *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}`
#       *Cluster:*  {{ template "cluster" $root }}
#       *Description:* {{ .Annotations.description }}
#       *Graph:* <{{ .GeneratorURL }}|:chart_with_upwards_trend:>
#       *Runbook:* <{{ .Annotations.runbook }}|:spiral_note_pad:>
#       *Details:*
#         {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}`
#         {{ end }}

Monter un ConfigMap personnalisé sur Prometheus

Utilisez un ConfigMap nommé special-config pour monter un fichier de configuration et spécifiez-le comme paramètre --config.file au démarrage du Pod.

1. Créez un ConfigMap.

   Développer pour afficher un exemple de ConfigMap

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: special-config
   data:
     config.yaml: |-
         global:
           # Scrape interval, default is 1m
           [ scrape_interval: <duration> | default = 1m ]
   
           # Scrape timeout, default is 10s
           [ scrape_timeout: <duration> | default = 10s ]
   
           # Rule evaluation interval, default is 1m
           [ evaluation_interval: <duration> | default = 1m ]
   
         # Scrape configurations
         scrape_configs:
           [ - <scrape_config> ... ]
   
         # Rule files
         rule_files:
           [ - <filepath_glob> ... ]
   
         # Alerting configuration
         alerting:
           alert_relabel_configs:
             [ - <relabel_config> ... ]
           alertmanagers:
             [ - <alertmanager_config> ... ]

2. Montez le ConfigMap.

   Sur la page Parameters, ajoutez ce qui suit au champ configmaps pour monter le ConfigMap sur /etc/prometheus/configmaps/ dans le Pod Prometheus.

   ## ConfigMaps is a list of ConfigMaps in the same namespace as the Alertmanager object, which shall be mounted
   ## into the Alertmanager Pods.
     ## The ConfigMaps are mounted into /etc/alertmanager/configmaps/.
     ##
   configMaps: [special-config]

   Exemple de configuration prometheus configmaps :

   ## ConfigMaps is a list of ConfigMaps in the same namespace as the Prometheus
   ## The ConfigMaps are mounted into /etc/prometheus/configmaps/.
   ##
   configMaps:
   - "special-config"
   - "detail-config"

Configuration de Grafana

extraConfigmapMounts: []
# - name: certs-configmap
#   mountPath: /etc/grafana/ssl/
#   configMap: certs-configmap
#   readOnly: true

Opérations connexes

FAQ

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

## How long to retain metrics
##
retention: 10d