Elasticsearch:Configurer des alertes d'exception CCR avec X-Pack Watcher

Étape 1 : Créer et configurer un bot DingTalk

1. Créez un groupe DingTalk pour recevoir les alertes.

2. Dans le coin supérieur droit du groupe, cliquez sur l'icône . Dans le panneau Group Settings, cliquez sur Bot.

3. Dans la boîte de dialogue Robot Management , cliquez sur Add Robot, sélectionnez Custom, puis cliquez sur Add.

4. Saisissez un Robot Name, sélectionnez Custom Keywords, puis saisissez vos mots-clés.

   Important

   Les mots-clés doivent être inclus dans le message d'alerte que vous configurez.

5. Cochez la case I have read and agree to the "Custom Robot Service and Disclaimer Terms", puis cliquez sur Complete.

6. À côté de Webhook, cliquez sur Copy pour copier l'URL du webhook du bot.

   Gardez l'URL du webhook confidentielle. La partager sur des sites web externes crée un risque de sécurité.

Étape 2 : Configurer le proxy NGINX et le groupe de sécurité ECS

1. Configurez le proxy NGINX sur votre instance ECS.

   X-Pack Watcher envoie les alertes à un proxy NGINX sur votre instance ECS, qui les transfère ensuite vers DingTalk ou WeCom.

   1. Installez NGINX sur l'instance ECS.

   2. Configurez le fichier nginx.conf.

      Remplacez la section server du fichier nginx.conf par la configuration suivante.

      server
        {
          listen 8080;# Listener port
          server_name localhost;# Domain name
          index index.html index.htm index.php;
          root /usr/local/webserver/nginx/html;# Site directory
            location ~ .*\.(php|php5)?$
          {
            #fastcgi_pass unix:/tmp/php-cgi.sock;
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_index index.php;
            include fastcgi.conf;
          }
          location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|ico)$
          {
            expires 30d;
            # access_log off;
          }
          location / {
            proxy_pass <Webhook URL>;
          }
          location ~ .*\.(js|css)?$
          {
            expires 15d;
            # access_log off;
          }
          access_log off;
        }

      Remplacez <Webhook URL> par l'URL du webhook du bot DingTalk que vous avez copiée à l'étape 1.

   3. Rechargez le fichier de configuration et redémarrez NGINX.

      /usr/local/webserver/nginx/sbin/nginx -s reload            # Reload the configuration file
      /usr/local/webserver/nginx/sbin/nginx -s reopen            # Restart NGINX

2. Configurez le groupe de sécurité ECS.

   Autorisez le trafic entrant depuis votre instance Alibaba Cloud Elasticsearch vers le proxy NGINX sur l'instance ECS.

   1. Connectez-vous à la console Alibaba Cloud ECS.

   2. Dans le volet de navigation de gauche, choisissez Instances & Images > Cluster.

   3. Sur la page Cluster, cliquez sur le nom de l'instance cible.

   4. Cliquez sur l'onglet Security Group.

   5. Sur l'onglet Security Groups, cliquez sur le nom du groupe de sécurité cible.

   6. Sur l'onglet Inbound, cliquez sur Add Rule.

   7. Configurez les paramètres.

      Paramètre	Description
      Action	Sélectionnez Permitted.
      Priority	Conservez la valeur par défaut.
      Protocol	Sélectionnez Custom TCP.
      Access Source	Saisissez les adresses IP de tous les nœuds de votre instance Alibaba Cloud Elasticsearch. Remarque Pour obtenir les adresses IP des nœuds, consultez la rubrique Afficher les informations de base sur les nœuds.
      Destination	Saisissez le port sur lequel NGINX est configuré pour écouter. Cette rubrique utilise le port 8080 à titre d'exemple.
      Description	Saisissez une description pour la règle.

   8. Cliquez sur OK.

Étape 3 : Configurer la surveillance

1. Connectez-vous à la console Kibana de votre cluster Elasticsearch.

   Pour obtenir des instructions, consultez la rubrique Se connecter à la console Kibana.

   Remarque

   Les exemples présentés ici utilisent Elasticsearch V6.7.0. Les opérations peuvent varier légèrement selon les versions.

2. Dans le menu de navigation de gauche, choisissez Management > Dev Tools.

3. Dans la Console, exécutez la commande suivante pour créer une surveillance.

   PUT _watcher/watch/ccr_watcher
   {
     "trigger": {
       "schedule": {
         "interval": "10s"
       }
     },
     "input": {
       "search": {
         "request": {
           "indices": [
             ".monitoring-es*" 
           ],
           "body": {
             "size": 0,
             "sort": [
               {
                 "timestamp": {
                   "order": "desc"
                 }
               }
             ],
             "query": {
               "bool": {
                 "must": [
                   {
                     "range": {
                       "timestamp": {
                         "gte": "now-10m"
                       }
                     }
                   },
                   {
                     "term": {
                       "type": {
                         "value": "ccr_stats"
                       }
                     }
                   },
                   {
                     "bool": {
                       "should": [
                         {
                           "range": {
                             "ccr_stats.time_since_last_read_millis": {
                               "gte": 600000
                             }
                           }
                         },
                         {
                           "script": {
                             "script": "long gap = doc['ccr_stats.leader_global_checkpoint'].value - doc['ccr_stats.follower_global_checkpoint'].value;\n            return gap>1000;"
   
                           }
                         }
                       ]
                     }
                   }
                 ]
               }
             },
             "aggs": {
               "NAME": {
                 "terms": {
                   "field": "ccr_stats.follower_index",
                   "size": 1000
                 }
               }
             }
           }
         }
       }
     },
     "condition": {
       "compare": {
         "ctx.payload.hits.total": {
           "gt": 0
         }
       }
     },
     "transform": {
       "script": """
       StringBuilder message = new StringBuilder();
   for (def bucket : ctx.payload.aggregations.NAME.buckets) {
     message.append(bucket.key).append('  ')
   }
       return [ 'delay_indices' : message.toString().trim()  ]
   """
     },
     "actions" : {
        "add_index": {
         "index": {
           "index": "ccr_delay_indices",
           "doc_type": "doc"
         }
       },
        "my_webhook": {
        "webhook" : {
           "method" : "POST",
           "url" : "http://<yourAddress>:8080",
           "body" : "{\"msgtype\": \"text\", \"text\": { \"content\": \"Please note： {{ctx.payload}}\"}}"
         }
       }
     }
   
   }

   Le tableau suivant décrit les principaux paramètres.

   Paramètre	Description
   trigger	L'intervalle de déclenchement de la surveillance. Dans cet exemple, l'intervalle est de 10 secondes. Ajustez cette valeur selon vos besoins.
   input.search.request.indices	Les index cibles à interroger. Les index .monitoring-es* stockent toutes les métriques de surveillance du cluster, y compris les métriques CCR.
   input.search.request.body	Le corps de la requête. Cet exemple interroge l'état CCR des 10 dernières minutes. La surveillance se poursuit si l'une des conditions suivantes est remplie : ccr_stats.time_since_last_read_millis > 600 000 ms (10 minutes) : Plus de 10 minutes se sont écoulées depuis la dernière opération de lecture depuis le cluster leader. Ajustez ce seuil selon vos besoins. La différence entre ccr_stats.leader_global_checkpoint et ccr_stats.follower_global_checkpoint est supérieure à 1 000. Cela signifie que le point de contrôle du follower est en retard de plus de 1 000 opérations par rapport au point de contrôle du leader. Ajustez ce seuil selon vos besoins.
   condition	La condition de déclenchement de l'alerte. Dans cet exemple, l'alerte se déclenche si les conditions définies dans input.search.request.body sont remplies et que la requête renvoie plus de zéro document correspondant.
   transform	Une étape de prétraitement. Cet exemple parcourt les clés des buckets et extrait les noms des index en retard.
   actions	Les actions à exécuter si la condition est vraie. Cet exemple spécifie deux actions : add_index : Écrit les résultats dans un index, ce qui est utile pour déboguer la configuration de la surveillance. my_webhook : Envoie une alerte à l'aide d'un webhook.
   <yourAddress>	L'adresse du serveur qui reçoit les alertes : Pour les clusters utilisant la nouvelle architecture réseau, définissez ce paramètre sur le point de terminaison de la connexion privée. Pour plus d'informations sur l'obtention du point de terminaison, consultez la rubrique Configurer une connexion privée pour un cluster Elasticsearch. Pour les clusters utilisant l'architecture réseau d'origine, définissez ce paramètre sur l'une des adresses suivantes : L'adresse IP du proxy NGINX. Le proxy NGINX transfère les requêtes depuis le VPC vers Internet. L'URL du webhook du chatbot DingTalk.
   body	Configurez cette valeur conformément aux paramètres de sécurité du chatbot DingTalk. Par exemple, si vous sélectionnez Custom Keywords comme Security Settings et ajoutez note comme mot-clé à l'Étape 1 : Créer et configurer un chatbot DingTalk, le champ content du body doit contenir le mot note pour que le chatbot traite l'alerte.

   Remarque

   Si vous voyez l'erreur No handler found for uri [/_xpack/watcher/watch/log_error_watch_2] and method [PUT] lors de l'exécution de la commande, cela signifie que X-Pack Watcher n'est pas activé pour votre instance Alibaba Cloud Elasticsearch. Vous devez l'activer, puis exécuter à nouveau la commande. Pour plus d'informations, consultez la rubrique Configurer les paramètres YML.

Étape 4 : Afficher l'alerte

Si l'état CCR répond à la condition d'alerte configurée à l'Étape 3 : Configurer la surveillance, vous recevez une alerte dans votre groupe DingTalk.

DELETE _watcher/watch/ccr_watcher