Elasticsearch:Déboguer les configurations de pipeline Logstash

Prérequis

Le plugin logstash-output-file_extend doit être installé. Consultez la rubrique Installer ou désinstaller des plugins pour obtenir des instructions.

Procédure

1. Accédez à la page Logstash Clusters.

2. Dans la barre de navigation supérieure, sélectionnez la région où se trouve le cluster souhaité.

3. Cliquez sur l'ID de l'instance cible dans la liste des instances.

4. Dans le volet de navigation de gauche, cliquez sur Pipelines.

5. Cliquez sur Create Pipeline.

6. Configurez et démarrez le pipeline.

   1. Dans la section Config Settings, saisissez un Pipeline ID et vos Config Settings.

      Paramètre	Description
      Pipeline ID	Saisissez un ID personnalisé. Cet ID est automatiquement mappé au paramètre path du plugin file_extend.
      Config Settings	Les Config Settings se composent de trois sections : input : spécifie la source de données. Alibaba Cloud Logstash prend en charge tous les plugins d'entrée officiels de Logstash, à l'exception du plugin file. filter : traite les données provenant de la source. Alibaba Cloud Logstash prend en charge une large gamme de plugins de filtre. output : envoie les données traitées vers une destination spécifiée. En plus des plugins de sortie Logstash standard, Alibaba Cloud Logstash fournit le plugin propriétaire file_extend. Configurez ce plugin pour activer le débogage et afficher la sortie du pipeline directement dans la console.

      Le code suivant fournit un exemple de configuration de pipeline :

      input {
           elasticsearch {
             hosts => "http://es-cn-0pp1jxv000****.elasticsearch.aliyuncs.com:9200"
             user  => "elastic"
             index => "twitter"
             password => "<YOUR_PASSWORD>"
             docinfo => true
           }
      
      }
      filter {
      
      }
      output {
          elasticsearch {
          hosts => ["http://es-cn-000000000i****.elasticsearch.aliyuncs.com:9200"]
          user => "elastic"
          password => "<your_password>"
          index => "%{[@metadata][_index]}"
          document_id => "%{[@metadata][_id]}"
      
        }
         file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
         }
      
      }

      Important

      • La configuration file_extend dans la section output est commentée par défaut. Pour utiliser la fonctionnalité de débogage, vous devez décommenter cette section.

      • Le paramètre path au sein de la configuration file_extend est défini par défaut sur un chemin généré par le système. Ne modifiez pas ce chemin. Vous pouvez également cliquer sur Start Configuration Debug pour générer automatiquement le chemin correct.

      • Le système remplace automatiquement la variable {pipelineid} dans le path par l'ID de pipeline que vous avez spécifié. Ne modifiez pas cette variable, sinon le journal de débogage deviendra inaccessible.

      Le plugin d'entrée Elasticsearch est utile pour des tâches telles que l'importation en masse de journaux de test en lisant des documents depuis un cluster Alibaba Cloud Elasticsearch. Par défaut, ce processus s'arrête après avoir lu toutes les données. Cependant, les instances Alibaba Cloud Logstash s'exécutent en continu et redémarrent automatiquement les processus arrêtés. Dans les scénarios à tâche unique, ce comportement peut entraîner des écritures de données en double. Pour éviter cela, utilisez le paramètre schedule avec une expression cron pour exécuter la tâche une seule fois. Le pipeline s'arrête après cette exécution unique, empêchant ainsi toute répétition. Pour plus d'informations, consultez la documentation officielle de Logstash sur la planification.

      Par exemple, pour planifier l'exécution de la tâche le 5 mars à 13 h 20 :

      schedule => "20 13 5 3 *"

   2. Cliquez sur Next step pour configurer les paramètres du pipeline.

      Pour plus d'informations sur les paramètres du pipeline, consultez la rubrique Gérer les pipelines à l'aide de fichiers de configuration.

   3. Enregistrez et déployez le pipeline.

      • Save : enregistre la configuration du pipeline et vous renvoie à la page Pipelines, où les modifications ne sont pas encore déployées. Depuis la liste Pipelines, cliquez sur Deploy Now dans la colonne Actions pour appliquer la configuration.

      • Save and Deploy : enregistre la configuration et redémarre immédiatement l'instance pour appliquer les modifications.

   4. Dans le message de succès, cliquez sur OK.

7. Consultez le journal de débogage.

   1. Une fois l'instance redémarrée, retournez à la liste Pipelines, recherchez le pipeline cible et cliquez sur View Debug Logs dans la colonne Actions.

   2. Sur la page Logs, ouvrez l'onglet Debug Log pour afficher la sortie traitée du pipeline.

      Pour trouver les journaux d'un pipeline spécifique, saisissez pipelineId: <your_pipeline_id> dans la barre de recherche pour filtrer et afficher les données de sortie de journal traitées par le pipeline correspondant.