Elasticsearch:Utiliser un cluster Logstash auto-géré pour migrer des données vers un cluster Alibaba Cloud Elasticsearch

Étape 1 : (Facultatif) Créer un rôle et un utilisateur

Une instance Logstash auto-gérée nécessite un compte Elasticsearch pour accéder à votre cluster Elasticsearch et afficher les données de surveillance Logstash dans la console Kibana. Vous pouvez utiliser soit l'utilisateur intégré elastic, soit un utilisateur personnalisé.

Étape 2 : Installer Logstash sur l'instance ECS

1. Connectez-vous à l'instance ECS.

   Pour plus d'informations, consultez la rubrique Méthodes de connexion.

2. Téléchargez le package d'installation de Logstash.

   Rendez-vous sur le site web Elastic et téléchargez le package d'installation de Logstash correspondant à la même version que celle de votre cluster Elasticsearch.

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz

   Remarque

   Commande pour Logstash V7.4 :

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. Décompressez le package d'installation de Logstash.

   Dans cet exemple, nous utilisons Logstash V8.5.1.

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

Étape 3 : Configurer et exécuter un pipeline Logstash

1. Accédez au répertoire Logstash.

   cd logstash-8.5.1

2. Créez un fichier .conf.

   touch test.conf

3. Configurez le fichier test.conf.

   L'exemple de code suivant illustre une configuration type :

   input {
       file {
           path => "/your/file/path/xxx"
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "<http://<instanceId>.elasticsearch.aliyuncs.com:9200>"
     	index => "<index-name>"
       user => "<user-name>"
       password => "<logstash-password>"
     }
   }

   Paramètre	Description
   path	Chemin d'accès au fichier journal. Dans cet exemple, nous utilisons /var/log/messages.
   hosts	Endpoint de votre cluster Alibaba Cloud Elasticsearch. Remplacez instanceId par l'ID de votre instance. Exemple : http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.
   index	Nom de l'index dans lequel les données du fichier journal sont écrites. Vous pouvez spécifier un nom personnalisé.
   user	Nom d'utilisateur utilisé pour accéder au cluster Elasticsearch. Dans cet exemple, nous utilisons elastic. Important Pour garantir la sécurité du système, nous vous recommandons d'utiliser un utilisateur personnalisé plutôt que l'utilisateur elastic dans vos environnements de production. Le nom d'utilisateur doit être entouré de guillemets doubles ("). Cela permet d'éviter les erreurs potentielles causées par des caractères spéciaux lors de l'exécution du pipeline Logstash.
   password	Mot de passe utilisé pour accéder au cluster Elasticsearch. Important Le mot de passe doit être entouré de guillemets doubles ("). Cela permet d'éviter les erreurs potentielles causées par des caractères spéciaux lors de l'exécution du pipeline Logstash.

   Logstash propose une variété de plug-ins d'entrée, de filtrage et de sortie. Il vous suffit de configurer ces plug-ins pour assurer le transfert des données. Pour plus d'informations, consultez la documentation relative à la Structure d'un fichier de configuration.

4. Exécutez le pipeline Logstash.

   bin/logstash -f test.conf

   Si la commande s'exécute avec succès, Logstash détecte automatiquement les modifications apportées au fichier journal et les synchronise avec le cluster Elasticsearch. Les données ajoutées au fichier journal surveillé sont automatiquement synchronisées avec le cluster Elasticsearch.

Étape 4 : Consulter les données migrées

1. Connectez-vous à la console Kibana du cluster Elasticsearch.

   Pour plus d'informations, consultez la rubrique Se connecter à la console Kibana.

2. Cliquez sur l'icône située dans le coin supérieur gauche de la page qui s'affiche, puis choisissez Management > Dev Tools.

3. Dans l'onglet Console de la page qui s'affiche, exécutez la commande suivante :

   GET /logstash-*/_search

Étape 5 : (Facultatif) Surveiller le nœud Logstash

1. Accédez au dossier config du répertoire Logstash.

   cd logstash-8.5.1/config

2. Configurez le fichier logstash.yml.

   1. Ouvrez le fichier logstash.yml.

      vim logstash.yml

   2. Dans le fichier logstash.yml, supprimez les commentaires des paramètres répertoriés dans le tableau suivant, puis configurez ces paramètres.

      xpack.monitoring.enabled:true
      xpack.monitoring.elasticsearch.username:"<user-name>"
      xpack.monitoring.elasticsearch.password:"<logstash-password>"
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"]

      Paramètre	Description
      xpack.monitoring.enabled	Définissez ce paramètre sur true. La valeur par défaut est false.
      xpack.monitoring.elasticsearch.username	Le nom de l'utilisateur que vous avez créé pour la surveillance de Logstash. Dans cet exemple, l'utilisateur elastic est utilisé. Important Pour garantir la sécurité du système, nous vous recommandons d'utiliser un utilisateur personnalisé plutôt que l'utilisateur elastic dans un environnement de production.
      xpack.monitoring.elasticsearch.password	Le mot de passe de l'utilisateur que vous avez créé pour la surveillance de Logstash.
      xpack.monitoring.elasticsearch.hosts	L'endpoint de votre cluster Alibaba Cloud Elasticsearch. Exemple : http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.

3. Accédez au répertoire Logstash et lancez le service Logstash.

   cd ../
   bin/logstash -f test.conf

4. Connectez-vous à la console Kibana du cluster Elasticsearch.

   Pour plus d'informations, consultez la rubrique Connexion à la console Kibana.

5. Cliquez sur l'icône située dans l'angle supérieur gauche de la page qui s'affiche, puis choisissez Management > Stack Monitoring.

6. (Facultatif) Dans la boîte de dialogue Create rules, cliquez sur OK.

7. Sur la page Cluster overview, consultez les données de surveillance de Logstash.