Elasticsearch:Collecte de données de journal personnalisées à l'aide d'Elastic Agent

• Créez un cluster Alibaba Cloud Elasticsearch. Pour plus d'informations, consultez la rubrique Création d'un cluster Alibaba Cloud Elasticsearch. Cette procédure utilise un cluster Elasticsearch 8.5 à titre d'exemple.

  Remarque

  Les clusters Alibaba Cloud Elasticsearch prennent uniquement en charge les versions 7.16 et 8.5.

• Créez une instance ECS dans le même VPC que le cluster Elasticsearch. Pour plus d'informations, consultez la rubrique Création d'une instance.

  Remarque

  L'instance ECS fait office de serveur source. Elastic Agent collecte les données depuis cette instance ECS.

Étape 1 : Création d'une stratégie d'agent

1. Connectez-vous à la console Kibana. Pour plus d'informations, consultez la rubrique Connexion à la console Kibana.

2. Cliquez sur l'icône et accédez à Management > Fleet.

3. Sur la page Fleet, cliquez sur l'onglet Agent policies.

4. Cliquez sur Create agent policy et configurez la stratégie dans le panneau.

   1. Pour Name, saisissez custom-log.

   2. Décochez la case Collect system logs and metrics.

   3. Cliquez sur Advanced Options. Dans la section Agent monitoring, décochez les cases Collect agent logs et Collect agent metrics.

      Remarque

      Dans ce scénario, vous devez uniquement collecter des données Custom Logs. Il n'est donc pas nécessaire de collecter les journaux système, les métriques système ou les données propres à l'agent.

5. Cliquez sur Create agent policy.

Étape 2 : Création d'une intégration Fleet Server

1. Sur la page Fleet, cliquez sur l'onglet Agent policies, puis sélectionnez la stratégie d'agent custom-log.

2. Sous l'onglet Integration, cliquez sur Add integration.

3. Sous l'onglet Browse integrations, recherchez Fleet Server et cliquez dessus.

4. Installez l'intégration Fleet Server.

   1. Sur la page Fleet Server, cliquez sur l'onglet Set.

   2. Cliquez sur Install Fleet Server assets. Dans la boîte de dialogue qui s'affiche, cliquez sur Install Fleet Server.

      Remarque

      La version de l'intégration s'affiche sous l'onglet Settings après l'installation.

5. Dans le coin supérieur droit de la page, cliquez sur Add Fleet Server.

6. Sur la page Add Fleet Server integration, saisissez un nom pour l'intégration et sélectionnez la stratégie d'agent custom-log.

7. Cliquez sur Save and continue, puis sur Add Elastic Agent later dans la boîte de dialogue.

Étape 3 : Création d'une intégration Custom Logs****

1. Pour la stratégie d'agent custom-log, sous l'onglet Integration, cliquez sur Add integration.

2. Sous l'onglet Browse integrations, recherchez Custom Logs et cliquez dessus.

3. Installez l'intégration Custom Logs.

   1. Sur la page Custom Logs, cliquez sur l'onglet Set.

   2. Cliquez sur Install Custom Logs assets. Dans la boîte de dialogue qui s'affiche, cliquez sur Install Custom Logs.

      Remarque

      La version de l'intégration s'affiche sous l'onglet Settings après l'installation.

4. Dans le coin supérieur droit de la page, cliquez sur Add Custom Logs.

5. Sur la page Add Custom Logs integration, configurez l'intégration.

   1. Dans la section Integration Configuration, saisissez un Integration name.

   2. Dans la section Custom log file, indiquez le chemin d'accès au fichier journal sur l'instance ECS (Log file path), par exemple /var/log/a2.log.

   3. Cliquez sur Advanced Options et spécifiez un nom de jeu de données personnalisé.

      Remarque

      • Le nom du jeu de données détermine le nom de l'index Elasticsearch. Spécifier un nouveau nom de jeu de données permet d'envoyer les données vers un nouvel index, ce qui améliore la flexibilité et la facilité de gestion du traitement des données.

      • Le nom du jeu de données doit respecter les exigences de nommage des index Elasticsearch. Il ne peut contenir que des lettres, des chiffres et des traits de soulignement (_).

      Dans Log file path, saisissez le chemin d'accès au fichier journal, par exemple /var/log/a2.log. Dans Dataset name, saisissez un nom de jeu de données, par exemple generic.

   4. Dans la section Where to add this integration, sous l'onglet Existing hosts, sélectionnez la stratégie d'agent custom-log.

6. Cliquez sur Save and continue, puis sur Add Elastic Agent later dans la boîte de dialogue.

Étape 1 : Configuration des hôtes Fleet Server****

1. Connectez-vous à la console Kibana. Pour plus d'informations, consultez la rubrique Connexion à la console Kibana.

2. Cliquez sur l'icône et accédez à Management > Fleet.

3. Sur la page Fleet, cliquez sur l'onglet Set.

   1. Dans la section Fleet server hosts, cliquez sur Modify Host.

   2. Dans le panneau Fleet server hosts, saisissez l'adresse IP privée du serveur source au format https://<private IP address>:<port>, par exemple https://172.16.*.***:8220.

      Remarque

      Cette procédure utilise l'adresse IP privée principale de l'instance ECS. Pour plus d'informations sur la configuration, consultez la documentation Fleet Server hosts.

   3. Dans la section Output, cliquez sur l'icône dans la colonne Actions.

   4. Dans le panneau Edit output, saisissez l'endpoint privé du cluster Alibaba Cloud Elasticsearch au format http://<private endpoint>:<port>, par exemple http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.

   5. Cliquez sur Save and apply settings. Dans la boîte de dialogue qui s'affiche, cliquez sur Save and Deploy.

Étape 2 : Ajout d'un Elastic Agent****

Ajoutez un Elastic Agent au serveur Fleet.

1. Sur la page Fleet, cliquez sur l'onglet Agent policies.

2. Dans la colonne Actions correspondant à la stratégie d'agent custom-log, cliquez sur l'icône .

3. Dans le panneau Add agent, sous Select a policy for Fleet Server, vérifiez que la stratégie d'agent est bien custom-log.

4. Sous Choose a deployment mode for security, conservez la sélection par défaut Quick start.

5. Sous Add your Fleet Server host, cliquez sur Add Host.

6. Dans la section Generate a service token, cliquez sur Generate a service token.

7. Dans la section Install Fleet Server to a centralized host, copiez le bloc de code généré automatiquement et exécutez-le sur votre instance ECS.

   curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.5.1-linux-x86_64.tar.gz
   tar xzvf elastic-agent-8.5.1-linux-x86_64.tar.gz
   cd elastic-agent-8.5.1-linux-x86_64
   sudo ./elastic-agent install \
       --fleet-server-es=http://es-cn-xxx.elasticsearch.aliyuncs.com:9200 \
       --fleet-server-service-token=AAEAAWVsYXN0aWMvZmxlZXQtc2Vydmxxx \
       --fleet-server-policy=e4b6f6b0-1ef9-11ee-xxx

   Un message Successfully indique que l'Elastic Agent est installé et en cours d'exécution sur l'instance ECS.