Elasticsearch:Collecter les journaux NetFlow avec Elastic Agent

• Créez un cluster Alibaba Cloud Elasticsearch. Pour plus d'informations, consultez la rubrique Créer un cluster Alibaba Cloud Elasticsearch. Cette rubrique utilise un cluster Elasticsearch 8.5 à titre d'exemple.

• Créez une instance ECS. L'instance doit se trouver dans le même Virtual Private Cloud (VPC) que votre cluster Elasticsearch. Pour plus d'informations, consultez la rubrique Créer une instance à l'aide de l'assistant.

  Remarque

  L'instance ECS sert de serveur source à partir duquel Elastic Agent collecte les données NetFlow.

Étape 1 : Créer une stratégie d'agent

1. Connectez-vous à la console Kibana. Pour plus d'informations, consultez la rubrique Se connecter à la console Kibana.

2. Accédez à > Management > Fleet.

3. Sur la page Fleet, cliquez sur l'onglet Agent policies.

4. Cliquez sur Create agent policy et configurez la stratégie d'agent dans le panneau qui s'affiche.

   1. Pour Name, saisissez Name.

   2. Décochez la case Collect system logs and metrics.

   3. Cliquez sur Advanced Options. Sous Agent monitoring, décochez les cases Collect agent logs et Collect agent metrics.

      Remarque

      Dans ce scénario, vous devez uniquement collecter les enregistrements NetFlow ; vous pouvez donc désactiver la collecte des journaux système, des métriques et des données de surveillance de l'agent.

5. Une fois terminé, cliquez sur Create agent policy en bas à droite.

Étape 2 : Créer une intégration Fleet Server

1. Sur l'onglet Agent policies de la page Fleet, cliquez sur la stratégie d'agent netflow-log.

2. Sur l'onglet Integration, cliquez sur Add integration.

3. Sur l'onglet Browse integrations, recherchez et cliquez sur Fleet Server.

4. Installez l'intégration Fleet Server.

   1. Sur la page Fleet Server, cliquez sur l'onglet Set.

   2. Cliquez sur Install Fleet Server assets, puis sur Install Fleet Server dans la boîte de dialogue qui s'affiche.

      Remarque

      Une fois l'intégration installée, l'onglet Settings affiche sa version.

5. En haut à droite de la page, cliquez sur Add Fleet Server.

6. Sur la page Add Fleet Server integration, saisissez un nom pour l'intégration et sélectionnez la stratégie d'agent netflow-log.

7. En bas à droite, cliquez sur Save and continue. Dans la boîte de dialogue qui s'affiche, cliquez sur Add Elastic Agent later.

Étape 3 : Créer une intégration NetFlow Records

1. Sur l'onglet Integration de la stratégie d'agent netflow-log, cliquez sur Add integration.

2. Sur l'onglet Browse integrations, recherchez et cliquez sur NetFlow Records.

3. Installez l'intégration NetFlow Records.

   1. Sur la page NetFlow Records, cliquez sur l'onglet Set.

   2. Cliquez sur Install NetFlow Records assets, puis sur Install NetFlow Records dans la boîte de dialogue qui s'affiche.

      Remarque

      Une fois l'intégration installée, l'onglet Settings affiche sa version.

4. En haut à droite de la page, cliquez sur Add NetFlow Records.

5. Sur la page Add NetFlow Records integration, configurez l'intégration.

   1. Sous Integration Configuration, saisissez netflow-1 pour Integration name.

   2. À côté de Collect NetFlow logs, cliquez sur Change defaults. Saisissez 0.0.0.0 comme adresse d'écoute UDP et conservez le port UDP par défaut 2055.

   3. Sous Where to add this integration, sur l'onglet Existing hosts, sélectionnez la stratégie d'agent netflow-log.

6. Une fois terminé, cliquez sur Save and continue en bas à droite. Dans la boîte de dialogue qui s'affiche, cliquez sur Add Elastic Agent later.

Étape 1 : Configurer les hôtes Fleet Server

1. Connectez-vous à la console Kibana. Pour plus d'informations, consultez la rubrique Se connecter à la console Kibana.

2. Accédez à > Management > Fleet.

3. Sur la page Fleet, cliquez sur l'onglet Set.

   1. Sous Fleet Server hosts, cliquez sur Modify Host.

   2. Dans le panneau Fleet Server hosts, saisissez l'adresse IP privée du serveur source au format https://<private_ip>:<port>, par exemple https://172.16.*.***:8220.

      Remarque

      Dans cette rubrique, l'adresse IP privée correspond à l'adresse IP privée principale de l'instance ECS. Pour plus de détails sur la configuration, consultez la page Fleet Server hosts.

   3. Dans la section Output, cliquez sur l'icône de modification () dans la colonne Actions.

   4. Dans le panneau Edit output, saisissez l'adresse IP privée de votre cluster Alibaba Cloud Elasticsearch au format http://<private_address>:<port>, par exemple http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.

   5. Cliquez sur Save and apply settings, puis sur Save and Deploy dans la boîte de dialogue qui s'affiche.

Étape 2 : Ajouter un Elastic Agent

Ajoutez un Elastic Agent à Fleet Server.

1. Accédez à > Management > Fleet.

2. Cliquez sur l'onglet Agent policies.

3. Pour la stratégie d'agent netflow-log, dans la colonne Actions, sélectionnez > Add agent.

4. Dans le panneau Add agent, sous Select a policy for Fleet Server, vérifiez que la stratégie d'agent par défaut est netflow-log.

5. Sous Choose a deployment mode for security, conservez la sélection par défaut Quick start.

6. Sous Add your Fleet Server host, cliquez sur Add Host à droite.

7. Sous Generate a service token, cliquez sur Generate a service token.

8. Sous Install Fleet Server to a centralized host, copiez le bloc de code généré automatiquement et exécutez-le sur votre instance ECS.

   curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.5.1-linux-x86_64.tar.gz
   tar xzvf elastic-agent-8.5.1-linux-x86_64.tar.gz
   cd elastic-agent-8.5.1-linux-x86_64
   sudo ./elastic-agent install \
       --fleet-server-es=http://es-cn-xxx.elasticsearch.aliyuncs.com:9200 \
       --fleet-server-service-token=AAEAAWVsYXN0aWMvZmxlZXQtc2VydmVyL3Rva2xxx \
       --fleet-server-policy=e4b6f6b0-1ef9-11ee-xxx

   Une fois la commande terminée, un message contenant Successfully confirme que l'Elastic Agent est installé et en cours d'exécution sur l'instance ECS.

Étape 3 : Configurer le service NetFlow

Cet exemple utilise softflowd pour générer des journaux NetFlow. Exécutez les commandes suivantes sur votre instance ECS pour installer et démarrer softflowd.

1. Téléchargez le package source de softflowd.

   wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/softflowd/softflowd-0.9.9.tar.gz

2. Installez la dépendance libpcap-devel.

   yum install libpcap-devel

3. Compilez et installez softflowd.

   tar -xvf softflowd-0.9.9.tar.gz
   cd softflowd-0.9.9
   ./configure 
   make
   make install

4. Exécutez softflowd.

   nohup softflowd -v 9 -D -i eth0 -t maxlife=1 -n localhost:2055 >/dev/null 2>&1 &