Elasticsearch:Utiliser Filebeat pour collecter des données de journal Apache

Étape 1 : Prérequis

Étape 2 : Configurer et installer le shipper Filebeat

Étape 3 : Configurer le pipeline Logstash

Étape 4 : Consulter les résultats de la collecte de données

Créez une instance Alibaba Cloud Elasticsearch et une instance Logstash. Les deux instances doivent être de la même version et se trouver dans le même Virtual Private Cloud (VPC).

Activez la création automatique d'index pour votre instance Alibaba Cloud Elasticsearch.

Créez une instance ECS Alibaba Cloud. Cette instance ECS doit se trouver dans le même VPC que vos instances Elasticsearch et Logstash.

Configurez un service httpd sur l'instance ECS.

LogFormat "{\"@timestamp\":\"%{%Y-%m-%dT%H:%M:%S%z}t\",\"client_ip\":\"%{X-Forwa rded-For}i\",\"direct_ip\": \"%a\",\"request_time\":%T,\"status\":%>s,\"url\":\"%U%q\",\"method\":\"%m\",\"http_host\":\"%{Host}i\",\"server_ip\":\"%A\",\"http_referer\":\"%{Referer}i\",\"http_user_agent\":\"%{User-agent}i\",\"body_bytes_sent\":\"%B\",\"total_bytes_sent\":\"%O\"}"  access_log_json
# Comment out the original CustomLog line and replace it with: CustomLog "logs/access_log" access_log_json

Installez Cloud Assistant et Docker sur l'instance ECS cible.

Connectez-vous à la console Alibaba Cloud Elasticsearch.

Accédez à la page Beats Data Shippers.

1. Dans la barre de navigation supérieure, sélectionnez une région.

2. Dans le volet de navigation de gauche, cliquez sur Beats Data Shippers.

3. Facultatif :Si vous accédez pour la première fois à la page Beats Data Shippers, consultez les informations affichées dans le message qui apparaît, puis cliquez sur OK pour autoriser le système à créer un rôle lié au service pour votre compte.

   Remarque

   Lorsque Beats collecte des données depuis diverses sources, il dépend du rôle lié au service et des règles spécifiées pour ce rôle. Ne supprimez pas le rôle lié au service, sous peine d'affecter le fonctionnement de Beats. Pour plus d'informations, consultez la rubrique Rôles liés au service Elasticsearch.

Dans la section Create Shipper, cliquez sur ECS Logs.

Configurez et installez le shipper.

Cliquez sur Next.

Dans l'assistant Install Shipper, sélectionnez l'instance ECS sur laquelle vous souhaitez installer le shipper.

Démarrez le shipper et vérifiez son état d'installation.

1. Cliquez sur Start.

   Une fois le shipper démarré, une boîte de dialogue Start Shipper s'affiche.

2. Cliquez sur Back to Beats Shippers pour revenir à la page Beats Data Shippers. Dans la section Manage Shippers, consultez le shipper Filebeat que vous avez démarré.

3. Attendez que l'état Shipper Status passe à Enabled 1/1. Ensuite, dans la colonne Actions, cliquez sur View Instances.

4. Sur la page View Instances, vérifiez les shippers installés dans la section Installed Shippers. Un statut Normal Heartbeat indique que le shipper est installé.

Dans le volet de navigation de gauche de la console Alibaba Cloud Elasticsearch, cliquez sur Logstash Clusters.

Dans la colonne Actions de votre instance Logstash, cliquez sur Manage Pipeline.

Sur la page Pipelines, cliquez sur Create Pipeline.

Configurez le pipeline.

input {
  beats {
      port => 8000
    }
}
filter {
  json {
        source => "message"
        remove_field => ["@version", "prospector", "beat", "source", "input", "offset", "fields", "host", "message"]
      }

}
output {
  elasticsearch {
    hosts => ["http://es-cn-mp91cbxsm00******.elasticsearch.aliyuncs.com:9200"]
    user => "elastic"
    password => "<YOUR_PASSWORD>"
    index => "<YOUR_INDEX>"
  }
}

Connectez-vous à la console Kibana de votre cluster Elasticsearch.

Dans le menu de navigation de gauche, choisissez Management > Dev Tools.

Dans la Console, exécutez la commande suivante pour afficher les données collectées.

GET <YOUR_INDEX>/_search

Dans le volet de navigation de gauche, cliquez sur Discover. Sélectionnez une plage horaire pour afficher les données collectées.