Collect ECS service logs using Filebeat - Elasticsearch - Centre de documentation Alibaba Cloud

Utilisez des expéditeurs (Beats) pour collecter des données, telles que des fichiers journaux, des données réseau et des métriques serveur, depuis vos instances ECS. Envoyez les données collectées vers une instance Alibaba Cloud Elasticsearch ou Logstash pour la surveillance et l'analyse. Cette rubrique utilise Filebeat comme exemple pour illustrer la collecte des journaux de service ECS.

Prérequis

Avant de commencer, assurez-vous d'avoir effectué les opérations suivantes :

Créez une instance Alibaba Cloud Elasticsearch ou une instance Logstash. Cette rubrique utilise la version 6.7.0 à titre d'exemple.

Pour plus d'informations, consultez les rubriques Créer une instance Alibaba Cloud Elasticsearch et Créer une instance Alibaba Cloud Logstash.
Activez l'indexation automatique pour l'instance Elasticsearch.

Par défaut, Alibaba Cloud Elasticsearch désactive l'indexation automatique pour des raisons de sécurité. Toutefois, Beats nécessite cette fonctionnalité pour collecter les journaux de service ECS. Si vous sélectionnez Elasticsearch comme destination de sortie pour l'expéditeur, vous devez activer l'indexation automatique. Pour plus d'informations, consultez la rubrique Configurer les paramètres YML.
Créez une instance ECS dans le même VPC que votre instance Alibaba Cloud Elasticsearch ou Logstash.

Lors de la création de l'instance, sélectionnez l'un des systèmes d'exploitation suivants : Alibaba Cloud Linux (Alinux), Red Hat Enterprise Linux (RHEL) ou CentOS. Beats prend uniquement en charge ces trois systèmes d'exploitation. Pour plus d'informations, consultez la rubrique Créer une instance à l'aide de l'assistant.

Important
Le répertoire d'installation par défaut de Beats est /opt/aliyunbeats/. Après l'installation, le processus crée trois répertoires sur l'instance ECS : conf, logs, et data. Ces répertoires correspondent respectivement au fichier de configuration, aux fichiers journaux de Beats et aux fichiers de données de Beats. Pour éviter les erreurs ou les incohérences de données, ne supprimez ni ne modifiez le contenu de ces répertoires. En cas de problème, consultez les journaux de Beats dans le répertoire logs pour le dépannage.
Installez Cloud Assistant et Docker sur l'instance ECS cible.

Pour plus d'informations, consultez les rubriques Installer l'agent Cloud Assistant et Déployer et utiliser Docker.

Important
Vous devez utiliser Docker Community Edition (docker-ce). L'utilisation d'autres versions, telles que podman-docker, entraînera l'échec du déploiement de Beats.

Procédure

Connectez-vous à la console Alibaba Cloud Elasticsearch.
Accédez à la page Expéditeurs de données Beats.
1. Dans la barre de navigation supérieure, sélectionnez une région.
2. Dans le volet de navigation de gauche, cliquez sur Beats Data Shippers.
3. Facultatif :Si c'est la première fois que vous accédez à la page Beats Data Shippers, consultez les informations affichées dans le message qui apparaît et cliquez sur OK pour autoriser le système à créer un rôle lié au service pour votre compte.
  
  Remarque
  Lorsque Beats collecte des données à partir de diverses sources, il dépend du rôle lié au service et des règles spécifiées pour ce rôle. Ne supprimez pas le rôle lié au service, car cela affecterait l'utilisation de Beats. Pour plus d'informations, consultez la rubrique Rôles liés au service Elasticsearch.

Configurez et démarrez la collecte des journaux de service ECS.

Remarque

Les étapes suivantes utilisent Filebeat comme exemple.

Dans la section Create Shipper, pointez sur Filebeat et cliquez sur ECS Logs.

Remarque
Pour les autres types d'expéditeurs, tels que Metricbeat, cliquez directement sur le nom de l'expéditeur.

Dans l'assistant Configure Shipper, saisissez ou sélectionnez les informations relatives à l'expéditeur.

Paramètre	Description
Shipper Name	Saisissez un nom personnalisé pour l'expéditeur. Le nom doit comporter entre 1 et 30 caractères, commencer par une lettre et contenir uniquement des lettres, des chiffres, des traits de soulignement (_) et des traits d'union (-).
Version	Seule la version 6.8.5 est prise en charge pour Filebeat.
Output	La destination des données provenant de Filebeat. Sélectionnez une instance Alibaba Cloud Elasticsearch ou Logstash existante. Le protocole d'accès doit correspondre au protocole de l'instance Elasticsearch sélectionnée. Important Les instances Elasticsearch de version 8.x ou ultérieure ne sont pas prises en charge.
Username and Password	Si vous sélectionnez Output comme Elasticsearch, vous devez fournir le nom d'utilisateur et le mot de passe correspondants pour permettre à Filebeat d'écrire des données dans l'instance Elasticsearch. Le nom d'utilisateur par défaut est elastic. Vous avez défini le mot de passe lors de la création de l'instance. Si vous avez oublié le mot de passe, réinitialisez-le. Pour plus d'informations, consultez la rubrique Réinitialiser le mot de passe d'accès d'une instance.
Enable Kibana Monitoring	Active la surveillance des métriques Filebeat. Si vous sélectionnez Output comme Elasticsearch, la surveillance utilise par défaut la même instance Alibaba Cloud Elasticsearch que celle définie dans Output. Si vous sélectionnez Output comme Logstash, vous devez ajouter une configuration au fichier de configuration.
Enable Kibana Dashboard	Configure le tableau de bord Kibana par défaut. Étant donné qu'Alibaba Cloud Kibana est déployé dans un VPC, vous devez activer l'accès au réseau privé pour Kibana sur sa page de configuration. Pour plus d'informations, consultez la rubrique Se connecter à la console Kibana.
Filebeat File Path	Étant donné qu'Alibaba Cloud utilise Docker pour déployer Beats, vous devez mapper les répertoires hôtes pour la collecte des journaux dans le conteneur Docker. Le chemin que vous saisissez ici doit être un répertoire parent des chemins spécifiés dans le paramètre `filebeat.yml` du fichier `input.path`. Les caractères génériques () ne sont pas autorisés dans ce champ. Par exemple, si `input.path: /var/log//.log` est défini, le répertoire de fichiers Filebeat peut être `/var/` ou `/var/log/`. Important* Le chemin peut être un répertoire ou un chemin complet. Vous pouvez également utiliser des modèles glob pour faire correspondre des types de fichiers spécifiques dans un chemin. Si vous devez collecter des journaux à partir de plusieurs répertoires, cliquez sur Add pour saisir un autre chemin. Vous devez également ajouter le nouveau chemin au paramètre paths dans la section Shipper YML Configuration.
Shipper YML Configuration	Le fichier de configuration de l'expéditeur. Utilisez l'exemple suivant pour vous assurer que la collecte des journaux est activée et que les répertoires dans paths sont cohérents avec les répertoires que vous avez saisis pour les Répertoires de fichiers Filebeat. `filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log` Pour les autres paramètres, modifiez la configuration en fonction de vos besoins métier. Pour plus d'informations, consultez la rubrique Configuration YML de l'expéditeur.

Important

Après avoir spécifié l'option Shipper YML Configuration, vous n'avez pas besoin de la configurer à nouveau dans la section Output. Cela provoquerait une erreur d'installation.
Alibaba Cloud Filebeat ne prend pas en charge les noms d'index personnalisés. Par défaut, il crée un index nommé filebeat-%{[agent.version]}-%{+yyyy.MM.dd}, par exemple filebeat-6.8.5-2021.12.11.

Cliquez sur Shipper YML Configuration.
Facultatif : Si c'est la première fois que vous utilisez l'assistant Next, cliquez sur Install Shipper. Sur la page Authorize Now, cliquez sur Cloud Resource Access Authorization pour accorder à l'instance Elasticsearch les autorisations d'accès à ECS.
- Le service d'autorisation est fourni par Resource Access Management (RAM). Après avoir accordé l'autorisation, le système crée automatiquement deux rôles liés au service : Authorize et AliyunElasticsearchAccessingOOSRole. Les stratégies système par défaut associées sont respectivement AliyunOOSAccessingECS4ESRole et AliyunElasticsearchAccessingOOSRolePolicy. Ne supprimez pas ces rôles ou stratégies système.
- Si vous supprimez une stratégie par défaut ou un rôle système de la console RAM, vous pouvez réaccorder les autorisations en utilisant le lien Autorisation d'accès aux ressources cloud. Vous devez également accorder à l'utilisateur RAM les autorisations personnalisées suivantes pour éviter les erreurs d'autorisation. Pour obtenir des instructions sur la création d'une stratégie personnalisée, consultez la rubrique Créer une stratégie personnalisée.
```
{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ram:CreateRole",
                "ram:AttachPolicyToRole",
                "ram:GetRole"
            ],
            "Resource": "acs:ram:*:*:role/*",
            "Condition": {
                "ForAllValues:StringEquals": {
                    "ram:TrustedPrincipalTypes": "Service",
                    "ram:ServiceNames": [
                        "elasticsearch.aliyuncs.com",
                        "oos.aliyuncs.com"
                    ]
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": "ram:AttachPolicyToRole",
            "Resource": "acs:ram:*:*:policy/*"
        },
        {
            "Action": "ram:PassRole",
            "Resource": "*",
            "Effect": "Allow",
            "Condition": {
                "StringEquals": {
                    "acs:Service": "elasticsearch.aliyuncs.com"
                }
            }
        }
    ]
}
```
Dans l'assistant AliyunOOSAccessingECS4ESRolePolicy, sélectionnez les instances ECS cibles.

Remarque
La liste des instances affiche toutes les instances ECS sous votre compte qui se trouvent dans le même VPC que l'instance Elasticsearch ou Logstash sélectionnée pour l'option Install Shipper. Vous pouvez installer l'expéditeur uniquement sur les instances ECS sur lesquelles Cloud Assistant et Docker sont installés.
Cliquez sur Output.
Dans la boîte de dialogue Start, cliquez sur Start Shipper. Consultez l'expéditeur nouvellement créé dans la liste des expéditeurs.

Attendez que le Back to Beats Shippers passe à Shipper Status, ce qui indique que l'expéditeur est prêt. Les deux nombres après Enabled représentent le nombre d'installations ECS réussies et le nombre total d'instances ECS cibles. Si l'installation réussit sur toutes les instances, les deux nombres seront identiques.

Consultez les instances en cours d'exécution.

Après avoir créé l'expéditeur, vous pouvez consulter ses instances en cours d'exécution pour vérifier l'état de l'installation et résoudre les exceptions.
1. Dans la section Enabled, recherchez l'expéditeur et cliquez sur Manage Shippers dans la colonne Actions.
2. Sur la page View Instances, vérifiez les View Instances.
  
  Les Installed Shippers peuvent avoir l'un des états suivants : Installed Shippers, Normal Heartbeat, ou No Heartbeat. Si l'état est No Heartbeat ou Installation Failed, vous pouvez supprimer le nœud problématique ou réessayer l'installation. Si la nouvelle tentative échoue, consultez la rubrique Résoudre les échecs d'installation de Beats.
Facultatif : Consultez la page de surveillance ou le tableau de bord.

Si vous avez sélectionné Installation Failed ou Enable Kibana Monitoring lors de la création de l'expéditeur, vous pouvez consulter les informations de surveillance ou le tableau de bord dans Kibana après le démarrage de l'expéditeur.
1. Dans la section Enable Kibana Dashboard, recherchez l'expéditeur, cliquez sur l'icône > Manage Shippers > Actions.
2. Sur la page de connexion Kibana, saisissez votre nom d'utilisateur et votre mot de passe, puis cliquez sur View Dashboards.
3. Dans le volet de navigation de gauche, cliquez sur Log in. Ensuite, cliquez sur une métrique pour afficher son tableau de bord.
4. Dans le volet de navigation de gauche, cliquez sur Dashboard. Ensuite, cliquez sur un élément de surveillance pour afficher ses informations.

Documentation connexe

Opération API pour la création d'un expéditeur (appelé collector dans l'API) : CreateCollector

FAQ

Comment utiliser Beats pour collecter des journaux à partir de plusieurs répertoires ?

Lors de la configuration de l'expéditeur, cliquez sur Monitoring, saisissez le chemin dans la zone de texte et ajoutez le chemin au paramètre paths dans la section Add. Par exemple, si vous ajoutez /var/log/*.log et /var/log/messages dans Shipper YML Configuration, la section paths de la configuration Filebeat File Path doit également inclure les deux mêmes chemins.
Que faire si l'installation de Beats sur une instance ECS échoue ?

Pour obtenir des informations de dépannage, consultez la rubrique Résoudre les échecs d'installation de Beats.