Elasticsearch:Query logs

Limites

• Access Log : cette fonctionnalité est disponible uniquement pour les instances Elasticsearch exécutant la version 6.7.0 (avec une version mineure du moteur ≥ 1.0.2) ou la version 7.10 et ultérieure.

• Audit Log : vous pouvez consulter les journaux d'audit dans la console uniquement pour les instances exécutant la version 7.x ou ultérieure dans les régions suivantes.

  Pays ou région	Région
  Chine	Chine (Pékin), Chine (Hangzhou), Chine (Shanghai), Chine (Zhangjiakou)
  Asie-Pacifique	Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), Japon (Tokyo)
  Europe et Amériques	États-Unis (Virginie), États-Unis (Silicon Valley), Allemagne (Francfort), Royaume-Uni (Londres)

Procédure

1. Connectez-vous à la console Alibaba Cloud Elasticsearch.

2. Dans le menu de navigation de gauche, sélectionnez Elasticsearch Clusters.

3. Accédez au cluster cible.

   1. Dans la barre de navigation supérieure, sélectionnez le groupe de ressources auquel appartient le cluster et la région où il se trouve.

   2. Sur la page Elasticsearch Clusters, localisez le cluster et cliquez sur son ID.

4. Dans le volet de navigation de gauche, cliquez sur Logs pour afficher les journaux d'exécution du cluster.

   Alibaba Cloud Elasticsearch prend en charge les types de journaux suivants : journal principal, journal des requêtes de recherche lentes, journal des opérations d'indexation lentes, journal GC, journal d'accès ES et journal d'audit. Le tableau suivant décrit ces types de journaux et leurs cas d'utilisation. Pour plus d'informations, consultez la section Détails des journaux.

   Type de journal	Description	Cas d'utilisation
   Cluster Log	Enregistre l'état de santé d'un cluster ainsi que les journaux relatifs aux requêtes et aux écritures d'index. Par exemple, les journaux d'écriture incluent des événements tels que la création d'index, les mises à jour de mapping et les surcharges de file d'attente d'écriture. Les journaux de requête incluent des événements tels que l'état de la file d'attente de requêtes et les exceptions de requête.	Utilisez le journal principal pour vérifier l'état d'exécution des nœuds, les activités de requête et d'écriture, la connectivité des nœuds, les événements Full GC, la création ou la suppression d'index et les erreurs de requête au niveau du cluster. Important Si un problème survient côté client, commencez par vérifier le journal principal et la section Cluster Monitoring afin d'écarter les goulots d'étranglement liés aux performances ou les problèmes de configuration du cluster.
   Search Slow Log	Enregistre les requêtes lentes. Lorsque le temps d'exécution d'une requête dépasse un seuil spécifié, ses informations sont consignées. Le seuil de requête lente est préconfiguré dans le modèle d'index du modèle de configuration spécifique au scénario avec des valeurs par défaut optimales. Il vous suffit d'appliquer le modèle. Pour plus d'informations, consultez la section Configuration du modèle d'index.	Si les requêtes prennent plus de temps que prévu, examinez le journal des requêtes de recherche lentes pour investiguer. Les requêtes lentes consomment davantage de ressources du cluster. Si vous constatez un grand nombre de journaux lents, vérifiez les ressources et la charge du cluster pour identifier les goulots d'étranglement. Augmentez ensuite les ressources correspondantes ou utilisez le plugin aliyun-qos pour appliquer une limitation du débit et garantir la stabilité du cluster.
   Indexing Slow Log	Enregistre les opérations d'écriture lentes. Lorsque le temps d'exécution d'une opération d'écriture dépasse un seuil spécifié, ses informations sont consignées. Le seuil d'écriture lente est préconfiguré dans le modèle d'index du modèle de configuration spécifique au scénario avec des valeurs par défaut optimales. Il vous suffit d'appliquer le modèle. Pour plus d'informations, consultez la section Configuration du modèle d'index.	Si les opérations d'écriture prennent plus de temps que prévu, examinez le journal des opérations d'indexation lentes pour investiguer. Les opérations d'écriture lentes consomment davantage de ressources du cluster. Si vous constatez un grand nombre de journaux lents, vérifiez les ressources et la charge du cluster pour identifier les goulots d'étranglement. Augmentez ensuite les ressources correspondantes ou utilisez le plugin aliyun-qos pour appliquer une limitation du débit et garantir la stabilité du cluster.
   GC Log	Enregistre les événements de garbage collection déclenchés par l'utilisation de la mémoire heap JVM. Le journal GC fournit des informations détaillées sur divers mécanismes de collecte, notamment Old GC, CMS GC, Full GC et Minor GC.	Lorsqu'un cluster rencontre des goulots d'étranglement au niveau des performances, examinez le journal GC pour obtenir des informations détaillées sur la collecte et identifier les événements GC longs ou fréquents. Si de tels événements existent, augmentez les ressources du cluster ou utilisez le plugin aliyun-qos pour appliquer une limitation du débit et garantir la stabilité du cluster. Important Par défaut, les clusters Alibaba Cloud Elasticsearch utilisent le garbage collector CMS. Pour les nœuds de données disposant de 32 Go de mémoire ou plus, utilisez le garbage collector G1 afin d'améliorer l'efficacité du GC. Pour plus d'informations, consultez la section Configurer un garbage collector.
   Access Log	Enregistre les journaux d'accès d'un cluster. Ces journaux affichent les détails des requêtes liées à restSearchAction reçues par le cluster Elasticsearch, y compris l'URI, la taille du corps et l'heure de la requête. Important Vous pouvez consulter l'Access Log dans la console uniquement pour les instances exécutant la version 6.7.0 (avec une version mineure du moteur ≥ 1.0.2) ou la version 7.10 et ultérieure. Le journal d'accès ES ne prend pas en charge la journalisation pour les types de requêtes suivants : requêtes SQL, requêtes multi-search, requêtes scroll et requêtes déclenchées par certains outils de visualisation Kibana. Pour obtenir des informations plus complètes sur les requêtes et les demandes d'écriture, activez les journaux d'audit. Pour plus d'informations, consultez la section Configurer un collecteur de journaux d'audit.	Utilisez l'Access Log pour identifier quels clients envoient des requêtes au cluster Elasticsearch.
   Asynchronous Write Log	Enregistre les événements liés à la sécurité dans une instance Elasticsearch en s'appuyant sur la fonctionnalité d'audit X-Pack Security. Il consigne les événements tels que les opérations de création, de suppression, de mise à jour et de requête, ainsi que les succès et échecs d'authentification utilisateur et les modifications d'autorisations. Important Vous pouvez consulter les journaux d'audit dans la console uniquement pour les instances exécutant la version 7.x ou ultérieure dans les régions répertoriées dans la section Limites. Pour les autres instances, vous devez activer les journaux d'audit dans la configuration YML. Une fois activés, les journaux d'audit sont écrits dans un index du cluster Elasticsearch actuel. Vous pouvez afficher les journaux d'audit en interrogeant les index commençant par .security_audit_log-* dans la console Kibana. Pour plus d'informations, consultez la section Configurer les paramètres YML. Pour afficher les journaux d'audit dans la console, vous devez d'abord activer la collecte des journaux d'audit en cliquant sur Asynchronous Write Log. Par défaut, les types d'événements suivants sont collectés : access_denied, anonymous_access_denied, authentication_failed, connection_denied, tampered_request, run_as_denied, run_as_granted. Pour modifier les types d'événements collectés, modifiez le paramètre xpack.security.audit.logfile.events.include dans le fichier YML du cluster. Pour plus d'informations, consultez la section Configurer un collecteur de journaux d'audit.	Utilisez les journaux d'audit pour examiner les succès et échecs d'authentification utilisateur, résoudre les problèmes d'échec d'authentification et de refus de connexion, surveiller les événements d'accès aux données ou enquêter sur des activités suspectes telles que des modifications des autorisations d'accès aux données et des configurations de sécurité utilisateur.

5. Sur la page des journaux, saisissez vos conditions de recherche dans la zone de recherche, sélectionnez une heure de début et une heure de fin, puis cliquez sur Audit Log.

   Alibaba Cloud Elasticsearch renvoie et affiche les résultats des journaux sur la page d'interrogation des journaux en fonction de votre requête.

   • Vous pouvez interroger les journaux des sept derniers jours consécutifs. Par défaut, les journaux sont affichés par ordre chronologique inverse.

   • La syntaxe de requête est basée sur Lucene. Pour plus d'informations, consultez la documentation relative à la syntaxe des chaînes de requête.

   • L'opérateur AND dans votre requête doit être en majuscules.

   • Si vous ne spécifiez pas d'heure de fin, celle-ci correspond par défaut à l'heure actuelle. Si vous ne spécifiez pas d'heure de début, celle-ci correspond par défaut à une heure avant l'heure de fin.

   Par exemple, pour interroger les journaux principaux dont le contenu contient le mot-clé health, dont le niveau est info et dont l'hôte est 172,16.xx.xx, utilisez la requête suivante : host:172.16.xx.xx AND content:health AND level:info.

   Important

   • Un maximum de 10 000 entrées de journal peut être renvoyé par requête.

     Si les 10 000 entrées renvoyées ne contiennent pas les informations recherchées, réduisez la plage horaire de votre requête.

   • Une seule entrée de journal peut afficher un maximum de 10 000 caractères.

Détails des journaux

Journal principal

Journal des requêtes lentes

Les journaux des requêtes lentes sont activés par défaut et affichent les journaux des opérations d'indexation (journal des opérations d'indexation lentes) et de requête (journal des requêtes de recherche lentes) qui dépassent un seuil de temps spécifié. Interrogez ces journaux pour analyser des problèmes tels qu'une charge de cluster inégale, des exceptions de lecture/écriture et un traitement lent des données.

Journal GC

Journal d'accès ES

Journal d'audit

S'appuyant sur la fonctionnalité d'audit X-Pack Security, le journal d'audit enregistre les événements liés à la sécurité dans votre cluster Elasticsearch, y compris les succès et échecs d'authentification utilisateur, les modifications d'autorisations, les autorisations d'accès aux données et les opérations de création, de suppression, de mise à jour et de requête. Les journaux d'audit vous permettent de suivre les enregistrements d'authentification utilisateur et le comportement opérationnel au sein du cluster. Cette fonctionnalité est désactivée par défaut. Suivez les étapes ci-dessous pour activer et afficher les journaux d'audit :

1. Sur la page Content, cliquez sur Access Log à droite.

2. Dans la boîte de dialogue Logs, activez l'interrupteur Log Configuration.

   Important

   • Après avoir activé l'option Log Configuration, vous pouvez interroger les journaux d'audit du cluster sur la page actuelle. Pour modifier les types d'événements collectés, accédez à la configuration du cluster et modifiez le paramètre xpack.security.audit.logfile.events.include. Pour plus d'informations, consultez la section Configurer un collecteur de journaux d'audit.

   • L'activation ou la désactivation de l'option Audit Log Collection déclenche un redémarrage du cluster. Alibaba Cloud Elasticsearch utilise un redémarrage progressif. Le cluster reste disponible pendant le redémarrage s'il est dans un état vert, si chaque index dispose d'au moins un réplica et si l'utilisation des ressources n'est pas excessive. Toutefois, nous vous recommandons d'effectuer cette opération pendant les heures creuses.

3. Lisez l'invite et cliquez sur Audit Log Collection.

   Le cluster redémarre après confirmation. Vous pouvez suivre la progression dans la liste des tâches. Une fois le cluster redémarré, la collecte des journaux d'audit est activée.

   Important

   Les données des journaux d'audit consomment de l'espace disque et peuvent affecter les performances. Si vous n'avez plus besoin de consulter les journaux d'audit, vous pouvez utiliser la même méthode pour désactiver la fonctionnalité Audit Log Collection.

4. Sur la page OK, cliquez sur l'onglet Audit Log Collection pour afficher les journaux d'audit.

   Les journaux d'audit sont affichés dans un tableau comportant trois colonnes : Logs, Audit Log et Time. La zone de contenu affiche les champs d'audit au format clé-valeur, notamment :

   • audit_user_roles : rôles utilisateur

   • audit_action : action d'audit

   • audit_event_action : résultat de l'événement (par exemple, access_granted)

   • audit_origin_type : type d'origine (par exemple, transport)

   • audit_user_name : nom d'utilisateur

   • audit_request_name : nom de la requête

   • audit_node_id, host, audit_hostname et autres informations sur le nœud

Références

ListSearchLog

FAQ

• Puis-je définir la période de rétention des journaux .security dans Elasticsearch ?

• Comment enregistrer les journaux Elasticsearch sur un appareil local ?

• Que faire si je ne peux pas afficher les journaux de requête et de mise à jour d'une instance Elasticsearch ?

• Comment configurer et afficher les journaux des requêtes lentes d'une instance Elasticsearch ?

• Comment récupérer par programmation les journaux des requêtes lentes d'une instance Elasticsearch de manière régulière ?