Simple Log Service:LogReduce

Prérequis

• Vous avez créé un Logstore Standard. Pour plus d'informations, consultez la rubrique Créer un Logstore de base.

• Vous avez collecté les journaux. Pour plus d'informations, consultez la rubrique Collecte de données.

• Vous avez configuré les index. Pour plus d'informations, consultez la rubrique Configurer les index.

Contexte

Simple Log Service utilise LogReduce pour regrouper les journaux similaires et extraire des modèles communs, offrant ainsi une vue d'ensemble rapide de vos données de journalisation. LogReduce prend en charge les journaux textuels dans divers formats et s'applique aux tâches DevOps telles que le dépannage, la détection d'anomalies et l'analyse des régressions de version, ainsi qu'aux scénarios de sécurité comme la détection d'intrusion. Vous pouvez enregistrer les résultats du clustering sous forme de graphiques dans un tableau de bord pour une surveillance en temps réel.

Avantages

• Prise en charge des journaux dans n'importe quel format, tels que Log4j, JSON et les journaux sur une seule ligne.

• Traitement de centaines de millions d'entrées de journal et renvoi des résultats en quelques secondes.

• Regroupement des données de journal selon des modèles arbitraires.

• Recherche des journaux bruts par signature de modèle.

• Comparaison des modèles sur différentes périodes.

• Ajustement dynamique de la précision du clustering.

Trafic d'indexation

Activer LogReduce

1. Connectez-vous à la console Simple Log Service.

2. Dans la section Projects, cliquez sur le projet souhaité.

   

3. Sous l'onglet Log Storage > Logstores, cliquez sur le Logstore souhaité.

   

4. Activez la fonctionnalité LogReduce.

   1. Cliquez sur Index Attributes > Attributes.

      Si vous n'avez pas activé la fonctionnalité d'index, cliquez sur Enable Index.

   2. Dans le panneau Query and Analysis, activez l'interrupteur LogReduce.

   3. Facultatif : Configurez une liste d'autorisation ou une liste de blocage pour les champs à inclure ou à exclure du clustering.

      Remarque

      Vous ne pouvez pas configurer simultanément une liste d'autorisation et une liste de blocage.

      Filtre LogReduce	Description
      liste d'autorisation	Si vous configurez une liste d'autorisation, Simple Log Service clusterise les journaux uniquement sur la base des champs figurant dans la liste d'autorisation.
      liste de blocage	Si vous configurez une liste de blocage, Simple Log Service exclut les champs de la liste de blocage du processus de clustering.
      Aucune liste d'autorisation ou de blocage n'est configurée	Si ni liste d'autorisation ni liste de blocage n'est configurée, Simple Log Service clusterise les journaux sur la base de tous les champs disponibles.

   4. Cliquez sur OK.

Résultats du clustering et journaux bruts

1. Sur la page Search & Analysis, saisissez une instruction de requête, définissez une plage de temps, puis cliquez sur Search & Analyze.

   Remarque

   Seules les instructions de requête peuvent être utilisées pour filtrer les journaux. LogReduce ne prend pas en charge les instructions d'analyse car il ne peut pas traiter les résultats d'analyse.

2. Cliquez sur l'onglet LogReduce pour consulter les résultats du clustering.

   Vous pouvez également cliquer sur Add to New Dashboard pour enregistrer les résultats du clustering dans un tableau de bord.

   La page de résultats comprend un curseur Pattern Count (que vous pouvez faire glisser pour ajuster la granularité du clustering de Many à Little), un bouton Copy Query et un bouton Log Compare.

   Paramètre	Description
   Number	Numéro de série du cluster.
   Count	Nombre de journaux correspondant au modèle dans la plage de temps spécifiée.
   Pattern	Modèle généré par LogReduce qui représente un type d'entrée de journal. Un modèle peut contenir plusieurs sous-modèles.

   • Survolez un nombre dans la colonne Count pour afficher les sous-modèles et le pourcentage de chacun. Cliquez sur le signe plus (+) à côté du nombre pour développer la liste des sous-modèles.

   • Cliquez sur un nombre dans la colonne Count pour accéder à l'onglet Raw Log et afficher les journaux bruts correspondant au modèle.

Ajuster la précision du clustering

Comparer les clusters de journaux

1. Sous l'onglet LogReduce, cliquez sur Log Compare.

2. Définissez la plage de temps de comparaison et cliquez sur OK.

   Par exemple, si votre plage de temps de requête actuelle est de 15 minutes et que vous sélectionnez 1 Day dans le panneau Log Compare, le système compare la fenêtre actuelle de 15 minutes avec la même fenêtre de 15 minutes de la veille.

   Paramètre	Description
   Number	Numéro de série du cluster.
   Pre_Count	Nombre de journaux correspondant à ce modèle dans la plage de temps de comparaison définie dans Log Compare.
   Count	Nombre de journaux pour le modèle dans la plage de temps de requête actuelle.
   Diff	Différence et variation en pourcentage du nombre de journaux entre les deux périodes.
   Pattern	Modèle spécifique d'un type de journal.

Exemples SQL

Vous pouvez également exécuter des instructions Search & Analysis pour récupérer les résultats LogReduce.

• Obtenir les résultats LogReduce

  • Instruction Search & Analysis

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    Remarque

    Lorsque vous consultez les résultats du clustering, vous pouvez cliquer sur Copy Query Statement pour obtenir l'instruction Search & Analysis correspondant aux résultats LogReduce actuels.

  • Modifier les paramètres

    Modifiez la fonction log_reduce(precision) dans l'instruction. Le paramètre precision spécifie la précision du clustering. Les valeurs valides vont de 1 à 16. Une valeur plus petite indique une précision plus élevée et génère davantage de modèles. La valeur par défaut est 3.

  • Champs renvoyés

    Les résultats détaillés de LogReduce sont disponibles sous l'onglet Aggregation.

    Paramètre	Description
    pattern	Modèle spécifique d'un type de journal.
    count	Nombre de journaux correspondant au modèle dans la plage de temps spécifiée.
    signature	Signature du modèle.
    origin_signatures	Signature secondaire du modèle, que vous pouvez utiliser pour rechercher les journaux bruts.

• Comparer les résultats LogReduce sur différentes périodes

  • Instruction Search & Analysis

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    Remarque

    Après avoir utilisé Log Compare pour comparer les résultats de clustering de différentes périodes, vous pouvez cliquer sur Copy Query Statement pour obtenir l'instruction Search & Analysis correspondante.

  • Modifier les paramètres

    Modifiez la fonction compare_log_reduce(precision, compare_interval) dans l'instruction de requête.

    • Le paramètre precision spécifie la précision du clustering. Les valeurs valides vont de 1 à 16. Une valeur plus petite indique une précision plus élevée et génère davantage de modèles. La valeur par défaut est 3.

    • Le paramètre compare_interval spécifie la période de comparaison en secondes (remontée dans le temps). La valeur doit être un entier positif.

  • Champs renvoyés

    Paramètre	Description
    pattern	Modèle spécifique d'un type de journal.
    count_compare	Nombre de journaux correspondant au modèle dans la période de comparaison.
    count	Nombre de journaux correspondant au modèle dans la plage de temps actuelle.
    diff	Différence entre « count » et « count_compare ».
    signature	Signature du modèle.

Désactiver LogReduce

Si vous n'avez plus besoin de la fonctionnalité LogReduce, vous pouvez la désactiver.

1. Sur la page Search & Analysis, cliquez sur Index Attributes > Attributes.

2. Désactivez l'interrupteur LogReduce.

3. Cliquez sur OK.