L'application Intelligent Anomaly Analysis de Simple Log Service analyse le contenu textuel des journaux et fournit des résultats d'analyse statistique globale. Créez des tâches de découverte de motifs de journal et de correspondance de motifs de journal pour surveiller et analyser les journaux, puis sélectionnez une tâche et un algorithme adaptés aux caractéristiques de vos journaux.
Présentation des algorithmes d'analyse de texte
Dans une tâche de découverte de motifs de journal, constituez une bibliothèque de motifs de journal hors ligne à l'aide de l'algorithme de clustering de journaux ou de l'algorithme de découverte de motifs. Dans une tâche de correspondance de motifs de journal, surveillez les journaux en ligne grâce à l'algorithme de clustering par similarité, à l'algorithme de clustering par hachage ou à l'algorithme de correspondance par similarité.
Les algorithmes d'analyse de texte s'appuient sur les technologies LogParser et de détection d'anomalies. Les rapports d'analyse des journaux vous aident à comprendre les informations globales contenues dans les journaux et à identifier les anomalies potentielles.
Ces rapports vous permettent d'identifier les catégories de journaux susceptibles de présenter des anomalies, ce qui réduit le périmètre du dépannage manuel. Ces catégories incluent les nouvelles catégories de journaux ainsi que les cinq catégories affichant les scores d'anomalie les plus élevés.
Consultez régulièrement les rapports pour suivre l'évolution des informations globales des journaux et surveiller la stabilité du système.
Découverte de motifs de journal
L'algorithme de clustering de journaux convient aux grands volumes de journaux présentant des formats cohérents. L'algorithme de découverte de motifs est adapté aux volumes modérés de journaux aux formats complexes.
Algorithme de clustering de journaux
L'algorithme de clustering de journaux s'appuie sur la fonctionnalité de clustering de journaux, qui effectue un regroupement grossier des journaux. Il affine ensuite ce regroupement à partir des résultats obtenus. Pour plus d'informations sur l'activation de la fonctionnalité de clustering de journaux et la consultation des résultats, consultez LogReduce.
Algorithme de découverte de motifs
L'algorithme de découverte de motifs utilise l'analyse de la fréquence des mots pour regrouper les journaux partageant des mots fréquents similaires dans une même catégorie. Ces mots fréquents constituent le motif de journal de cette catégorie. Pour plus d'informations sur les algorithmes, consultez Efficient and Robust Syslog Parsing for Network Devices in Datacenter Networks.
Correspondance de motifs de journal
L'algorithme de clustering par similarité et l'algorithme de clustering par hachage conviennent aux grands volumes de journaux présentant des formats cohérents. L'algorithme de correspondance par similarité est adapté aux grands volumes de journaux.
Algorithme de clustering par similarité
L'algorithme de clustering par similarité utilise LogParser, basé sur la similarité textuelle, pour analyser les journaux textuels et classer les journaux similaires dans une même catégorie selon leur contenu et leur structure. Les métriques de similarité textuelle incluent la distance d'édition, la similarité de Jaccard et la similarité cosinus. L'algorithme analyse également l'évolution des journaux par catégorie sur des fenêtres temporelles continues afin de détecter les anomalies potentielles. Pour plus d'informations sur cet algorithme, consultez Drain: An Online Log Parsing Approach with Fixed Depth Tree.
Algorithme de clustering par hachage
L'algorithme de clustering par hachage s'appuie sur la fonctionnalité de clustering de journaux, qui regroupe les journaux en ligne. Il affine ensuite ce regroupement à partir des résultats obtenus et assure une analyse et une surveillance continues des journaux. Pour plus d'informations, consultez LogReduce. L'algorithme de clustering par hachage n'utilise pas de bibliothèques externes de motifs de journal.
Algorithme de correspondance par similarité
L'algorithme de correspondance par similarité utilise des bibliothèques externes de motifs de journal pour faire correspondre et analyser les journaux. Il peut également exploiter les bibliothèques de motifs constituées lors d'une tâche de découverte de motifs de journal. Cet algorithme recense les occurrences de chaque motif de journal et identifie les nouveaux motifs dès que possible. Il accélère la correspondance des motifs de journal en utilisant des méthodes telles que la correspondance vectorielle et la correspondance par hachage.