O aplicativo Intelligent Anomaly Analysis do Simple Log Service analisa o conteúdo de texto em logs e fornece resultados de análise estatística global. Crie jobs de descoberta de padrões de log e correspondência de padrões de log para monitorar e analisar logs e selecione um job e algoritmo com base nas características dos seus logs.
Visão geral dos algoritmos de análise de texto
Em um job de descoberta de padrões de log, configure uma biblioteca de padrões de log offline com o algoritmo de clustering de log ou o algoritmo de descoberta de padrões. Em um job de correspondência de padrões de log, monitore logs online com o algoritmo de clustering por similaridade, o algoritmo de clustering por hash ou o algoritmo de correspondência por similaridade.
Os algoritmos de análise de texto utilizam tecnologias de LogParser e detecção de anomalias. Os relatórios de análise de log ajudam a entender informações globais de log e anomalias potenciais.
-
Os relatórios ajudam a identificar categorias de log que podem conter anomalias, reduzindo o escopo da investigação manual. Essas categorias incluem novas categorias de log e as cinco categorias de log com as maiores pontuações de anomalia.
-
Revise os relatórios regularmente para acompanhar alterações nas informações globais de log e monitorar a estabilidade do sistema.
Descoberta de padrões de log
O algoritmo de clustering de log é adequado para grandes volumes de logs com formatos consistentes. O algoritmo de descoberta de padrões é adequado para volumes moderados de logs com formatos complexos.
Algoritmo de clustering de log
O algoritmo de clustering de log é baseado no recurso de clustering de log, que realiza clustering de granularidade grossa em logs. Em seguida, o algoritmo realiza clustering de granularidade fina com base nesses resultados. Para obter mais informações sobre como ativar o recurso de clustering de log e visualizar os resultados de clustering, consulte LogReduce.
Algoritmo de descoberta de padrões
O algoritmo de descoberta de padrões utiliza análise de frequência de palavras para agrupar logs com palavras de alta frequência semelhantes em uma categoria. As palavras de alta frequência formam o padrão de log dessa categoria. Para obter mais informações sobre os algoritmos, consulte Efficient and Robust Syslog Parsing for Network Devices in Datacenter Networks.
Correspondência de padrões de log
O algoritmo de clustering por similaridade e o algoritmo de clustering por hash são adequados para grandes volumes de logs com formatos consistentes. O algoritmo de correspondência por similaridade é adequado para grandes volumes de logs.
Algoritmo de clustering por similaridade
O algoritmo de clustering por similaridade utiliza LogParser baseado em similaridade de texto para analisar logs de texto e classificar logs semelhantes em uma categoria com base no conteúdo e na estrutura. As métricas de similaridade de texto incluem distância de edição, similaridade de Jaccard e similaridade de cosseno. O algoritmo também analisa alterações de log em janelas de tempo contínuas por categoria para detectar anomalias potenciais. Para obter mais informações sobre o algoritmo, consulte Drain: An Online Log Parsing Approach with Fixed Depth Tree.
Algoritmo de clustering por hash
O algoritmo de clustering por hash é baseado no recurso de clustering de log, que realiza clustering de logs online. Em seguida, o algoritmo realiza clustering adicional com base nesses resultados e analisa e monitora logs continuamente. Para obter mais informações, consulte LogReduce. O algoritmo de clustering por hash não utiliza bibliotecas externas de padrões de log.
Algoritmo de correspondência por similaridade
O algoritmo de correspondência por similaridade utiliza bibliotecas externas de padrões de log para realizar correspondência e análise de logs. Também pode utilizar bibliotecas de padrões de log criadas em um job de descoberta de padrões de log. Esse algoritmo coleta estatísticas sobre as ocorrências de cada padrão de log e identifica novos padrões de log o mais cedo possível. Ele acelera a correspondência de padrões de log com métodos como correspondência vetorial e correspondência por hash.