La aplicación Intelligent Anomaly Analysis de Simple Log Service analiza el contenido textual de los registros y proporciona resultados estadísticos globales. Cree tareas de detección de patrones de registro y coincidencia de patrones de registro para supervisar y analizar sus registros, y seleccione una tarea y un algoritmo según las características de estos.
Descripción general de los algoritmos de análisis de texto
En una tarea de detección de patrones de registro, configure una biblioteca de patrones de registro sin conexión mediante el algoritmo de agrupación de registros o el algoritmo de detección de patrones. En una tarea de coincidencia de patrones de registro, supervise registros en línea mediante el algoritmo de agrupación por similitud, el algoritmo de agrupación por hash o el algoritmo de coincidencia por similitud.
Los algoritmos de análisis de texto utilizan tecnologías de LogParser y detección de anomalías. Los informes de análisis de registros le ayudan a comprender la información global de los registros y las posibles anomalías.
Estos informes permiten identificar categorías de registros con posibles anomalías, lo que reduce el alcance de la solución manual de problemas. Dichas categorías incluyen nuevas categorías de registros y las cinco principales con las puntuaciones de anomalía más altas.
Revise los informes periódicamente para rastrear cambios en la información global de los registros y supervisar la estabilidad del sistema.
Detección de patrones de registro
El algoritmo de agrupación de registros es adecuado para grandes volúmenes de registros con formatos consistentes. El algoritmo de detección de patrones resulta apropiado para volúmenes moderados de registros con formatos complejos.
Algoritmo de agrupación de registros
El algoritmo de agrupación de registros se basa en la función de agrupación de registros, que realiza una agrupación de grano grueso sobre los datos. Posteriormente, el algoritmo ejecuta una agrupación de grano fino basada en esos resultados. Para obtener más información sobre cómo habilitar la función de agrupación de registros y consultar los resultados, consulte LogReduce.
Algoritmo de detección de patrones
El algoritmo de detección de patrones utiliza el análisis de frecuencia de palabras para agrupar registros que comparten palabras frecuentes similares en una misma categoría. Estas palabras frecuentes constituyen el patrón de registro de dicha categoría. Para obtener más detalles sobre los algoritmos, consulte Efficient and Robust Syslog Parsing for Network Devices in Datacenter Networks.
Coincidencia de patrones de registro
El algoritmo de agrupación por similitud y el algoritmo de agrupación por hash son adecuados para grandes volúmenes de registros con formatos consistentes. El algoritmo de coincidencia por similitud es apropiado para grandes volúmenes de registros.
Algoritmo de agrupación por similitud
El algoritmo de agrupación por similitud emplea LogParser basado en similitud de texto para analizar registros textuales y clasificar registros similares en una categoría según su contenido y estructura. Las métricas de similitud de texto incluyen la distancia de edición, la similitud de Jaccard y la similitud del coseno. Asimismo, el algoritmo analiza los cambios en los registros a través de ventanas de tiempo continuas por categoría para detectar posibles anomalías. Para obtener más información sobre este algoritmo, consulte Drain: An Online Log Parsing Approach with Fixed Depth Tree.
Algoritmo de agrupación por hash
El algoritmo de agrupación por hash se basa en la función de agrupación de registros, que agrupa registros en línea. A partir de esos resultados, el algoritmo realiza una agrupación adicional, y analiza y supervisa los registros de forma continua. Para obtener más información, consulte LogReduce. Este algoritmo no utiliza bibliotecas externas de patrones de registro.
Algoritmo de coincidencia por similitud
El algoritmo de coincidencia por similitud utiliza bibliotecas externas de patrones de registro para hacer coincidir y analizar los registros. También puede usar bibliotecas generadas en una tarea de detección de patrones de registro. Este algoritmo recopila estadísticas sobre la aparición de cada patrón e identifica nuevos patrones a la brevedad posible. Además, acelera la coincidencia de patrones mediante métodos como la coincidencia vectorial y la coincidencia por hash.