Simple Log Service:LogReduce

Requisitos previos

• Se creó un logstore de tipo Standard. Para obtener más información, consulte Create a basic LogStore.

• Se recopilaron los registros. Para obtener más información, consulte Data collection.

• Se configuraron los índices. Para obtener más información, consulte Configure indexes.

Contexto

Simple Log Service utiliza LogReduce para agrupar registros similares y extraer patrones comunes. De esta manera, obtiene una descripción general rápida de sus datos de registro. LogReduce admite registros de texto en diversos formatos y se aplica a tareas de DevOps como la resolución de problemas, la detección de anomalías y el análisis de regresión de versiones. También es útil en escenarios de seguridad, como la detección de intrusiones. Los resultados de la agrupación se pueden guardar como gráficos en un dashboard para llevar a cabo un monitoreo en tiempo real.

Beneficios

• Admite registros en cualquier formato, como Log4j, JSON y registros de una sola línea.

• Procesa cientos de millones de entradas de registro y devuelve resultados en segundos.

• Agrupa los datos de registro según patrones arbitrarios.

• Permite buscar registros sin procesar mediante la firma del patrón.

• Compara patrones entre distintos periodos de tiempo.

• Ajusta dinámicamente la precisión de la agrupación.

Tráfico de índice

Habilitar LogReduce

1. Inicie sesión en la consola de Simple Log Service.

2. En la sección Projects, haga clic en el proyecto que desee.

   

3. En la pestaña Log Storage > Logstores, haga clic en el logstore que desee.

   

4. Habilite la función LogReduce.

   1. Haga clic en Index Attributes > Attributes.

      Si no ha habilitado la función de índice, haga clic en Enable Index.

   2. En el panel Query and Analysis, active el interruptor LogReduce.

   3. Opcional: Configure una lista de permitidos o de bloqueados para incluir o excluir campos de la agrupación.

      Nota

      No es posible configurar una lista de permitidos y una lista de bloqueados al mismo tiempo.

      Filtro de LogReduce	Descripción
      whitelist	Si configura una lista de permitidos, Simple Log Service agrupa los registros únicamente con base en los campos de dicha lista.
      blacklist	Si configura una lista de bloqueados, Simple Log Service excluye esos campos del proceso de agrupación.
      No whitelist or blacklist is configured	Si no se configura ninguna lista, Simple Log Service agrupa los registros con base en todos los campos disponibles.

   4. Haga clic en OK.

Resultados de agrupación y registros sin procesar

1. En la página Search & Analysis, introduzca una instrucción de consulta, establezca un intervalo de tiempo y luego haga clic en Search & Analyze.

   Nota

   Solo las instrucciones de consulta sirven para filtrar registros. LogReduce no admite instrucciones de análisis porque no puede procesar los resultados analíticos.

2. Haga clic en la pestaña LogReduce para consultar los resultados de la agrupación.

   También puede hacer clic en Add to New Dashboard para guardar los resultados de la agrupación en un dashboard.

   La página de resultados incluye un control deslizante Pattern Count (que se arrastra para ajustar la granularidad de la agrupación desde Many hasta Little), un botón Copy Query y un botón Log Compare.

   Parámetro	Descripción
   Number	Número de serie del clúster.
   Count	Cantidad de registros que coinciden con el patrón dentro del intervalo de tiempo especificado.
   Pattern	Patrón generado por LogReduce que representa un tipo de entrada de registro. Un patrón puede contener varios subpatrones.

   • Pase el cursor sobre un número de la columna Count para ver los subpatrones y el porcentaje de cada uno. Haga clic en el signo más (+) junto al número para expandir la lista de subpatrones.

   • Haga clic en un número de la columna Count para ir a la pestaña Raw Log y consultar los registros sin procesar que coinciden con el patrón.

Ajustar la precisión de la agrupación

Comparar agrupaciones de registros

1. En la pestaña LogReduce, haga clic en Log Compare.

2. Establezca el intervalo de tiempo de comparación y haga clic en OK.

   Por ejemplo, si su intervalo de consulta actual es de 15 minutos y selecciona 1 Day en el panel Log Compare, el sistema compara la ventana actual de 15 minutos con la misma ventana del día anterior.

   Parámetro	Descripción
   Number	Número de serie del clúster.
   Pre_Count	Cantidad de registros que coinciden con este patrón dentro del intervalo de comparación establecido en Log Compare.
   Count	Cantidad de registros del patrón en el intervalo de consulta actual.
   Diff	Diferencia y cambio porcentual en la cantidad de registros entre ambos periodos de tiempo.
   Pattern	Patrón específico de un tipo de registro.

Ejemplos de SQL

También puede ejecutar instrucciones de Search & Analysis para obtener los resultados de LogReduce.

• Obtener resultados de LogReduce

  • Instrucción de Search & Analysis

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    Nota

    Al consultar los resultados de la agrupación, haga clic en Copy Query Statement para obtener la instrucción de Search & Analysis correspondiente a los resultados actuales de LogReduce.

  • Modificar parámetros

    Modifique la función log_reduce(precision) en la instrucción. El parámetro precision define la precisión de la agrupación. Los valores válidos van de 1 a 16. Un valor menor indica mayor precisión y genera más patrones. El valor predeterminado es 3.

  • Campos devueltos

    Los resultados detallados de LogReduce están disponibles en la pestaña Aggregation.

    Parámetro	Descripción
    pattern	Patrón específico de un tipo de registro.
    count	Cantidad de registros que coinciden con el patrón en el intervalo de tiempo especificado.
    signature	Firma del patrón.
    origin_signatures	Firma secundaria del patrón, que sirve para buscar registros sin procesar.

• Comparar resultados de LogReduce entre distintos periodos de tiempo

  • Instrucción de Search & Analysis

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    Nota

    Después de usar Log Compare para contrastar resultados de agrupación de distintos periodos de tiempo, haga clic en Copy Query Statement para obtener la instrucción de Search & Analysis correspondiente.

  • Modificar parámetros

    Modifique la función compare_log_reduce(precision, compare_interval) en la instrucción de consulta.

    • El parámetro precision define la precisión de la agrupación. Los valores válidos van de 1 a 16. Un valor menor indica mayor precisión y genera más patrones. El valor predeterminado es 3.

    • El parámetro compare_interval indica cuánto tiempo atrás se va a comparar, expresado en segundos. El valor debe ser un número entero positivo.

  • Campos devueltos

    Parámetro	Descripción
    pattern	Patrón específico de un tipo de registro.
    count_compare	Cantidad de registros que coinciden con el patrón en el periodo de comparación.
    count	Cantidad de registros que coinciden con el patrón en el intervalo de tiempo actual.
    diff	Diferencia entre 'count' y 'count_compare'.
    signature	Firma del patrón.

Deshabilitar LogReduce

Si ya no necesita la función LogReduce, puede deshabilitarla.

1. En la página Search & Analysis, haga clic en Index Attributes > Attributes.

2. Desactive el interruptor LogReduce.

3. Haga clic en OK.