Simple Log Service:LogReduce

Pré-requisitos

• Um logstore Standard foi criado. Para mais informações, consulte Create a basic LogStore.

• Os logs foram coletados. Para mais informações, consulte Data collection.

• Os índices foram configurados. Para mais informações, consulte Configure indexes.

Contexto

O Simple Log Service usa o LogReduce para agrupar logs semelhantes e extrair padrões comuns, oferecendo uma visão geral rápida dos dados de log. O LogReduce suporta logs de texto em diversos formatos e se aplica a tarefas de DevOps como resolução de problemas, detecção de anomalias e análise de regressão de versões, além de cenários de segurança como detecção de intrusões. Salve os resultados do agrupamento como gráficos em um painel para monitoramento em tempo real.

Benefícios

• Suporta logs em qualquer formato, como Log4j, JSON e logs de linha única.

• Processa centenas de milhões de entradas de log e retorna resultados em segundos.

• Agrupa dados de log por padrões arbitrários.

• Consulte logs brutos pela assinatura do padrão.

• Compare padrões entre diferentes períodos de tempo.

• Ajusta dinamicamente a precisão do agrupamento.

Tráfego de índice

Ativar o LogReduce

1. Faça login no Simple Log Service console.

2. Na seção Projects, clique no projeto desejado.

   

3. Na aba Log Storage > Logstores, clique no logstore desejado.

   

4. Ative o recurso LogReduce.

   1. Clique em Index Attributes > Attributes.

      Se o recurso de índice ainda não estiver ativo, clique em Enable Index.

   2. No painel Query and Analysis, ative o botão LogReduce.

   3. Optional: Configure uma lista de permissões ou uma lista de bloqueios para incluir ou excluir campos do agrupamento.

      Nota

      Não é possível configurar simultaneamente uma lista de permissões e uma lista de bloqueios.

      LogReduce filter	Description
      whitelist	Se uma lista de permissões for configurada, o Simple Log Service agrupa os logs com base apenas nos campos incluídos nela.
      blacklist	Se uma lista de bloqueios for configurada, o Simple Log Service exclui os campos bloqueados do processo de agrupamento.
      No whitelist or blacklist is configured	Quando nenhuma das duas listas é configurada, o Simple Log Service agrupa os logs com base em todos os campos disponíveis.

   4. Clique em OK.

Resultados do agrupamento e logs brutos

1. Na página Search & Analysis, insira uma instrução de consulta, defina um intervalo de tempo e clique em Search & Analyze.

   Nota

   Somente instruções de consulta podem ser usadas para filtrar logs. O LogReduce não suporta instruções de análise, pois não consegue processar resultados de análise.

2. Clique na aba LogReduce para ver os resultados do agrupamento.

   Também é possível clicar em Add to New Dashboard para salvar os resultados do agrupamento em um painel.

   A página de resultados inclui o controle deslizante Pattern Count (arraste-o para ajustar a granularidade do agrupamento, de Many para Little), o botão Copy Query e o botão Log Compare.

   Parameter	Description
   Number	O número de série do cluster.
   Count	A quantidade de logs que correspondem ao padrão no intervalo de tempo especificado.
   Pattern	Um padrão gerado pelo LogReduce que representa um tipo de entrada de log. Um padrão pode conter múltiplos subpadrões.

   • Passe o cursor sobre um número na coluna Count para ver os subpadrões e o percentual de cada um. Clique no sinal de adição (+) ao lado do número para expandir a lista de subpadrões.

   • Clique em um número na coluna Count para acessar a aba Raw Log e conferir os logs brutos correspondentes ao padrão.

Ajustar a precisão do agrupamento

Comparar clusters de log

1. Na aba LogReduce, clique em Log Compare.

2. Defina o intervalo de tempo para comparação e clique em OK.

   Por exemplo, se o intervalo de tempo da consulta atual for de 15 minutos e você selecionar 1 Day no painel Log Compare, o sistema comparará a janela atual de 15 minutos com a mesma janela de 15 minutos do dia anterior.

   Parameter	Description
   Number	O número de série do cluster.
   Pre_Count	A quantidade de logs que correspondem ao padrão no intervalo de tempo de comparação definido em Log Compare.
   Count	A quantidade de logs do padrão no intervalo de tempo da consulta atual.
   Diff	A diferença e a variação percentual na contagem de logs entre os dois períodos.
   Pattern	O padrão específico de um tipo de log.

Exemplos de SQL

Também é possível executar instruções Search & Analysis para recuperar resultados do LogReduce.

• Obter resultados do LogReduce

  • Instrução Search & Analysis

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    Nota

    Ao visualizar os resultados do agrupamento, clique em Copy Query Statement para obter a instrução Search & Analysis referente aos resultados atuais do LogReduce.

  • Modificar parâmetros

    Modifique a função log_reduce(precision) na instrução. O parâmetro precision especifica a precisão do agrupamento. Os valores válidos vão de 1 a 16. Um valor menor indica maior precisão e gera mais padrões. O valor padrão é 3.

  • Campos retornados

    Os resultados detalhados do LogReduce estão disponíveis na aba Aggregation.

    Parameter	Description
    pattern	O padrão específico de um tipo de log.
    count	A quantidade de logs que correspondem ao padrão no intervalo de tempo especificado.
    signature	A assinatura do padrão.
    origin_signatures	A assinatura secundária do padrão, usada para consultar logs brutos.

• Comparar resultados do LogReduce entre diferentes períodos

  • Instrução Search & Analysis

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    Nota

    Após usar Log Compare para comparar resultados de agrupamento de diferentes períodos, clique em Copy Query Statement para obter a instrução Search & Analysis correspondente.

  • Modificar parâmetros

    Modifique a função compare_log_reduce(precision, compare_interval) na instrução de consulta.

    • O parâmetro precision especifica a precisão do agrupamento. Os valores válidos vão de 1 a 16. Um valor menor indica maior precisão e gera mais padrões. O valor padrão é 3.

    • O parâmetro compare_interval especifica o quanto retroceder no tempo para a comparação, em segundos. O valor deve ser um número inteiro positivo.

  • Campos retornados

    Parameter	Description
    pattern	O padrão específico de um tipo de log.
    count_compare	A quantidade de logs que correspondem ao padrão no período de tempo de comparação.
    count	A quantidade de logs que correspondem ao padrão no intervalo de tempo atual.
    diff	A diferença entre count e count_compare.
    signature	A assinatura do padrão.

Desativar o LogReduce

Se o recurso LogReduce não for mais necessário, você pode desativá-lo.

1. Na página Search & Analysis, clique em Index Attributes > Attributes.

2. Desative o botão LogReduce.

3. Clique em OK.