Logstash logs - Elasticsearch: Central de Documentação do Alibaba Cloud

O recurso de logging do Alibaba Cloud Logstash permite pesquisar o conteúdo dos logs por palavra-chave e intervalo de tempo. Isso facilita a localização rápida de problemas no cluster e a execução de tarefas de manutenção diária.

Procedimento

Acesse a página Logstash Clusters.
Localize o cluster desejado.
1. Na barra de navegação superior, selecione a região do cluster.
2. Na página Logstash Clusters, encontre o cluster e clique em seu ID.

No painel de navegação à esquerda, clique em Logs para visualizar os logs de execução do cluster.

O Alibaba Cloud Logstash oferece suporte a quatro tipos de log: logs de cluster, slow logs, GC logs e debug logs. A tabela a seguir descreve cada tipo e seus casos de uso. Para mais informações, consulte Detalhes dos logs.

Tipo de log	Descrição	Caso de uso
cluster log	Registra o status operacional do cluster.	Consulte os logs de cluster para monitorar a integridade dos nós e o status dos pipelines, solucionar problemas de conectividade entre source e destinos, verificar alterações na configuração do pipeline e identificar erros de execução. Importante Se sua aplicação apresentar problemas, verifique primeiro o log de cluster e os dados de monitoramento de cluster para descartar gargalos de desempenho ou erros de configuração do pipeline.
slow log	Registra eventos do pipeline que excedem um limiar de tempo especificado. Importante Para auxiliar na solução de problemas, os slow logs são ativados por padrão no arquivo YML. Não remova essa configuração de slow log. Para mais informações, consulte Configurar um arquivo YML.	Caso enfrente operações de escrita lentas, analise o slow log. As causas mais comuns incluem: A source ou o destino na configuração do pipeline atingiu um gargalo de recursos. Recomendamos aumentar os recursos da source ou do destino. A configuração Pipeline Workers do Logstash está muito baixa. Aumente o Pipeline Batch Size e o Pipeline Workers. Para mais informações, consulte Gerenciar pipelines usando arquivos de configuração.
gc log	Registra eventos de garbage collection (GC) do heap da Java Virtual Machine (JVM), incluindo detalhes sobre os mecanismos Old GC, CMS GC, Full GC e Minor GC.	Quando um cluster apresentar gargalo de desempenho, verifique nos GC logs se há eventos de garbage collection frequentes ou demorados.
debug log	Exibe os dados de saída após o processamento pelo pipeline. Este service vem desativado por padrão. Para ativá-lo, instale o plug-in logstash-output-file_extend e configure o parâmetro file_extend na seção output.	Utilize os debug logs para visualizar a saída do pipeline diretamente no console durante a depuração.

Na caixa de pesquisa da página Logs, insira uma consulta, selecione as horas de início e fim e clique em Search.

É possível consultar logs dos últimos sete dias. Por padrão, os logs aparecem em ordem cronológica inversa. O Alibaba Cloud Logstash suporta sintaxe de consulta baseada em Lucene. Para mais informações, consulte Sintaxe de string de consulta.

Por exemplo, para consultar um log de cluster em que o campo content contenha a palavra-chave running, o level seja info e o host seja 172.16.xx.xx, use a seguinte consulta: host:172.16.xx.xx AND level:info AND content:running.

Os resultados da pesquisa aparecem na página Logs.

Detalhes dos logs

Cluster log

Um cluster log exibe os logs de execução de um cluster, incluindo horário de geração, endereço IP do nó de source e detalhes do log.

Parâmetro	Descrição
Time	Horário em que o log foi gerado.
Node IP Address	Endereço IP do nó que gerou o log.
Content	Detalhes do log, compostos principalmente por level, host, time e content: level: Nível do log, como trace, debug, info, warn ou error. Nota Um GC log não possui o campo level. host: Endereço IP do nó que gerou o log. time: Horário em que o log foi gerado. content: Conteúdo principal do log.

GC log

Os GC logs vêm ativados por padrão e compartilham a mesma estrutura descrita em Cluster log.

O visualizador de logs exibe entradas de GC log com três campos: host (IP do nó), time (timestamp, ex.: 2021-10-11T16:21:19.589Z) e content (corpo do log). Exemplo de conteúdo de GC log: [GC (Allocation Failure) ... ParNew: 481493K->4666K(536384K) ... 606013K->129187K(2324288K), Times: user=0.02 sys=0.00, real=0.02 secs]. Isso indica que o ParNew coletou de 481493K para 4666K e o heap total passou de 606013K para 129187K.

Slow log

Os slow logs são ativados por padrão. Visualize ou modifique a configuração de slow log no arquivo YML da sua instância Logstash. Para mais informações, consulte Configurar um arquivo YML.

Importante

Para facilitar a solução de problemas, não remova esta configuração de slow log.


slowlog:
  threshold:
    warn: 2s
    info: 1s
    debug: 500ms
    trace: 100ms

Debug log

Quando a saída do pipeline não corresponde ao esperado, o Alibaba Cloud Logstash oferece um service de depuração de pipeline. Para mais informações, consulte Usar o service de depuração de configuração de pipeline.

Os debug logs ficam desativados por padrão. Para ativá-los, execute as etapas a seguir:

Instale o plug-in logstash-output-file_extend. Para mais informações, consulte Instalar ou remover um plug-in.
Na seção output da configuração do pipeline, configure o parâmetro file_extend. Para mais informações, consulte Gerenciar pipelines usando arquivos de configuração.

Após ativar os debug logs, visualize a saída do pipeline Logstash no console do Simple Log Service. Cada entrada de log contém os campos time, node IP e content. O campo content mostra os dados processados pelo pipeline em formato chave-valor (como resultados de análise de geolocalização e timestamps), além de metadados como pipelineId e sls_log_time.

Operações relacionadas

ListLogstashLog