Simple Log Service:Logtail (legado)

Processo de coleta

Monitoramento de logs

Após a instalação do Logtail nos servidores e a criação de uma configuração do Logtail no console do Simple Log Service, o sistema entrega a configuração aos servidores em tempo real. Em seguida, o Logtail monitora os arquivos de log ao verificar diretórios conforme o caminho do arquivo de log configurado e a profundidade máxima de monitoramento de diretórios.

Arquivos de log sem atualizações após a aplicação da configuração do Logtail são considerados históricos e não são coletados. Arquivos atualizados são lidos e enviados ao Simple Log Service. Para obter mais informações sobre a coleta de arquivos de log históricos, consulte Importar logs históricos de arquivos de log.

O Logtail registra listeners de eventos que consultam diretórios de log em intervalos regulares para garantir uma coleta oportuna. No Linux, o Inotify monitora diretórios e consulta arquivos de log.

Leitura de logs

Ao detectar atualizações em arquivos de log, o Logtail lê os dados correspondentes.

• Na primeira leitura, o Logtail lê até 1.024 KB por padrão.

  • Se o arquivo for menor que 1.024 KB, o Logtail lê desde o início.

  • Se o arquivo for maior que 1.024 KB, o Logtail lê os últimos 1.024 KB.

  Nota

  É possível configurar o tamanho da leitura inicial.

  • Console: Modifique o campo First Collection Size na página Logtail Config. Configurações avançadas.

  • API: Modifique o parâmetro tail_size_kb na configuração do Logtail. avançado.

• Caso o arquivo de log já tenha sido lido anteriormente, o Logtail retoma a partir do último checkpoint.

• O Logtail lê até 512 KB por operação de leitura. Cada entrada de log não deve exceder 512 KB.

Processamento de logs

O Logtail divide cada log em linhas, analisa o conteúdo e define o campo de tempo.

• Divisão de um log em várias linhas

  O Logtail divide os logs em várias linhas com base na expressão regular de primeira linha especificada. Sem uma expressão regular, cada linha é tratada como um log separado.

• Análise de logs

  O Logtail analisa cada log conforme o modo de coleta especificado na configuração do Logtail.

  Nota

  Expressões regulares complexas podem causar alto uso da CPU. Utilize expressões eficientes para minimizar o consumo de recursos.

  Se o Logtail falhar ao analisar um log, ele tratará a falha com base na configuração Drop Failed to Parse Logs.

  • Se a opção Drop Failed to Parse Logs estiver ativada, o Logtail descarta o log e reporta um erro.

  • Se a opção Drop Failed to Parse Logs estiver desativada, o Logtail faz upload do log com a chave raw_log e o valor definido como o conteúdo do log.

• Configuração do campo de tempo para um log

  • Sem a configuração do campo de tempo, o horário do log assume, por padrão, o momento da análise.

  • Com a configuração do campo de tempo, o processamento depende da diferença horária:

    • Dentro de 12 horas: o horário do log é extraído dos campos de log analisados.

    • Além de 12 horas: o log é descartado e um erro é reportado.

Filtragem de logs

Após o processamento, o Logtail filtra os logs conforme as condições especificadas.

• Sem condições definidas em Filter Configuration, os logs não são filtrados.

• Com condições definidas em Filter Configuration, os campos de cada log são avaliados.

  Apenas os logs correspondentes às condições de filtro são coletados.

Agregação de logs

Para reduzir requisições de rede, o Logtail armazena em cache os logs processados e filtrados, enviando-os em lotes quando qualquer um dos seguintes limites for atingido:

• A duração da agregação excede 3 segundos.

• A quantidade de logs agregados ultrapassa 4.000.

• O tamanho total dos logs agregados supera 512 KB.

Envio de logs

O Logtail envia os logs agregados para o Simple Log Service. Em caso de falha, o Logtail tenta novamente ou descarta o pacote com base no código de status HTTP.

Benefícios

• Coleta baseada em arquivos não intrusiva. Não requer alterações de código e não afeta o desempenho da aplicação.

• Compatível com logs de texto, logs binários, logs HTTP e logs de contêineres.

• Coleta logs em clusters de contêineres como Docker e Kubernetes.

• Trata exceções de coleta automaticamente. Diante de falhas de rede ou servidor, o Logtail tenta novamente e armazena dados em cache localmente.

• Gerenciamento centralizado via Simple Log Service. Basta instale o Logtail, crie um grupo de máquinas e uma configuração para que a coleta inicie automaticamente.

• Proteção de recursos integrada. O Simple Log Service impõe limites rigorosos de CPU, memória e rede para evitar que o Logtail afete outros serviços no servidor.

Processo de configuração

1. Instalar o Logtail.

2. Criar um grupo de máquinas.

   Crie um grupo de máquinas IP address-based ou custom identifier-based para um Simple Log Service project.

3. Crie uma configuração do Logtail.

   Utilize o console do Simple Log Service para coletar logs de texto ou coletar logs de contêiner.

Após a configuração, o Logtail coleta logs dos seus servidores e os envia para o Logstore especificado. Consulte os logs pelo console do Simple Log Service, API, SDK ou CLI.

Termos

• Grupo de máquinas: Conjunto de um ou mais servidores que coletam o mesmo tipo de logs. Ao aplicar uma configuração do Logtail, o Simple Log Service coleta logs de todos os servidores do grupo.

  Defina grupos de máquinas por endereço IP ou identificador personalizado. Gerencie-os no console do Simple Log Service. Visão geral.

• Logtail: Agente de coleta de logs do Simple Log Service, executado em cada servidor de onde os logs são coletados.

  • Linux: O Logtail é instalado em /usr/local/ilogtail e executa dois processos (coletor e daemon) iniciando com ilogtail. Os logs operacionais são armazenados em /usr/local/ilogtail/ilogtail.LOG. Para obter mais informações, consulte Instalar o Logtail em um servidor Linux.

  • Windows:

    • Logtail (32 bits)

      • Windows 32 bits: C:\Program Files\Alibaba\Logtail.

      • Windows 64 bits: C:\Program Files (x86)\Alibaba\Logtail.

        Nota

        O Windows 64 bits armazena aplicativos de 32 bits em um diretório x86 separado para fins de compatibilidade.

    • Logtail (64 bits)

      O Logtail de 64 bits é suportado apenas no Windows 64 bits. Diretório de instalação: C:\Program Files\Alibaba\Logtail.

    Para verificar o status do Logtail, acesse Control Panel > Administrative Tools > Services. Para a versão V1.0.0.0 ou posterior, verifique o serviço LogtailDaemon. Para a versão V0.x.x.x, verifique o serviço LogtailWorker. Os logs operacionais estão em ilogtail.LOG no diretório de instalação. Para obter mais informações, consulte Instalar o Logtail em um servidor Windows.

• Configurações do Logtail: Políticas que definem como o Logtail coleta e analisa logs. Cada configuração especifique a source de dados, o modo de coleta e o Logstore de destino.

Recursos básicos

Recurso	Descrição
Coleta de logs em tempo real	O Logtail monitora arquivos de log e lê logs incrementais em tempo real. Normalmente, os logs chegam ao Simple Log Service dentro de 3 segundos após a geração. Para obter mais informações, consulte Processo de coleta. Nota O Logtail não coleta logs históricos. Logs lidos 12 horas ou mais após a geração são descartados. Para obter mais informações sobre a coleta de arquivos de log históricos, consulte Importar logs históricos de arquivos de log.
Rotação automática de logs	As aplicações rotacionam arquivos de log por tamanho ou data, renomeando os arquivos originais (por exemplo, app.LOG.1, app.LOG.2) e criando novos para app.LOG. Especifique o arquivo alvo para coleta, como app.LOG. O Logtail monitora a rotação automaticamente e garante que nenhum log seja perdido.
Suporte a múltiplas fontes de dados	O Logtail coleta logs de texto, syslogs, logs HTTP e logs binários do MySQL. Para obter mais informações, consulte Coleta de dados.
Compatibilidade com agente de coleta open-source	O Logtail ingere dados de coletores open-source como Logstash e Beats. Para obter mais informações, consulte Coleta de dados.
Tratamento automático de exceções de coleta	Em caso de falha na transmissão (erros do Simple Log Service, erros de rede ou esgotamento de cota), o Logtail tenta novamente automaticamente. Se a nova tentativa falhar, os dados são armazenados em cache localmente e reenviados após 3 segundos. Para obter mais informações, consulte Ferramenta de diagnóstico self-service do Logtail.
Configuração flexível de coleta	As configurações do Logtail oferecem flexibilidade na coleta. Especifique diretórios e arquivos usando correspondência exata ou curinga, configure o modo de coleta e utilize expressões regulares para extração de campos. O Simple Log Service exige um timestamp preciso para cada log. O Logtail suporta formatos de tempo personalizados para extrair timestamps de vários formatos de log.
Sincronização automática de configurações do Logtail	Após crie ou atualize uma configuração do Logtail no console, o Logtail a aplica dentro de 3 minutos na maioria dos casos. Nenhum log é perdido durante as atualizações.
Monitoramento de status	O Logtail monitora o uso de CPU e memória em tempo real para evitar consumo excessivo de recursos. Se os limites de recursos forem excedidos, o Logtail reinicia automaticamente. Se os limites de largura de banda forem ultrapassados, o throttling é acionado. Para obter mais informações, consulte Arquivo de configuração de inicialização (ilogtail_config.json).
Transmissão de dados assinados	O Logtail obtém um token privado do Simple Log Service por um canal confiável e assina todos os pacotes de log enviados para evitar adulteração. Nota O Logtail recupera o token via HTTPS.

Confiabilidade da coleta de dados

O Logtail salva checkpoints periodicamente no nível local. Após um desligamento inesperado ou falha, ele retoma a partir do último checkpoint para minimizar a perda de dados. Se o uso de recursos exceder os limites configurados por mais de 5 minutos, o Logtail é reiniciado forçosamente, o que pode causar coleta duplicada.

Apesar desses mecanismos, logs podem ser perdidos nestes cenários:

• O Logtail não está em execução, mas os arquivos de log passam por múltiplas rotações.

• Os arquivos de log rotacionam extremamente rápido, como uma vez por segundo.

• A taxa de coleta é inferior à taxa de geração por um período prolongado.

Referências

• Diagnóstico do Logtail

• FAQ do Logtail

• Limites do Logtail