Simple Log Service:Plugins de processamento

Contexto

O SLS oferece dois tipos de plugins de processamento: nativos e estendidos.

• Plugins nativos: oferecem alto desempenho e atendem à maioria dos cenários. São a escolha padrão recomendada.

• Plugins estendidos: abrangem mais casos de uso, mas consomem recursos adicionais. Utilize-os quando os plugins nativos não conseguirem processar o formato do log.

Limitações

• Limitações de desempenho

  • Plugins estendidos consomem mais recursos (principalmente CPU). Ajuste os parâmetros do coletor conforme necessário. Configuration management.

  • Se a taxa de dados brutos ultrapassar 5 MB/s, evite combinações complexas de plugins. Use um plugin estendido para o processamento inicial e data transformation para tarefas mais complexas.

• Limitações na coleta de logs

  • Plugins estendidos processam logs de texto no modo de linha. Metadados no nível de arquivo, como __tag__:__path__ e __topic__, são armazenados em cada log.

  • O uso de plugins estendidos afeta recursos relacionados a tags:

    • A consulta contextual e o LiveTail ficam indisponíveis, a menos que você adicione uma configuração de agregadores.

    • O campo __topic__ é renomeado para __log_topic__. Com uma configuração de agregadores, os logs contêm tanto o campo __topic__ quanto o __log_topic__. Para remover o campo __log_topic__, utilize o plugin Field processing plugins.

    • Campos como __tag__:__path__ perdem os índices de campo nativos. Crie um crie um índice de campo para eles.

• Limitações na combinação de plugins

  • Para versões do Logtail anteriores à 2.0:

    • Não é possível combinar plugins nativos e estendidos.

    • Plugins nativos suportam apenas a coleta de logs de texto, com os seguintes requisitos:

      • O primeiro plugin deve ser de análise de dados: modo Regex, Delimitador, JSON, NGINX, Apache ou IIS.

      • Após o primeiro plugin, adicione apenas um plugin de análise de tempo, um de filtragem de dados e vários de mascaramento de dados.

  • No Logtail 2.0, posicione os plugins estendidos após todos os plugins nativos.

• Limites na combinação de parâmetros de plugins nativos

  Para plugins de análise nativos (modos Regex, JSON, Delimitador, NGINX, Apache e IIS) em versões do Logtail anteriores à 2.0, apenas combinações específicas de parâmetros são válidas. Outras combinações podem gerar resultados imprevisíveis.

  • Enviar apenas logs analisados com sucesso:

    Desmarque as caixas de seleção Keep original fields on parsing failure e Keep original fields on parsing success.

  • Enviar logs analisados em caso de sucesso e logs brutos em caso de falha:

    Marque a caixa de seleção Keep original fields on parsing failure, desmarque a caixa Keep original fields on parsing success e defina Renamed original field como __raw__.

  • Em caso de análise bem-sucedida, envie tanto o log analisado quanto o campo de log original. Se a análise falhar, envie o log bruto.

    Por exemplo, após analisar com sucesso um log contendo "content": "{"request_method":"GET", "request_time":"200"}", um novo campo é adicionado ao log analisado. O nome desse campo corresponde ao valor de Renamed original field (ou ao nome do campo original, se deixado em branco), e seu valor é o conteúdo original: {"request_method":"GET", "request_time":"200"}.

    Marque as caixas de seleção Keep original fields on parsing failure e Keep original fields on parsing success. Ative a opção Advanced Parameters e insira {"CopingRawLog":true}. Em versões do Logtail anteriores à 2.0, apenas algumas combinações de parâmetros são efetivas.

Lista de plugins de processamento

Plugins nativos

Plugins estendidos

Adicionar um plugin