Simple Log Service:Compatibilidade entre Logtail e LoongCollector

Mudanças de comportamento entre versões

Nomenclatura de versões

Logtail, iLogtail e LoongCollector referem-se ao mesmo software:

• Logtail/iLogtail: versões anteriores à 3,0.

• LoongCollector: versão 3,0 e posteriores.

Padronização da análise de logs e tags

1. Chaves duplicadas na entidade de log:

   • Versões 1,8 e posteriores: chaves duplicadas não são permitidas na entidade de log. Por exemplo, se a entrada for content: xxx, content: yyy, apenas content: xxx será mantido.

   • Versões anteriores à 1,8: todas as chaves duplicadas são mantidas e renomeadas. Por exemplo, a saída será content: xxx, content_0: yyy.

2. Chaves duplicadas em tags de log:

   • Versões 1,8 e posteriores: chaves duplicadas não são permitidas nas tags de log. Por exemplo, se a entrada for __tag__:tag: xxx, __tag__:tag: yyy, apenas __tag__:tag: xxx será mantido.

   • Versões anteriores à 1,8: todas as chaves duplicadas são mantidas e renomeadas. Por exemplo, a saída será __tag__:tag: xxx, __tag__:tag_0: yyy.

Processamento de logs de linha única e multilinha

1. Tratamento de exceções:

   • Versão 2.x: por padrão, os logs são divididos por \n. Para descartar conteúdo não correspondente, defina o parâmetro Multiline.UnmatchedContentTreatment como discard.

   • Versão 1.x: se um log não corresponder a um padrão inicial multilinha, todo o conteúdo é processado como um único log.

2. Processamento da última linha de log:

   • Versões anteriores à 1,8: o sistema não gera a última linha de log sem terminação de nova linha, nem o último segmento multilinha, até receber uma nova linha ou o próximo segmento multilinha.

   • Versões 1,8 e posteriores: um mecanismo de timeout controla esse comportamento. Para garantir a integridade do último segmento, o atraso padrão é de 60 segundos. A partir da versão 2,0, o parâmetro de controle global é default_reader_flush_timeout e o parâmetro de controle no nível de configuração de coleta é FlushTimeoutSecs. Ajuste esses parâmetros se sua aplicação exigir menor latência. Não defina esses parâmetros como 0, pois isso pode causar truncamento de logs.

Processamento de tags

As tags processadas por uma extensão são gravadas na estrutura tags do data model em vez da estrutura content. Isso reduz o espaço de armazenamento:

• Cenários de consumo de dados são afetados. Garanta a compatibilidade nos consumidores downstream.

• Cenários de consulta não são afetados.

Profundidade do caminho de coleta de logs de contêiner

Ao coletar logs de contêiner de um cluster ACK, se você criar a configuração usando o ACK console:

• Versão 2,0 e posteriores: a profundidade máxima de recursão padrão para uma pasta é 0. Se o caminho de coleta contiver /**/, a profundidade será 10.

• Versões anteriores à 2,0: a profundidade máxima de recursão padrão é 100.

Cenários de host

Upgrade do Logtail para o LoongCollector

Execute o comando apropriado para atualizar o Logtail para o LoongCollector conforme o sistema operacional do host.

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;

# Install from the public network
chmod +x loongcollector.sh; ./loongcollector.sh upgrade

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/aarch64/main/loongcollector-linux64.tar.gz;

# Install locally
    chmod +x loongcollector.sh; ./loongcollector.sh upgrade-local 

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/x86_64/main/loongcollector-linux64.tar.gz;

O upgrade foi bem-sucedido se a saída for semelhante à seguinte:

Try to stop ilogtail ...
kill process Name: ilogtail pid: 878
kill process Name: ilogtail pid: 879
stop successfully
Stop ilogtail successfully.
Upgrading loongcollector files ...
Upgrade loongcollector files successfully.
Starting loongcollector ...
loongcollector is running
Upgrade loongcollector successfully.

Rollback do LoongCollector para o Logtail

Execute o comando apropriado para reverter o LoongCollector para o Logtail.

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh;

chmod +x logtail.sh; sudo ./logtail.sh upgrade;

# For example, to use version 1.8.7. Replace the version number as needed.
chmod +x logtail.sh; sudo ./logtail.sh upgrade -v 1.8.7;

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh; wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/aarch64/logtail-linux64.tar.gz;

chmod +x logtail.sh; ./logtail.sh upgrade-local;

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh; wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail-linux64.tar.gz;