Simple Log Service:Kompatibilitas Logtail dan LoongCollector

Perubahan perilaku di berbagai versi

Pemberian nama versi

Logtail, iLogtail, dan LoongCollector merujuk pada perangkat lunak yang sama:

• Logtail/iLogtail: Versi sebelum 3.0.

• LoongCollector: Versi 3.0 dan seterusnya.

Standarisasi penguraian log dan tag

1. Kunci duplikat dalam entitas log:

   • Versi 1.8 dan seterusnya: Kunci duplikat tidak diizinkan dalam entitas log. Misalnya, jika input-nya adalah content: xxx, content: yyy, hanya content: xxx yang dipertahankan.

   • Versi sebelum 1.8: Semua kunci duplikat dipertahankan dan diganti namanya. Misalnya, output-nya adalah content: xxx, content_0: yyy.

2. Kunci duplikat dalam tag log:

   • Versi 1.8 dan seterusnya: Kunci duplikat tidak diizinkan dalam tag log. Misalnya, jika input-nya adalah __tag__:tag: xxx, __tag__:tag: yyy, hanya __tag__:tag: xxx yang dipertahankan.

   • Versi sebelum 1.8: Semua kunci duplikat dipertahankan dan diganti namanya. Misalnya, output-nya adalah __tag__:tag: xxx, __tag__:tag_0: yyy.

Pemrosesan log satu baris dan multi-baris

1. Penanganan pengecualian:

   • Versi 2.x: Secara default, log dipisahkan berdasarkan \n. Untuk membuang konten yang tidak cocok, atur parameter Multiline.UnmatchedContentTreatment ke discard.

   • Versi 1.x: Jika log tidak dapat dicocokkan dengan pola awal multi-baris, seluruh konten diproses sebagai satu log.

2. Pemrosesan baris log terakhir:

   • Versi sebelum 1.8: Sistem tidak mengeluarkan baris log terakhir yang tidak diakhiri dengan newline atau segmen multi-baris terakhir hingga menerima newline atau segmen multi-baris berikutnya.

   • Versi 1.8 dan seterusnya: Mekanisme timeout mengontrol perilaku ini. Untuk memastikan integritas segmen terakhir, penundaan default adalah 60 detik. Mulai versi 2.0, parameter kontrol global adalah default_reader_flush_timeout, dan parameter kontrol tingkat konfigurasi pengumpulan adalah FlushTimeoutSecs. Sesuaikan parameter ini jika aplikasi Anda memerlukan latensi lebih rendah. Jangan atur parameter ini ke 0 karena dapat menyebabkan pemotongan log.

Pemrosesan tag

Tag yang diproses oleh ekstensi ditulis ke struktur tags pada model data alih-alih struktur content. Hal ini mengurangi penggunaan ruang penyimpanan:

• Skenario konsumsi data terpengaruh. Pastikan kompatibilitas pada downstream consumers Anda.

• Skenario kueri tidak terpengaruh.

Kedalaman path pengumpulan log kontainer

Saat Anda mengumpulkan log kontainer dari kluster ACK, jika membuat konfigurasi menggunakan ACK console:

• Versi 2.0 dan seterusnya: Kedalaman rekursi maksimum default untuk folder adalah 0. Jika path pengumpulan berisi /**/, kedalamannya adalah 10.

• Versi sebelum 2.0: Kedalaman rekursi maksimum default adalah 100.

Skenario host

Upgrade dari Logtail ke LoongCollector

Jalankan perintah yang sesuai untuk meng-upgrade Logtail ke LoongCollector berdasarkan sistem operasi host Anda.

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;

# Install from the public network
chmod +x loongcollector.sh; ./loongcollector.sh upgrade

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/aarch64/main/loongcollector-linux64.tar.gz;

# Install locally
chmod +x loongcollector.sh; ./loongcollector.sh upgrade-local 

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/x86_64/main/loongcollector-linux64.tar.gz;

Upgrade berhasil jika output menyerupai berikut ini:

Try to stop ilogtail ...
kill process Name: ilogtail pid: 878
kill process Name: ilogtail pid: 879
stop successfully
Stop ilogtail successfully.
Upgrading loongcollector files ...
Upgrade loongcollector files successfully.
Starting loongcollector ...
loongcollector is running
Upgrade loongcollector successfully.

Roll back dari LoongCollector ke Logtail

Jalankan perintah yang sesuai untuk melakukan rollback LoongCollector ke Logtail.

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh;

chmod +x logtail.sh; sudo ./logtail.sh upgrade;

# For example, to use version 1.8.7. Replace the version number as needed.
chmod +x logtail.sh; sudo ./logtail.sh upgrade -v 1.8.7;

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh; wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/aarch64/logtail-linux64.tar.gz;

chmod +x logtail.sh; ./logtail.sh upgrade-local;

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh; wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail-linux64.tar.gz;