Simple Log Service：Kompatibilitas Logtail dan LoongCollector

Perbandingan versi

Perubahan penamaan versi

Logtail, iLogtail, dan LoongCollector adalah nama berbeda untuk perangkat lunak yang sama pada tahap pengembangan berbeda:

• Logtail/iLogtail: Nama yang digunakan untuk versi sebelum 3.0.

• LoongCollector: Nama yang digunakan untuk versi 3.0 dan seterusnya.

Standarisasi penguraian log dan tag

1. Penanganan kunci duplikat dalam entitas log:

   • Mulai versi 1.8: Kunci duplikat tidak diizinkan dalam entitas log. Misalnya, jika input-nya adalah content: xxx, content: yyy, hanya content: xxx yang dipertahankan.

   • Sebelum versi 1.8: Semua kunci duplikat dipertahankan dan diganti namanya. Misalnya, output-nya adalah content: xxx, content_0: yyy.

2. Penanganan kunci duplikat dalam tag log:

   • Mulai versi 1.8: Kunci duplikat tidak diizinkan dalam tag log. Misalnya, jika input-nya adalah __tag__:tag: xxx, __tag__:tag: yyy, hanya __tag__:tag: xxx yang dipertahankan.

   • Sebelum versi 1.8: Semua kunci duplikat dipertahankan dan diganti namanya. Misalnya, output-nya adalah __tag__:tag: xxx, __tag__:tag_0: yyy.

Peningkatan pemrosesan log satu baris dan multi-baris

1. Perubahan dalam penanganan exception:

   • Versi 2.x: Secara default, log dipisahkan berdasarkan \n. Untuk membuang konten yang tidak cocok, atur parameter Multiline.UnmatchedContentTreatment ke discard.

   • Versi 1.x: Jika sebuah log tidak cocok dengan pola awal multi-baris, seluruh kontennya diproses sebagai satu log tunggal.

2. Pemrosesan baris log terakhir:

   • Sebelum versi 1.8: Sistem tidak mengeluarkan baris log terakhir yang tidak diakhiri dengan carriage return atau segmen multi-baris terakhir hingga menerima carriage return atau segmen multi-baris berikutnya.

   • Mulai versi 1.8: Mekanisme timeout diperkenalkan untuk mengontrol perilaku ini. Untuk memastikan integritas segmen terakhir, penundaan default adalah 60 detik. Parameter ini tidak dapat disesuaikan sebelum versi 2.0. Mulai versi 2.0, parameter kontrol global adalah default_reader_flush_timeout, sedangkan parameter kontrol tingkat konfigurasi koleksi adalah FlushTimeoutSecs. Jika aplikasi Anda sensitif terhadap penundaan, Anda dapat menyesuaikan parameter ini. Namun, jangan mengatur nilainya ke 0 karena dapat menyebabkan pemotongan log.

Perubahan dalam mekanisme pemrosesan tag

Tag yang diproses oleh ekstensi ditulis ke struktur tags pada data model alih-alih struktur content. Pendekatan ini secara signifikan menghemat ruang:

• Hal ini memengaruhi skenario konsumsi data dan mengharuskan Anda menangani kompatibilitasnya.

• Hal ini tidak memengaruhi skenario kueri.

Perubahan dalam jalur koleksi log kontainer

Saat mengumpulkan log kontainer dari kluster ACK menggunakan ACK console:

• Mulai versi 2.0, kedalaman rekursi maksimum default untuk folder adalah 0. Jika jalur koleksi berisi /**/, kedalamannya adalah 10.

• Sebelum versi 2.0: Kedalaman rekursi maksimum default adalah 100.

Upgrade Logtail ke LoongCollector dalam skenario host

Upgrade dari Logtail ke LoongCollector

Jalankan perintah yang sesuai dari tabel berikut untuk melakukan upgrade Logtail ke LoongCollector berdasarkan sistem operasi host.

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;

# Install from the public network
chmod +x loongcollector.sh; ./loongcollector.sh upgrade

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/aarch64/main/loongcollector-linux64.tar.gz;

# Install locally
chmod +x loongcollector.sh; ./loongcollector.sh upgrade-local 

wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/x86_64/main/loongcollector-linux64.tar.gz;

Upgrade berhasil jika informasi berikut ditampilkan.

Try to stop ilogtail ...
kill process Name: ilogtail pid: 878
kill process Name: ilogtail pid: 879
stop successfully
Stop ilogtail successfully.
Upgrading loongcollector files ...
Upgrade loongcollector files successfully.
Starting loongcollector ...
loongcollector is running
Upgrade loongcollector successfully.

Rollback dari LoongCollector ke Logtail

Jalankan perintah yang sesuai dari tabel berikut untuk melakukan rollback LoongCollector ke Logtail.

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh;

chmod +x logtail.sh; sudo ./logtail.sh upgrade;

# For example, to use version 1.8.7. Replace the version number as needed.
chmod +x logtail.sh; sudo ./logtail.sh upgrade -v 1.8.7;

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh; wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/aarch64/logtail-linux64.tar.gz;

chmod +x logtail.sh; ./logtail.sh upgrade-local;

wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh; wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail-linux64.tar.gz;