Plugin mengurai log mentah menjadi data terstruktur.
Latar Belakang
Plugin diklasifikasikan menjadi plugin native dan plugin extended.
Plugin native: Menawarkan kinerja unggul dan direkomendasikan untuk sebagian besar kasus penggunaan.
Plugin extended: Menawarkan cakupan fitur yang lebih luas. Pertimbangkan penggunaan plugin extended jika log Anda terlalu kompleks untuk plugin native. Namun, plugin ini dapat menurunkan kinerja.
Batasan
Batasan kinerja
Saat menggunakan plugin extended untuk pemrosesan log, Logtail mengonsumsi lebih banyak sumber daya, terutama CPU. Sesuaikan parameter Logtail berdasarkan kebutuhan aktual Anda. Untuk informasi lebih lanjut, lihat Konfigurasikan parameter startup Logtail.
Jika laju data mentah melebihi 5 MB/s, hindari kombinasi plugin yang kompleks. Lakukan pemrosesan sederhana dengan plugin extended, lalu gunakan data transformation untuk tugas yang lebih lanjut.
Batasan pengumpulan log
Plugin extended memproses log teks baris demi baris. Artinya, metadata tingkat file seperti
__tag__:__path__dan__topic__ditambahkan ke setiap log.Penambahan plugin extended memengaruhi fitur terkait tag:
Fitur contextual query dan LiveTail dinonaktifkan. Untuk menggunakan fitur tersebut, Anda harus menambahkan konfigurasi
aggregators.Bidang
__topic__diubah namanya menjadi__log_topic__. Jika Anda menambahkan konfigurasiaggregators, log akan berisi kedua bidang__topic__dan__log_topic__. Jika bidang__log_topic__tidak diperlukan, Anda dapat menghapusnya menggunakan plugin processor_drop.Bidang seperti
__tag__:__path__tidak lagi memiliki indeks bidang native. Anda harus membuat indeks bidang untuknya.
Batasan kombinasi plugin
Untuk versi Logtail sebelum 2.0:
Anda tidak dapat menambahkan plugin native dan plugin extended secara bersamaan.
Plugin native hanya dapat digunakan untuk mengumpulkan log teks. Saat menggunakan plugin native, persyaratan berikut berlaku:
Plugin pertama harus berupa plugin regex parsing, delimiter mode parsing, JSON parsing, Nginx mode parsing, Apache mode parsing, atau IIS mode parsing.
Setelah plugin pemrosesan pertama, Anda hanya dapat menambahkan satu plugin time parsing, satu plugin data filtering, dan beberapa plugin data masking.
Untuk Logtail 2.0: Plugin extended hanya dapat ditambahkan setelah semua plugin native.
Batasan kombinasi parameter untuk plugin parsing native
Untuk plugin parsing native pada versi Logtail sebelum 2.0, seperti plugin regex parsing, JSON parsing, delimiter mode parsing, Nginx mode parsing, Apache mode parsing, dan IIS mode parsing, Anda harus menggunakan kombinasi parameter tertentu sesuai skenario. Kombinasi lain tidak valid, dan Simple Log Service tidak dapat menjamin hasilnya.
Unggah hanya log yang berhasil diurai:
Unggah log yang telah diurai jika berhasil, dan log mentah jika gagal:
Jika penguraian berhasil, log yang telah diurai diunggah dengan bidang log mentah ditambahkan. Jika gagal, log mentah diunggah.
Sebagai contoh, jika log mentah
"content": "{"request_method":"GET", "request_time":"200"}"berhasil diurai, penambahan bidang log mentah akan menambahkan bidang baru ke log yang telah diurai. Anda dapat menyesuaikan nama bidang baru tersebut. Jika tidak ditentukan, nama bidang akan menggunakan nama bidang asli. Nilai bidang tersebut adalah log mentah:{"request_method":"GET", "request_time":"200"}.
Daftar plugin
Plugin native
Plugin | Deskripsi |
Regex parsing | |
JSON parsing | |
Delimiter mode parsing | |
Nginx mode parsing | |
Apache mode parsing | |
IIS mode parsing | |
Time parsing | |
Data filtering | |
Data masking |
Plugin extended
Fungsi | Deskripsi |
Extract fields | |
Add fields | |
Drop fields | |
Rename fields | |
Pack fields | Mengemas satu atau beberapa bidang menjadi satu bidang dalam format objek JSON. Untuk informasi lebih lanjut, lihat Extended plugin: pack fields. |
Unpack a JSON field | |
Filter logs | Menyaring log dengan mencocokkan nilai bidang terhadap ekspresi reguler. Untuk informasi lebih lanjut, lihat processor_filter_regex. |
Menyaring log dengan mencocokkan nama bidang terhadap ekspresi reguler. Untuk informasi lebih lanjut, lihat processor_filter_key_regex. | |
Extract log time | Mengurai bidang waktu dari log mentah dan menetapkan hasilnya sebagai waktu log. Untuk informasi lebih lanjut, lihat Go language time format. |
Convert IP addresses | Mengonversi alamat IP dalam log menjadi lokasi geografis, termasuk negara, provinsi, kota, dan lintang/bujur. Untuk informasi lebih lanjut, lihat Extended plugin: convert IP addresses. |
Data masking | Mengganti data sensitif dalam log dengan string tertentu atau Hash MD5. Untuk informasi lebih lanjut, lihat Extended plugin: data masking. |
Map field values | |
Encrypt fields | |
Encode and decode data | |
Log-to-metric conversion | Mengonversi log yang dikumpulkan menjadi metrik Simple Log Service (SLS). Untuk informasi lebih lanjut, lihat Extended plugin: log-to-metric conversion. |
Log-to-trace conversion | Mengonversi log yang dikumpulkan menjadi jejak SLS. Untuk informasi lebih lanjut, lihat Extended plugin: log-to-trace conversion. |
Tambahkan plugin
Ubah konfigurasi yang ada
Masuk ke Simple Log Service console.
Pada daftar Project, klik Project target.
Pada tab Log Storage > Logstores, klik ikon > di samping Logstore target, lalu pilih Data Collection > Logtail Configurations.
Pada daftar Logtail Configuration, temukan konfigurasi Logtail target dan klik Manage Logtail Configuration di kolom Actions.
Klik Edit di bagian atas halaman. Pada bagian Processor Configurations, tambahkan plugin, lalu klik Save.
Buat konfigurasi baru
Masuk ke Simple Log Service console.
Di sisi kanan konsol, klik kartu Quick Data Import.
Pada kotak dialog Import Data, klik kartu apa pun dan ikuti panduan. Pada langkah Logtail Configuration, tambahkan plugin. Untuk informasi lebih lanjut, lihat Collect text logs from a host.
CatatanKonfigurasi plugin mengikuti proses yang sama seperti saat mengubah konfigurasi Logtail.