Plugin pemrosesan mengurai log mentah menjadi data terstruktur selama pengumpulan.
Latar Belakang
SLS menyediakan dua jenis plugin pemrosesan: native dan diperluas.
Plugin native: berkinerja tinggi dan cocok untuk sebagian besar skenario. Direkomendasikan sebagai pilihan default.
Plugin diperluas: mendukung lebih banyak kasus penggunaan tetapi mengonsumsi sumber daya tambahan. Gunakan ketika plugin native tidak dapat menangani format log Anda.
Batasan
Batasan kinerja
Plugin diperluas mengonsumsi lebih banyak sumber daya (terutama CPU). Sesuaikan parameter collector sesuai kebutuhan. Manajemen konfigurasi.
Jika laju data mentah melebihi 5 MB/s, hindari kombinasi plugin yang kompleks. Gunakan plugin diperluas untuk pemrosesan awal dantransformasi data untuk tugas yang lebih kompleks.
Batasan pengumpulan log
Plugin diperluas memproses log teks dalam mode baris. Metadata tingkat file seperti
__tag__:__path__dan__topic__disimpan di setiap log.Plugin diperluas memengaruhi fitur yang terkait tag:
Kueri kontekstual dan LiveTail menjadi tidak tersedia kecuali Anda menambahkan konfigurasi aggregators.
Bidang
__topic__diganti namanya menjadi__log_topic__. Dengan konfigurasi aggregators, log berisi kedua bidang__topic__dan__log_topic__. Untuk menghapus bidang__log_topic__, gunakan plugin Field processing plugins.Bidang seperti
__tag__:__path__kehilangan indeks bidang native. Anda harus membuat indeks bidang untuknya.
Batasan kombinasi plugin
Untuk versi Logtail sebelum 2.0:
Anda tidak dapat mengombinasikan plugin native dan plugin diperluas.
Plugin native hanya mendukung pengumpulan log teks, dengan persyaratan berikut:
Plugin pertama harus merupakan plugin Data Parsing: mode Regex, Delimiter, JSON, NGINX, Apache, atau IIS.
Setelah plugin pertama, Anda hanya dapat menambahkan satu plugin Time Parsing, satu plugin Data Filtering, dan beberapa plugin Data Masking.
Pada Logtail 2.0, letakkan plugin diperluas setelah semua plugin native.
Batasan kombinasi parameter plugin native
Untuk plugin parsing native (mode Regex, JSON, Delimiter, NGINX, Apache, dan IIS) pada Logtail versi sebelum 2.0, hanya kombinasi parameter tertentu yang valid. Kombinasi lainnya dapat menghasilkan hasil yang tidak terduga.
Unggah hanya log yang berhasil diurai:
Kosongkan centang pada kotak Keep original fields on parsing failure dan Keep original fields on parsing success.
Unggah log yang telah diurai saat sukses dan log mentah saat gagal:
Pilih centang pada kotak Keep original fields on parsing failure, kosongkan centang pada kotak Keep original fields on parsing success, dan atur Renamed original field menjadi
__raw__.Saat parsing berhasil, unggah log yang telah diurai beserta bidang log aslinya. Saat parsing gagal, unggah log mentah.
Sebagai contoh, setelah berhasil mengurai log yang berisi
"content": "{"request_method":"GET", "request_time":"200"}", sebuah bidang baru ditambahkan ke log yang telah diurai. Nama bidang ini adalah nilai dari Renamed original field (atau nama bidang asli jika dibiarkan kosong), dan nilai bidang baru ini adalah konten aslinya:{"request_method":"GET", "request_time":"200"}.Pilih centang pada kotak Keep original fields on parsing failure dan Keep original fields on parsing success. Aktifkan sakelar Advanced Parameters dan masukkan
{"CopingRawLog":true}. Untuk versi Logtail sebelum 2.0, hanya beberapa kombinasi parameter yang efektif.
Daftar plugin pemrosesan
Plugin natif
Nama Plugin | Deskripsi |
Data Parsing (Regex Mode) | |
Data Parsing (JSON Mode) | |
Data Parsing (Delimiter Mode) | |
Data Parsing (NGINX Mode) | |
Data Parsing (Apache Mode) | |
Data Parsing (IIS Mode) | |
Time Parsing | |
Data Filtering | |
Data Masking |
Plugin diperluas
Fitur | Deskripsi |
Extract fields | |
Add fields | |
Drop fields | |
Rename fields | |
Encapsulate fields | Encapsulates fields into a JSON object. Field processing plugins. |
Expand JSON fields | |
Filter logs | Filters logs by matching field values against a regex. Data filtering plugin. |
Filters logs by matching field names against a regex. Data filtering plugin. | |
Extract log time | Parses the time field from raw logs and sets the log time. Time-processing plugins. |
Convert IP addresses | Converts IP addresses to geographic locations (country, province, city, coordinates). Data transformation plugins. |
Mask sensitive data | Replaces sensitive log data with a specified string or MD5 hash. Data masking and encryption plugins. |
Map field values | |
Encrypt fields | |
Encode and decode data | |
Convert logs to metrics | Converts logs to SLS metrics. Data transformation plugins. |
Convert logs to traces | Converts logs to SLS traces. Data transformation plugins. |
Tambahkan plugin
Ubah konfigurasi
Masuk ke Simple Log Service (SLS) console.
Pada daftar Project, klik project Anda.
Pada tab Log Storage > Logstores, klik ikon > di samping Logstore Anda, lalu navigasi ke Data Collection > Logtail Configurations.
Pada daftar Logtail Configuration, temukan konfigurasi Logtail Anda dan klik Manage Logtail Configuration di kolom Actions.
Di bagian atas halaman, klik Edit. Pada bagian Processor Configurations di bagian bawah halaman, tambahkan plugin, lalu klik Save.
Buat konfigurasi
Masuk ke Simple Log Service (SLS) console.
Di sisi kanan halaman, klik kartu Quick Data Import.
Pada kotak dialog Import Data, klik sebuah kartu dan ikuti panduan. Pada langkah Logtail Configuration, tambahkan plugin. Collect text logs from a host.
CatatanKonfigurasi plugin sama untuk konfigurasi Logtail baru maupun yang sudah ada.