Pemrosesan plug-in - Simple Log Service

Logtail menyediakan plug-in untuk pemrosesan data guna mengurai log mentah menjadi data terstruktur.

Informasi latar belakang

Plug-in Logtail untuk pemrosesan data diklasifikasikan menjadi plug-in asli dan plug-in ekstensi.

Plug-in asli menawarkan performa tinggi dan cocok untuk sebagian besar skenario bisnis. Kami menyarankan Anda menggunakan plug-in asli.
Plug-in ekstensi menyediakan lebih banyak fitur. Jika Anda tidak dapat memproses log bisnis kompleks dengan menggunakan plug-in asli, Anda dapat menggunakan plug-in ekstensi untuk mengurai log tersebut. Namun, kinerja sistem mungkin terpengaruh dalam hal ini.

Batasan

Batasan Performa
- Jika Anda menggunakan plug-in ekstensi untuk memproses log, Logtail akan menggunakan lebih banyak sumber daya, terutama CPU. Anda dapat memodifikasi pengaturan parameter Logtail sesuai kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Konfigurasikan Parameter Startup Logtail.
- Jika log mentah dihasilkan dengan kecepatan melebihi 5 MB/s, kami sarankan Anda tidak menggunakan kombinasi plug-in yang rumit untuk memproses log. Anda dapat menggunakan plug-in ekstensi untuk memproses log secara awal, kemudian menggunakan fitur transformasi data untuk memproses log lebih lanjut. Untuk informasi lebih lanjut, lihat Transformasi Data.
Batasan Pengumpulan Log
- Plug-in ekstensi menggunakan mode baris untuk memproses log teks. Dalam mode ini, metadata file seperti bidang __tag__:__path__ dan __topic__ disimpan di setiap log.
- Jika Anda menambahkan plug-in ekstensi untuk memproses log, batasan berikut berlaku untuk fitur terkait tag:
  - Fitur pencarian kontekstual dan LiveTail tidak tersedia. Jika Anda ingin menggunakan fitur-fitur tersebut, Anda harus menambahkan konfigurasi agregator.
  - Bidang __topic__ diubah namanya menjadi __log_topic__. Setelah Anda menambahkan konfigurasi agregator, log berisi bidang __topic__ dan __log_topic__. Jika Anda tidak memerlukan bidang __log_topic__, Anda dapat menggunakan plug-in processor_drop untuk menghapus bidang tersebut. Untuk informasi lebih lanjut, lihat processor_drop.
  - Untuk bidang tag seperti __tag__:__path__, indeks bidang asli tidak lagi berlaku. Anda harus membuat ulang indeks untuk bidang-bidang tersebut. Untuk informasi lebih lanjut, lihat Buat Indeks.
Batasan Kombinasi Plug-in
- Untuk plug-in Logtail versi sebelum V2.0:
  - Anda tidak dapat menambahkan plug-in asli dan plug-in ekstensi secara bersamaan.
  - Anda hanya dapat menggunakan plug-in asli untuk mengumpulkan log teks. Saat menambahkan plug-in asli, perhatikan item berikut:
    - Anda harus menambahkan salah satu dari plug-in Logtail berikut untuk pemrosesan data sebagai plug-in pertama: Penguraian Data (Mode Regex), Penguraian Data (Mode Pembatas), Penguraian Data (Mode JSON), Penguraian Data (Mode NGINX), Penguraian Data (Mode Apache), dan Penguraian Data (Mode IIS).
    - Setelah Anda menambahkan plug-in pertama, Anda dapat menambahkan satu plug-in Penguraian Waktu, satu plug-in Penyaringan Data, dan beberapa plug-in Masking Data.
- Untuk plug-in Logtail V2.0: Anda hanya dapat menambahkan plug-in ekstensi setelah menambahkan plug-in asli.
Batasan pada Kombinasi Parameter Terkait Plug-in Asli
Untuk plug-in asli Logtail versi sebelum V2.0, kami menyarankan Anda hanya menggunakan kombinasi parameter berikut. Plug-in ini merujuk pada Penguraian Data (Mode Regex), Penguraian Data (Mode JSON), Penguraian Data (Mode Pembatas), Penguraian Data (Mode NGINX), Penguraian Data (Mode Apache), dan Penguraian Data (Mode IIS). Untuk kombinasi parameter lainnya, Simple Log Service tidak menjamin efek konfigurasi.
- Unggah log yang telah diuraikan.
- Unggah log yang diperoleh setelah penguraian berhasil, dan log mentah jika penguraian gagal.
- Unggah log yang diperoleh setelah penguraian. Tambahkan bidang log mentah ke log jika penguraian berhasil, dan log mentah jika gagal.
  Sebagai contoh, jika log mentah adalah "content": "{"request_method":"GET", "request_time":"200"}" dan berhasil diuraikan, sistem menambahkan bidang log mentah, yang ditentukan oleh parameter New Name of Original Field. Jika Anda tidak mengonfigurasi parameter tersebut, nama bidang asli akan digunakan. Nilai bidang adalah {"request_method":"GET", "request_time":"200"}.

Tambahkan plug-in

Tambahkan plug-in saat Anda memodifikasi konfigurasi Logtail

Masuk ke Konsol Layanan Log Sederhana.
Dalam bagian Proyek, klik yang ingin Anda kelola.
Pilih Log Storage > Logstores. Klik > dari Logstore yang diperlukan. Kemudian, pilih Data Collection > Logtail Configurations.
Dalam daftar Logtail Configuration, cari konfigurasi Logtail yang diperlukan, lalu klik Manage Logtail Configuration pada kolom Actions.
Klik Edit di pojok kiri atas halaman. Di bagian Processor Configurations, tambahkan plug-in Logtail, lalu klik Save.

Tambahkan plug-in saat Anda membuat konfigurasi Logtail

Masuk ke Konsol Layanan Log Sederhana.
Di sisi kanan halaman yang muncul, klik kartu Quick Data Import.
Dalam kotak dialog Import Data, klik sebuah kartu, ikuti petunjuk untuk mengonfigurasi parameter dalam wizard, lalu tambahkan plug-in Logtail di langkah Logtail Configuration wizard. Untuk informasi lebih lanjut, lihat Kumpulkan Log Teks dari Server.
Catatan
Konfigurasi plug-in Logtail yang Anda tambahkan saat membuat konfigurasi Logtail bekerja dengan cara yang sama seperti konfigurasi plug-in Logtail yang Anda tambahkan saat memodifikasi konfigurasi Logtail.

Plug-in Logtail untuk pemrosesan data

Plug-in asli

Plug-in	Deskripsi
Penguraian Data (Mode Regex)	Plug-in asli: Penguraian Data (Mode Regex)
Penguraian Data (Mode JSON)	Plug-in asli: Penguraian Data (Mode JSON)
Penguraian Data (Mode Pembatas)	Plug-in asli: Penguraian Data (Mode Pembatas)
Penguraian Data (Mode NGINX)	Plug-in asli: Penguraian Data (Mode NGINX)
Penguraian Data (Mode Apache)	Plug-in asli: Penguraian Data (Mode Apache)
Penguraian Data (Mode IIS)	Plug-in asli: Penguraian Data (Mode IIS)
Penguraian Waktu	Plug-in asli: Penguraian Waktu
Penyaringan Data	Plug-in asli: Penyaringan Data
Masking Data	Plug-in asli: Masking Data

Plug-in ekstensi

Operasi	Deskripsi
Mengekstrak bidang	Mode Regex
	Mode Anchor
	Mode CSV
	Mode pembatas karakter tunggal
	Mode pembatas multi-karakter
	Mode pasangan key-value
	Mode Grok
Tambahkan bidang	Plug-in ekstensi: Tambahkan Bidang
Hapus bidang	Plug-in ekstensi: Hapus Bidang
Ganti nama bidang	Plug-in ekstensi: Ganti Nama Bidang
Enkapsulasi bidang	Menyematkan satu atau lebih bidang ke dalam bidang berformat objek JSON. Untuk informasi lebih lanjut, lihat Plug-in ekstensi: Enkapsulasi Bidang.
Perluas bidang JSON	Plug-in ekstensi: Perluas Bidang JSON
Filter log	Menggunakan ekspresi reguler untuk mencocokkan nilai bidang log dan menyaring log. Untuk informasi lebih lanjut, lihat processor_filter_regex.
Filter log	Menggunakan ekspresi reguler untuk mencocokkan nama bidang log dan menyaring log. Untuk informasi lebih lanjut, lihat processor_filter_key_regex.
Ekstrak waktu log	Mengurai bidang waktu dalam log mentah dan menetapkan hasil penguraian sebagai waktu log. Untuk informasi lebih lanjut, lihat Format waktu bahasa Go.
Konversi alamat IP	Mengonversi alamat IP dalam log menjadi lokasi geografis. Lokasi geografis mencakup informasi berikut: negara, provinsi, kota, garis bujur, dan garis lintang. Untuk informasi lebih lanjut, lihat Plug-in ekstensi: Konversi Alamat IP.
Masking data sensitif	Mengganti data sensitif dalam log dengan string tertentu atau nilai hash MD5. Untuk informasi lebih lanjut, lihat Plug-in ekstensi: Masking Data.
Pemetaan nilai bidang	Plug-in ekstensi: Pemetaan Nilai Bidang
Enkripsi bidang	Plug-in ekstensi: Enkripsi Bidang
Enkode dan dekode data	Plug-in ekstensi: BASE64 (Dekode),
	Plug-in ekstensi: BASE64 (Enkode)
	Plug-in ekstensi: MD5
Konversi log ke metrik	Mengonversi log yang dikumpulkan menjadi metrik Layanan Log Sederhana. Untuk informasi lebih lanjut, lihat Plug-in ekstensi: Log ke Metrik.
Konversi log ke jejak	Mengonversi log yang dikumpulkan menjadi jejak Layanan Log Sederhana. Untuk informasi lebih lanjut, lihat Plug-in ekstensi: Log ke Jejak.