Simple Log Service:Plugin penguraian data

Contoh penguraian data

Log aplikasi umum sebelum dan setelah penguraian:

Tanpa plugin penguraian data

Tanpa penguraian, semua informasi disimpan dalam satu field content, sehingga data sulit dikueri dan dianalisis berdasarkan field.

Content："127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0""

Dengan plugin penguraian regex

Plugin penguraian regex mengekstrak field bernama yang dapat dikueri dan dianalisis secara independen.

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

Pemilihan plugin penguraian data

• Disarankan: Penguraian format log khusus.
  Untuk log Nginx, Apache, atau IIS, gunakan mode penguraian khusus (penguraian mode Nginx, penguraian mode Apache, penguraian mode IIS). Tidak perlu aturan manual.

• Alternatif: Penguraian data terstruktur (JSON / delimiter)
  Untuk objek JSON atau log dengan delimiter tetap (koma, pipe, dll.), gunakan penguraian JSON atau penguraian mode delimiter. Mudah dikonfigurasi dan cepat diproses.

• Cadangan: Penguraian regex
  Gunakan penguraian regex untuk log tidak terstruktur atau tidak beraturan yang tidak dapat ditangani oleh mode lain. Regex sangat fleksibel tetapi lebih sulit ditulis dan didebug, serta dapat mengurangi throughput.

Prosedur

Tambahkan plugin penguraian saat membuat atau mengubah konfigurasi Logtail.

Gunakan plugin penguraian data

Parameter umum

Parameter ini berlaku untuk semua plugin penguraian data dan tidak diulang di bagian selanjutnya.

Penguraian ekspresi reguler

Mengekstrak field dari log menggunakan ekspresi reguler dan menguraikannya menjadi pasangan kunci-nilai. Sangat fleksibel dan dapat disesuaikan dengan hampir semua format teks.

Konfigurasi

• Detail parameter

  Selain parameter umum, plugin ini memiliki parameter inti berikut:

  Parameter	Deskripsi
  Regular Expression	Ekspresi reguler yang digunakan untuk mencocokkan konten log. Jika Anda memberikan contoh log, Anda dapat menghasilkan atau memasukkan ekspresi reguler secara manual. Klik Generate. Di kotak teks Log Sample, sorot konten yang ingin diekstrak, lalu klik Generate Regular Expression. Simple Log Service akan menghasilkan ekspresi reguler berdasarkan pilihan Anda. Klik Manually Enter Regular Expression dan masukkan ekspresi reguler. Setelah memasukkan ekspresi tersebut, klik Validate untuk memastikan ekspresi tersebut mengurai konten log dengan benar. Untuk informasi lebih lanjut, lihat How do I test a regular expression. Jika Anda tidak memberikan contoh log, Anda harus memasukkan ekspresi reguler secara manual yang sesuai dengan format log Anda.
  Extracted Field	Menentukan nama field (kunci) untuk konten log yang diekstrak (nilai).

• Contoh konfigurasi

  • Input log

    127.0.0.1 - - [16/Oct/2023:12:36:49 +0800] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"

  • Konfigurasi plugin

    Ikuti Prosedur untuk mengonfigurasi plugin. Ekspresi regulernya adalah (\S+)\s-\s(\S+)\s\[([^]]+)]\s"(\w+)\s(\S+)\s([^"]+)"\s(\d+)(\s\d+)[^-]+([^"]+)"\s"([^"]+).*.

    Atur Source field ke content dan masukkan log akses Nginx di kotak teks Log sample. Mengurai log dengan ekspresi reguler tersebut akan mengisi bagian Extracted log fields dengan pasangan kunci-nilai, seperti remote_addr, remote_user, time_local, request_method, request_uri, request_protocol, status, body_bytes_sent, http_referer, dan http_user_agent. Opsi Keep source field on parse failure dan Keep source field on parse success tidak dipilih.

  • Hasil penguraian

Penguraian JSON

Mengurai objek JSON menjadi pasangan kunci-nilai.

Batasan

Plugin JSON hanya mengekstrak pasangan kunci-nilai tingkat atas dari objek JSON. Plugin ini tidak mengurai array JSON secara langsung. Untuk menangani JSON kompleks, gunakan pendekatan How to Process Complex JSON.

Penguraian mode delimiter

Plugin penguraian mode delimiter menggunakan delimiter untuk mengstruktur konten log, menguraikannya menjadi beberapa pasangan kunci-nilai.

Penguraian mode Nginx

Plugin mode Nginx mengurai konten log menjadi pasangan kunci-nilai berdasarkan definisi log_format.

log_format main  '$remote_addr - $remote_user [$time_local] "$request" '
                 '$request_time $request_length '
                 '$status $body_bytes_sent "$http_referer" '
                 '"$http_user_agent"';
access_log /var/logs/nginx/access.log main

Konfigurasi

• Parameter

  Selain parameter umum, plugin ini memiliki parameter berikut:

  Parameter	Deskripsi
  NGINX Log Configuration	Definisi log_format dari file konfigurasi Nginx Anda. log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$request_time $request_length ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent"';
  Extracted Field	Plugin secara otomatis mengekstrak field log (kunci) berdasarkan NGINX Log Configuration.

• Contoh konfigurasi

  • Input log

    192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

  • Konfigurasi plugin

    Ikuti Prosedur. Di lingkungan produksi, log_format harus sesuai dengan definisi di file konfigurasi Nginx Anda (biasanya /etc/nginx/nginx.conf).

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                        '$request_time $request_length $status $body_bytes_sent '
                        '"$http_referer" "$http_user_agent"';

  • Hasil penguraian

    body_bytes_sent: 368
    http_referer: -
    http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36
    remote_addr: 192.168.*.*
    remote_user: -
    request_length: 514
    request_method: GET
    request_time: 0.000
    request_uri: /nginx-logo.png
    status: 200
    time_local: 15/Apr/2025:16:40:00

Penguraian pola Apache

Plugin penguraian pola Apache mengstruktur konten log menjadi pasangan kunci-nilai berdasarkan definisi di file konfigurasi log Apache Anda.

Konfigurasi

• Parameter

  Selain parameter umum, plugin ini memiliki parameter berikut:

  Parameter	Deskripsi
  Log Format	Pilih format log yang didefinisikan di file konfigurasi log Apache Anda. Opsi termasuk common, combined, dan custom.
  APACHE LogFormat Configuration	Direktif LogFormat dari file konfigurasi Apache Anda. Saat Anda mengatur Log Format ke common atau combined, field konfigurasi yang sesuai akan diisi secara otomatis. Pastikan formatnya konsisten dengan yang didefinisikan di file konfigurasi Apache. Saat Anda mengatur Log Format ke Custom, masukkan string format aktual. Contohnya, LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D %f %k %p %q %R %T %I %O" customized.
  Extracted Field	Field log (kunci) yang diekstrak secara otomatis berdasarkan isi APACHE LogFormat Configuration.

• Contoh konfigurasi

  • Input log

    192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

  • Konfigurasi plugin

    Ikuti Prosedur. Atur Log format ke combined.

  • Hasil penguraian

    http_referer:https://www.example.com/referrer
    http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
    remote_addr:192.168.1.10
    remote_ident:-
    remote_user:-
    request_method:GET
    request_protocol:HTTP/1.1
    request_uri:/index.html
    response_size_bytes:1234
    status:200
    time_local:[08/May/2024:15:30:28 +0800]

Penguraian mode IIS

Plugin mode IIS mengurai konten log menjadi beberapa pasangan kunci-nilai berdasarkan definisi format log IIS.

Konfigurasi

• Deskripsi parameter

  Selain parameter umum, plugin ini memiliki parameter berikut:

  Parameter	Deskripsi
  Log Format	Format log yang digunakan oleh server IIS. Format yang didukung meliputi IIS, NCSA, dan W3C.
  IIS Configuration Fields	Jika format log adalah IIS atau NCSA, Layanan Log mengatur field konfigurasi IIS secara default. Jika format log adalah W3C, atur parameter ini ke isi parameter logExtFileFlags di file konfigurasi IIS Anda. Contohnya: logExtFileFlags="Date, Time, ClientIP, UserName, SiteName, ComputerName, ServerIP, Method, UriStem, UriQuery, HttpStatus, Win32Status, BytesSent, BytesRecv, TimeTaken, ServerPort, UserAgent, Cookie, Referer, ProtocolVersion, Host, HttpSubStatus" Path file konfigurasi default IIS 5: C:\WINNT\system32\inetsrv\MetaBase.bin. Path file konfigurasi default IIS 6: C:\WINDOWS\system32\inetsrv\MetaBase.xml. Path file konfigurasi default IIS 7: C:\Windows\System32\inetsrv\config\applicationHost.config.
  Extracted Field	Layanan Log secara otomatis menghasilkan field log yang diekstrak (kunci) berdasarkan isi parameter IIS Configuration Fields.

• Contoh konfigurasi

  • Input log

    #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
    2023-10-27 08:00:00 W3SVC1 192.168.1.1 GET /index.html - 80 - 10.0.0.5 Mozilla/5.0 200 0 0 500 100 150

  • Konfigurasi plugin

    Ikuti Prosedur. Atur Log format ke IIS.

  • Hasil penguraian

    date: 2023-10-27
    time: 08:00:00
    s-sitename: W3SVC1
    s-ip: 192.168.1.1
    cs-method: GET
    cs-uri-stem: /index.html
    cs-uri-query: -
    s-port: 80
    cs-username: -
    c-ip: 10.0.0.5
    cs(User-Agent): Mozilla/5.0
    sc-status: 200
    sc-substatus: 0
    sc-win32-status: 0
    sc-bytes: 500
    cs-bytes: 100
    time-taken: 150

FAQ

Kegagalan regex di Layanan Log

Periksa masalah umum berikut:

1. Contoh log tidak cocok: Pastikan contoh log yang digunakan dalam konfigurasi Logtail persis sesuai dengan format log yang dikumpulkan, termasuk spasi dan karakter khusus.

2. Format log campuran: Jika sumber log Anda berisi beberapa format, satu regex mungkin tidak cocok untuk semuanya. Aktifkan keep unmatched content untuk mempertahankan log mentah saat penguraian gagal. Anda juga dapat menggunakan beberapa konfigurasi Logtail untuk menangani format secara terpisah.

3. Perbedaan escaping antara kode dan konsol: Ekspresi reguler yang disalin dari kode mungkin berisi karakter escape tambahan, seperti \\S+. Di konsol Layanan Log, gunakan satu backslash saja, seperti \S+.

Mengkueri log dari file tertentu

Layanan Log secara otomatis menambahkan field metadata __tag__:__path__ ke setiap entri log, yang berisi path lengkap file sumber. Gunakan field ini untuk memfilter log dari file tertentu seperti /var/log/app/error.log: * AND __tag__:__path__: /var/log/app/error.log.

Tidak dapat mengkueri data historis setelah modifikasi indeks

Perubahan indeks hanya berlaku untuk data yang baru dimasukkan. Untuk mengkueri data historis yang sudah ada dengan konfigurasi indeks baru, jalankan tugas reindex.

Menangani log JSON dengan array

Plugin penguraian JSON tidak dapat langsung membagi array JSON menjadi entri log terpisah.

Solusi:

Layanan Log menyediakan plugin unwrapping field JSON untuk membuka atau membagi field array JSON.

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Mengurai log dengan teks dan JSON tersemat

Rangkai beberapa plugin pemrosesan, di mana output satu plugin menjadi input untuk plugin berikutnya.

Kasus penggunaan:

Asumsikan log aplikasi Anda memiliki format berikut, yang mencakup timestamp, tingkat log, dan pesan JSON tersemat.

2025-11-12 10:30:15 INFO Request details: {"trace_id": "xyz-123", "user_id": 500, "action": "login"}

Strategi penguraian: Tambahkan dua plugin berikut secara berurutan. Tentukan field sumber yang benar untuk plugin kedua. Pendekatan perangkaian ini berlaku untuk log format campuran apa pun.

1. Gunakan plugin penguraian ekspresi reguler untuk mengekstrak field teks awal dan menangkap string JSON tersemat dalam field terpisah. Hasilnya sebagai berikut:

   {
        "log_time": "2025-11-12 10:30:15",
        "log_level": "INFO",
        "json_message": "{\"trace_id\": \"xyz-123\", \"user_id\": 500, \"action\": \"login\"}"
   }

2. Tambahkan plugin penguraian JSON, dan atur json_message sebagai field sumbernya untuk mengurai konten JSON menjadi pasangan kunci-nilai. Hasilnya sebagai berikut:

   {
        "log_time": "2025-11-12 10:30:15",
        "log_level": "INFO",
        "trace_id": "xyz-123",
        "user_id": 500,
        "action": "login"
   }

Dokumen terkait

• Konfigurasikan pipeline Logtail menggunakan operasi API:

  • GetLogtailPipelineConfig

  • ListLogtailPipelineConfig

  • CreateLogtailPipelineConfig

  • DeleteLogtailPipelineConfig

  • UpdateLogtailPipelineConfig

• Konfigurasikan plugin pemrosesan di konsol:

  • Continuously collect host text logs

  • Collect container logs from a cluster (stdout and files) using the console

• Collect container logs from a cluster (stdout and files) using Kubernetes CRDs