Uraikan, ekstrak, dan standarkan stempel waktu log menggunakan plugin pemrosesan waktu native atau ekstensi.
Contoh efek plugin
Perbandingan data log mentah di SLS dengan dan tanpa plugin penguraian waktu (native).
Raw log | Tanpa plugin | Plugin penguraian waktu (native) |
Stempel waktu presisi detik: | Content: "{"level":"INFO","timestamp":"2025-09-29T09:56:01+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}" |
|
Stempel waktu presisi milidetik: | Content: "{"time":"2026-01-05T11:58:40,647Z", "filename":"out_data.py","levelname": "INFO", "threadName":"MainThread"}" |
|
Stempel waktu presisi nanodetik: | Content: "{"time": "2026-01-05T11:40:22,298837465Z07:00","filename":"out_data.py","levelname":"INFO","threadName": "MainThread"}" |
|
Plugin pemrosesan waktu
SLS menyediakan plugin pemrosesan waktu berikut.
Name | Type | Description |
time parsing | native | Mengurai dan menstandarkan bidang waktu dalam log. |
extract log time | extension | Mengurai bidang waktu mentah dan menetapkannya sebagai stempel waktu log. |
Entry point
Untuk menggunakan plugin Logtail dalam pemrosesan log, tambahkan plugin tersebut saat membuat atau mengubah konfigurasi Logtail. Untuk informasi selengkapnya, lihat Ikhtisar.
Perbedaan antara plugin native dan ekstensi
Plugin native: Diimplementasikan dalam C++ untuk performa lebih tinggi.
Plugin ekstensi: Diimplementasikan dalam Go untuk ekosistem yang lebih kaya dan fleksibel. Gunakan plugin ekstensi jika plugin native tidak dapat menangani format log Anda.
Batas performa plugin ekstensi
Plugin ekstensi mengonsumsi lebih banyak sumber daya (terutama CPU). Sesuaikan parameter LoongCollector di manajemen konfigurasi jika diperlukan.
Jika data mentah melebihi 5 MB/detik, hindari kombinasi plugin yang kompleks. Gunakan plugin ekstensi sederhana dan alihkan pemrosesan lanjutan ke Data Transformation.
Batas koleksi log
Plugin ekstensi memproses log teks dalam mode baris. Artinya, metadata tingkat file seperti
__tag__:__path__dan__topic__disimpan di setiap entri log.Penambahan plugin ekstensi memengaruhi fitur terkait tag:
Kueri konteks dan LiveTail menjadi tidak tersedia kecuali Anda menambahkan konfigurasi aggregators.
Bidang
__topic__diganti namanya menjadi__log_topic__. Saat Anda menambahkan konfigurasi aggregators, log berisi kedua bidang__topic__dan__log_topic__. Jika bidang__log_topic__tidak diperlukan, Anda dapat menggunakan plugin drop field untuk menghapusnya.Bidang seperti
__tag__:__path__kehilangan indeks bidang native-nya. Anda harus membuat indeks untuknya.
Plugin penguraian waktu (native)
Mengurai bidang waktu dalam log dan menetapkan hasilnya ke bidang __time__.
Konfigurasi
Parameter | Description |
Original Field | Bidang yang berisi konten log untuk diurai. Default: content. Catatan Saat menggunakan plugin penguraian regex, atur bidang sumber ke time dan sertakan time sebagai bidang yang diekstraksi dalam konfigurasi regex Anda. |
Time Format | Format stempel waktu dalam log. Misalnya, jika stempel waktu adalah 10/Sep/2023:12:36:49, format waktu yang sesuai adalah %d/%b/%Y:%H:%M:%S. |
Time Zone | Zona waktu stempel waktu dalam log. Jika dibiarkan kosong, plugin menggunakan zona waktu mesin tempat Logtail berjalan. |
Secara default, Simple Log Service memproses stempel waktu dengan presisi detik. Anda hanya perlu mengonfigurasi format waktu hingga detik dan dapat mengabaikan satuan yang lebih kecil seperti milidetik atau mikrodetik. Untuk mempertahankan presisi milidetik, mikrodetik, atau nanodetik, aktifkan presisi nanodetik seperti yang ditunjukkan di bawah. Koleksi log yang mendukung stempel waktu nanodetik.
Raw log | Konfigurasi plugin penguraian waktu | Format waktu |
| Pada dialog konfigurasi Processing Plugin, atur Processing Plugin Type ke Time Parsing, atur Source Field ke | %Y-%m-%dT%H:%M:%S,%f |
Untuk mengaktifkan presisi nanodetik:
Pada halaman konfigurasi Logtail, navigasi ke , aktifkan Advanced Parameters, lalu masukkan:
{
"EnableTimestampNanosecond": true
}Aktifkan juga EnableTimestampNanosecond saat menggunakan plugin ekstensi untuk mengurai stempel waktu dengan presisi nanodetik atau milidetik.
Plugin ekstraktor waktu log
Gunakan processor_gotime atau processor_strptime untuk mengurai bidang waktu dalam log mentah.
Untuk mempertahankan presisi sub-detik, lihat Koleksi log yang mendukung stempel waktu nanodetik.
Format waktu Go (processor_gotime)
Format waktu strptime (processor_strptime)
Format waktu log
Untuk format waktu processor_gotime, lihat Constants in the Go time package. Plugin native processor_parse_timestamp_native dan plugin ekstensi processor_strptime mendukung format yang tercantum di bawah.
Di server Linux, Logtail mendukung semua format waktu yang disediakan oleh fungsi strftime.
Format | Description | Example |
%a | Nama hari dalam seminggu singkat. | Fri |
%A | Nama hari dalam seminggu lengkap. | Friday |
%b | Nama bulan singkat. | Jan |
%B | Nama bulan lengkap. | January |
%d | Hari dalam bulan sebagai angka desimal berpadding nol (01-31). | 07, 31 |
%f | Detik pecahan, seperti milidetik, mikrodetik, atau nanodetik. | 123 |
%h | Nama bulan singkat. Sama dengan %b. | Jan |
%H | Jam (format 24 jam) sebagai angka desimal berpadding nol (00-23). | 22 |
%I | Jam (format 12 jam) sebagai angka desimal berpadding nol (01-12). | 11 |
%m | Bulan sebagai angka desimal berpadding nol (01-12). | 08 |
%M | Menit sebagai angka desimal berpadding nol (00-59). | 59 |
%n | Karakter line feed. | line feed |
%p | AM atau PM. | AM, PM |
%r | Waktu dalam format 12 jam. Sama dengan %I:%M:%S %p. | 11:59:59 AM |
%R | Jam dan menit dalam format 24 jam. Sama dengan %H:%M. | 23:59 |
%S | Detik sebagai angka desimal berpadding nol (00-59). | 59 |
%t | Karakter tab. | None |
%y | Tahun tanpa abad sebagai angka desimal berpadding nol (00-99). | 04, 98 |
%Y | Tahun dengan abad sebagai angka desimal. | 2004, 1998 |
%C | Abad sebagai angka desimal (00-99). | 16 |
%e | Hari dalam bulan sebagai angka desimal berpadding spasi (1-31). | 7, 31 |
%j | Hari dalam tahun sebagai angka desimal berpadding nol (001-366). | 365 |
%u | Hari dalam seminggu sebagai angka desimal, dengan Senin sebagai 1 (1-7). | 2 |
%U | Nomor minggu dalam tahun, dengan Minggu sebagai hari pertama dalam minggu (00-53). | 23 |
%V | Nomor minggu ISO 8601 dalam tahun, dengan Senin sebagai hari pertama dalam minggu (01-53). Minggu 1 adalah minggu pertama dalam tahun yang memiliki minimal empat hari. | 24 |
%w | Hari dalam seminggu sebagai angka desimal, dengan Minggu sebagai 0 (0-6). | 5 |
%W | Nomor minggu dalam tahun, dengan Senin sebagai hari pertama dalam minggu (00-53). | 23 |
%c | Representasi tanggal dan waktu sesuai lokal. | Tue Nov 20 14:12:58 2020 |
%x | Representasi tanggal sesuai lokal. | Tue Nov 20 2020 |
%X | Representasi waktu sesuai lokal. | 11:59:59 |
%s | Unix timestamp. | 1476187251 |
Contoh
Standar waktu umum dan ekspresi yang sesuai:
Example | Expression | Standard |
2017-12-11 15:05:07 | %Y-%m-%d %H:%M:%S | Custom |
[2017-12-11 15:05:07.012] | [%Y-%m-%d %H:%M:%S.%f] | Custom |
2017-12-11 15:05:07.123 | %Y-%m-%d %H:%M:%S.%f | Custom |
02 Jan 06 15:04 MST | %d %b %y %H:%M %Z | RFC822 |
02 Jan 06 15:04 -0700 | %d %b %y %H:%M %z | RFC822Z |
Monday, 02-Jan-06 15:04:05 MST | %A, %d-%b-%y %H:%M:%S %Z | RFC850 |
Mon, 02 Jan 2006 15:04:05 MST | %a, %d %b %Y %H:%M:%S %Z | RFC1123 |
2006-01-02T15:04:05Z07:00 | %Y-%m-%dT%H:%M:%S%z | RFC3339 |
2006-01-02T15:04:05.999999999Z07:00 | %Y-%m-%dT%H:%M:%S.%f%z | RFC3339Nano |
1637843406 | %s | Custom |
1637843406123 | %s | Custom (Simple Log Service memotong stempel waktu ke presisi tingkat detik) |
Dokumen terkait
API konfigurasi pipeline Logtail:
Konfigurasi plugin berbasis konsol:
Kumpulkan log kontainer dari kluster menggunakan Kubernetes CRDs (output standar/file)


