Plugin pemrosesan waktu - Simple Log Service

Plugin pemrosesan waktu mengurai, mengekstrak, dan menstandarkan bidang waktu dalam log.

Contoh efek plugin

Tabel berikut membandingkan struktur data log mentah setelah disimpan ke Simple Log Service dengan dan tanpa plugin penguraian waktu native.

Log Mentah	Tanpa menggunakan plugin	Menggunakan plugin penguraian waktu (native)
`{"level":"INFO","timestamp":"2025-09-29T09:56:01+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}`	Content: "{"level":"INFO","timestamp":"2025-09-29T09:56:01+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}"

Ikhtisar plugin pemrosesan waktu

Simple Log Service menyediakan jenis plugin pemrosesan waktu berikut. Anda dapat memilih plugin sesuai kebutuhan Anda.

Nama plugin	Jenis	Deskripsi
Penguraian waktu	Native	Mengurai dan menstandarkan bidang waktu dalam log.
Ekstrak waktu log	Ekstensi	Mengurai bidang waktu mentah dan dapat mengaturnya sebagai stempel waktu log.

Titik masuk

Jika ingin menggunakan plugin Logtail untuk memproses log, Anda dapat menambahkan konfigurasi plugin Logtail saat membuat atau mengubah konfigurasi tersebut. Untuk informasi selengkapnya, lihat Ikhtisar.

Perbedaan antara plugin native dan ekstensi

Plugin native diimplementasikan dalam C++ dan menawarkan kinerja yang lebih baik.

Plugin ekstensi diimplementasikan dalam Go dan menawarkan ekosistem yang kaya serta fleksibel. Jika log bisnis Anda terlalu kompleks untuk diproses oleh plugin native, Anda dapat menggunakan plugin ekstensi.

Batas kinerja plugin ekstensi
- Saat menggunakan plugin ekstensi untuk memproses log, LoongCollector mengonsumsi lebih banyak sumber daya, terutama CPU (Central Processing Unit). Jika perlu, Anda dapat menyesuaikan pengaturan parameter LoongCollector untuk mengoptimalkan penundaan transmisi log panjang.
- Jika kecepatan pembuatan data mentah melebihi 5 MB/detik, kami menyarankan agar Anda tidak menggunakan kombinasi plugin yang terlalu kompleks untuk memproses log. Anda dapat menggunakan plugin ekstensi untuk pemrosesan sederhana, lalu menggunakan Ikhtisar Transformasi Data untuk pemrosesan lebih lanjut.
Batas koleksi log
- Plugin ekstensi memproses log teks dalam mode baris. Artinya, metadata tingkat file, seperti __tag__:__path__ dan __topic__, disimpan di setiap entri log.
- Penambahan plugin ekstensi memengaruhi fitur terkait tag:
  - Fitur kueri konteks dan LiveTail menjadi tidak tersedia. Untuk menggunakan fitur ini, Anda harus menambahkan konfigurasi aggregators.
  - Bidang __topic__ diganti namanya menjadi __log_topic__. Jika konfigurasi aggregators ditambahkan, kedua bidang __topic__ dan __log_topic__ akan ada dalam log. Jika Anda tidak memerlukan bidang __log_topic__, Anda dapat menggunakan plugin hapus bidang untuk menghapusnya.
  - Bidang seperti __tag__:__path__ tidak lagi memiliki indeks bidang native. Anda harus membuat indeks untuknya.

Plugin penguraian waktu (native)

Plugin penguraian waktu mengurai bidang waktu log dan mengatur hasilnya sebagai nilai bidang __time__ log.

Deskripsi konfigurasi

Parameter	Deskripsi
Source Field	Bidang sumber yang menyimpan konten log sebelum penguraian. Nilai default adalah content.
Time Format	Atur format waktu yang sesuai dengan konten waktu dalam log. Misalnya, jika waktu dalam log adalah 10/Sep/2023:12:36:49, format waktu yang sesuai adalah %d/%b/%Y:%H:%M:%S.
Time Zone	Pilih zona waktu bidang waktu log. Jika Anda tidak memilih zona waktu, zona waktu mesin digunakan secara default. Ini adalah zona waktu lingkungan tempat proses Logtail berjalan.

Format waktu log umum

Tabel berikut mencantumkan format waktu log umum yang didukung Logtail.

Catatan

Secara default, stempel waktu log di Simple Log Service akurat hingga detik. Oleh karena itu, Anda tidak perlu mengonfigurasi format waktu untuk satuan yang lebih kecil, seperti milidetik atau mikrodetik.
Jika bidang waktu dalam log mentah memiliki presisi milidetik, mikrodetik, atau nanodetik yang ingin Anda pertahankan di Simple Log Service, lihat Koleksi log yang mendukung stempel waktu nanodetik.
Di server Linux, Logtail mendukung semua format waktu yang disediakan oleh fungsi strftime. Artinya, Logtail dapat mengurai string waktu log apa pun yang dapat diformat oleh fungsi strftime.

Format waktu	Deskripsi	Contoh
%a	Nama hari dalam seminggu singkat.	Fri
%A	Nama hari dalam seminggu lengkap.	Friday
%b	Nama bulan singkat.	Jan
%B	Nama bulan lengkap.	January
%d	Hari dalam bulan sebagai angka desimal dengan padding nol. Rentang: 01 hingga 31.	07, 31
%f	Detik pecahan (milidetik, mikrodetik, atau nanodetik).	123
%h	Nama bulan singkat. Sama dengan %b.	Jan
%H	Jam dalam format 24 jam.	22
%I	Jam (format 12 jam) sebagai angka desimal dengan padding nol.	11
%m	Bulan sebagai angka desimal dengan padding nol. Rentang: 01 hingga 12.	08
%M	Menit sebagai angka desimal dengan padding nol. Rentang: 00 hingga 59.	59
%n	Line feed.	Line feed
%p	AM atau PM.	AM, PM
%r	Waktu jam 12. Sama dengan %I:%M:%S %p.	11:59:59 AM
%R	Jam dan menit. Sama dengan %H:%M.	23:59
%S	Detik sebagai angka desimal dengan padding nol. Rentang: 00 hingga 59.	59
%t	Karakter tab.	None
%y	Tahun tanpa abad sebagai angka desimal dengan padding nol. Rentang: 00 hingga 99.	04, 98
%Y	Tahun dengan abad sebagai angka desimal.	2004, 1998
%C	Abad sebagai angka desimal. Rentang: 00 hingga 99.	16
%e	Hari dalam bulan sebagai angka desimal dengan padding spasi. Rentang: 1 hingga 31. Spasi ditambahkan sebelum angka satuan.	7, 31
%j	Hari dalam tahun sebagai angka desimal dengan padding nol. Rentang: 001 hingga 366.	365
%u	Hari dalam seminggu sebagai angka desimal, dengan Senin sebagai 1. Rentang: 1 hingga 7.	2
%U	Nomor minggu dalam tahun, dengan Minggu sebagai hari pertama dalam minggu. Rentang: 00 hingga 53.	23
%V	Nomor minggu dalam tahun, dengan Senin sebagai hari pertama dalam minggu. Rentang: 01 hingga 53. Jika minggu yang berisi 1 Januari memiliki empat hari atau lebih di tahun baru, maka itu adalah minggu 1. Jika tidak, itu adalah minggu berikutnya.	24
%w	Hari dalam seminggu sebagai angka desimal, dengan Minggu sebagai 0. Rentang: 0 hingga 6.	5
%W	Nomor minggu dalam tahun, dengan Senin sebagai hari pertama dalam minggu. Rentang: 00 hingga 53.	23
%c	Tanggal dan waktu standar.	Tue Nov 20 14:12:58 2020
%x	Tanggal standar tanpa waktu.	Tue Nov 20 2020
%X	Waktu standar tanpa tanggal.	11:59:59
%s	Stempel waktu UNIX.	1476187251

Contoh

Tabel berikut menunjukkan standar waktu umum, contoh, dan ekspresi waktunya yang sesuai.

Contoh	Ekspresi waktu	Standar waktu
2017-12-11 15:05:07	%Y-%m-%d %H:%M:%S	Kustom
[2017-12-11 15:05:07.012]	[%Y-%m-%d %H:%M:%S	Kustom
2017-12-11 15:05:07.123	%Y-%m-%d %H:%M:%S.%f	Kustom
02 Jan 06 15:04 MST	%d %b %y %H:%M	RFC822
02 Jan 06 15:04 -0700	%d %b %y %H:%M	RFC822Z
Monday, 02-Jan-06 15:04:05 MST	%A, %d-%b-%y %H:%M:%S	RFC850
Mon, 02 Jan 2006 15:04:05 MST	%A, %d %b %Y %H:%M:%S	RFC1123
2006-01-02T15:04:05Z07:00	%Y-%m-%dT%H:%M:%S	RFC3339
2006-01-02T15:04:05.999999999Z07:00	%Y-%m-%dT%H:%M:%S	RFC3339Nano
1637843406	%s	Kustom
1637843406123	%s	Kustom (Simple Log Service memprosesnya dengan presisi tingkat detik)

Plugin Ekstrak Waktu Log (ekstensi)

Anda dapat menggunakan plugin processor_gotime atau plugin processor_strptime untuk mengurai bidang waktu dalam log mentah. Bagian ini menjelaskan parameter dan memberikan contoh konfigurasi untuk kedua plugin tersebut.

Catatan

Jika bidang waktu dalam log mentah memiliki presisi milidetik, mikrodetik, atau nanodetik yang ingin Anda pertahankan di Simple Log Service, lihat Koleksi log yang mendukung stempel waktu nanodetik.

Format waktu bahasa Go (`processor_gotime`)

Plugin processor_gotime menggunakan format waktu bahasa Go untuk mengurai bidang waktu dalam log mentah. Anda juga dapat mengatur hasil penguraian sebagai waktu log di Simple Log Service.

Penting

Logtail 0.16.28 dan versi lebih baru mendukung plugin processor_gotime.
Konfigurasi berbasis formulir tersedia saat Anda mengumpulkan log teks dan keluaran standar kontainer.
Konfigurasi JSON tidak tersedia saat Anda mengumpulkan log teks.

Konfigurasi berbasis formulir

Deskripsi parameter

Atur Processing Plugin Type ke Extract Log Time (Go Language Time Format).

Tabel berikut menjelaskan parameter terkait.

Parameter	Deskripsi
Source Time Field	Nama bidang sumber.
Source Time Format	Format waktu sumber.
Source Time Zone	Zona waktu waktu sumber. Jika Anda memilih Machine Time Zone, zona waktu host atau kontainer tempat Logtail berjalan digunakan.
Result Time Field	Nama bidang tujuan untuk hasil penguraian. Bidang ini tidak dapat diatur ke `__time__`.
Result Time Format	Format waktu yang telah diurai.
Custom Result Time Zone	Zona waktu hasil yang diurai. Jika Anda memilih Machine Time Zone, zona waktu host atau kontainer tempat Logtail berjalan digunakan.
Advanced Parameters>Set As Log Time	Jika Anda memilih opsi ini, sistem akan mengatur waktu yang diurai sebagai waktu log.
Advanced Parameters>Keep Source Field	Jika Anda memilih opsi ini, bidang sumber dipertahankan dalam log yang telah diurai.
Advanced Parameters>Report Error if Source Field is Missing	Jika Anda memilih opsi ini, sistem akan melaporkan kesalahan jika bidang sumber yang ditentukan tidak ada dalam log mentah.
Advanced Parameters>Report Error on Extraction Failure	Jika Anda memilih opsi ini, sistem akan melaporkan kesalahan jika gagal mengekstrak waktu log.

Contoh
Waktu sumber berada di bidang s_key dan memiliki format 2006-01-02 15:04:05 (UTC+8). Contoh ini mengurai waktu sumber ke format 2006/01/02 15:04:05 (UTC+9), menambahkannya ke bidang d_key, dan mengatur hasilnya sebagai waktu log di Simple Log Service.
- Log mentah
```
"s_key":"2022-07-05 19:28:01"
```
- Konfigurasi pemrosesan plugin Logtail
- Hasil pemrosesan
```
"s_key":"2022-07-05 19:28:01"
"d_key":"2022/07/05 20:28:01"
```

Konfigurasi JSON

Deskripsi parameter

Atur type ke processor_gotime. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Jenis	Wajib	Deskripsi
SourceKey	String	Ya	Nama bidang sumber.
SourceFormat	String	Ya	Format waktu sumber.
SourceLocation	Int	Ya	Zona waktu waktu sumber. Jika parameter ini kosong, zona waktu host atau kontainer tempat Logtail berjalan digunakan.
DestKey	String	Ya	Bidang tujuan untuk hasil penguraian. Bidang ini tidak dapat diatur ke `__time__`.
DestFormat	String	Ya	Format waktu yang telah diurai.
DestLocation	Int	Tidak	Zona waktu hasil yang diurai. Jika parameter ini kosong, zona waktu native digunakan.
SetTime	Boolean	Tidak	Menentukan apakah waktu yang diurai diatur sebagai waktu log. true (default): Ya false: Tidak
KeepSource	Boolean	Tidak	Menentukan apakah bidang sumber dipertahankan dalam log yang telah diurai. true (default): Pertahankan false: Jangan pertahankan
NoKeyError	Boolean	Tidak	Menentukan apakah sistem melaporkan kesalahan jika bidang sumber yang ditentukan tidak ada dalam log mentah. true (default): Laporkan kesalahan false: Jangan laporkan kesalahan
AlarmIfFail	Boolean	Tidak	Sistem gagal mengambil waktu log. Apakah kesalahan sistem dilaporkan? true (default): Laporkan kesalahan false: Jangan laporkan kesalahan

Contoh

Waktu sumber berada di bidang s_key dan memiliki format 2006-01-02 15:04:05 (UTC+8). Contoh ini mengurai waktu sumber ke format 2006/01/02 15:04:05 (UTC+9), menambahkannya ke bidang d_key, dan mengatur hasilnya sebagai waktu log di Simple Log Service.

Log mentah
```
"s_key":"2019-07-05 19:28:01"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_gotime",
      "detail": {
        "SourceKey": "s_key",
        "SourceFormat":"2006-01-02 15:04:05",
        "SourceLocation":8,
        "DestKey":"d_key",
        "DestFormat":"2006/01/02 15:04:05",
        "DestLocation":9,
        "SetTime": true,
        "KeepSource": true,
        "NoKeyError": true,
        "AlarmIfFail": true
      }
    }
  ]
}

Hasil pemrosesan

"s_key":"2019-07-05 19:28:01"
"d_key":"2019/07/05 20:28:01"

Format waktu strptime (`processor_strptime`)

Plugin processor_strptime menggunakan format waktu strptime Linux untuk mengurai bidang waktu dalam log. Anda juga dapat mengatur hasil penguraian sebagai waktu log.

Penting

Logtail 0.16.28 dan versi lebih baru mendukung plugin processor_strptime.

Konfigurasi berbasis formulir

Deskripsi parameter

Atur Processing Plugin Type ke Extract Log Time (strptime Time Format). Tabel berikut menjelaskan parameter terkait.

Parameter	Deskripsi
Source Field	Nama bidang sumber.
Source Time Format	Format waktu sumber.
Keep Source Field	Jika Anda memilih opsi ini, bidang sumber dipertahankan dalam log yang telah diurai.
Report Error On Extraction Failure	Jika Anda memilih opsi ini, sistem akan melaporkan kesalahan jika gagal mengekstrak waktu log.
Adjust Time Offset	Jika Anda memilih opsi ini, Anda dapat mengatur offset waktu dalam detik.
Time Offset In Seconds	Offset waktu dalam detik. Misalnya, 28800 menunjukkan UTC+8, dan -3600 menunjukkan UTC-1.

Contoh konfigurasi
Contoh ini mengurai waktu sumber, yaitu nilai bidang log_time, dari format %Y/%m/%d %H:%M:%S menjadi waktu log yang sesuai. Zona waktu mesin digunakan. Dalam contoh ini, diasumsikan zona waktu adalah UTC+8.
- Log mentah
```
"log_time":"2022/01/02 12:59:59"
```
- Konfigurasi pemrosesan plugin Logtail
- Hasil pemrosesan
```
"log_time":"2022/01/02 12:59:59"
Log.Time = 1451710799
```

Ekspresi waktu umum

Catatan

Plugin processor_strptime mendukung format %f untuk mengurai bagian pecahan detik dengan presisi hingga nanodetik.

Contoh	Ekspresi waktu
2016/01/02 12:59:59	%Y/%m/%d %H:%M:%S
2016/01/02 12:59:59.1	%Y/%m/%d %H:%M:%S.%f
2016/01/02 12:59:59.987654321 +0700 (UTC)	%Y/%m/%d %H:%M:%S.%f %z (%Z)
2016/Jan/02 12:59:59,123456	%Y/%b/%d %H:%M:%S,%f
2019-07-15T04:16:47:123Z	%Y-%m-%dT%H:%M:%S:%f

Konfigurasi JSON

Deskripsi parameter

Atur type ke processor_strptime. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Jenis	Wajib	Deskripsi
SourceKey	String	Ya	Nama bidang sumber.
Format	String	Ya	Format waktu sumber.
AdjustUTCOffset	Boolean	Tidak	Menentukan apakah zona waktu disesuaikan. true: Ya. false (default): Tidak
UTCOffset	Int	Tidak	Offset zona waktu dalam detik untuk penyesuaian. Misalnya, 28800 menunjukkan UTC+8.
AlarmIfFail	Boolean	Tidak	Menentukan apakah sistem melaporkan kesalahan saat gagal mengekstrak log. true (default): Laporkan kesalahan. false: Jangan laporkan kesalahan.
KeepSource	Boolean	Tidak	Menentukan apakah bidang sumber dipertahankan dalam log yang telah diurai. true (default): Pertahankan. false: Jangan pertahankan.
EnablePreciseTimestamp	Boolean	Tidak	Menentukan apakah waktu presisi tinggi diekstrak. true: Ya. false (default): Tidak. Jika Anda mengatur parameter ini ke true, plugin mengurai nilai bidang yang ditentukan oleh parameter SourceKey menjadi stempel waktu tingkat milidetik dan menyimpannya di bidang yang ditentukan oleh parameter PreciseTimestampKey. Penting Sebelum mengatur parameter ini ke true, pastikan bahwa nilai bidang yang ditentukan oleh parameter SourceKey (waktu sumber) mendukung presisi waktu yang sesuai (ms, us, atau ns). Fitur ini hanya didukung di Logtail 1.0.32 dan versi lebih baru.
PreciseTimestampKey	String	Tidak	Bidang untuk menyimpan stempel waktu presisi tinggi. Nilai default adalah bidang precise_timestamp.
PreciseTimestampUnit	String	Tidak	Unit stempel waktu presisi tinggi. Nilai default adalah ms. Nilai yang valid: ms (milidetik), us (mikrodetik), dan ns (nanodetik).

Contoh

Contoh ini mengurai waktu sumber, yaitu nilai bidang log_time, dari format %Y/%m/%d %H:%M:%S menjadi waktu log yang sesuai. Zona waktu mesin digunakan.

Contoh 1: Diasumsikan zona waktu adalah UTC+8.

Log mentah
```
"log_time":"2016/01/02 12:59:59"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S"
      }
    }
  ]
}

Hasil pemrosesan

"log_time":"2016/01/02 12:59:59"
Log.Time = 1451710799

Contoh 2: Diasumsikan zona waktu adalah UTC+7.

Log mentah
```
"log_time":"2016/01/02 12:59:59"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S",
        "AdjustUTCOffset": true,
        "UTCOffset": 25200
      }
    }
  ]
}

Hasil pemrosesan

"log_time":"2016/01/02 12:59:59"
Log.Time = 1451714399

Contoh 3: Diasumsikan zona waktu adalah UTC+7.

Log mentah
```
"log_time":"2016/01/02 12:59:59.123"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S.%f",
        "EnablePreciseTimestamp": true
      }
    }
  ]
}

Hasil pemrosesan

"log_time":"2016/01/02 12:59:59.123"
"precise_timestamp": 1451714399123
Log.Time = 1451714399

Ekspresi waktu umum

Catatan

Plugin processor_strptime mendukung penguraian yang menggunakan penentu format %f. Penentu ini merepresentasikan bagian pecahan detik dengan presisi hingga nanodetik.

Contoh	Ekspresi waktu
2016/01/02 12:59:59	%Y/%m/%d %H:%M:%S
2016/01/02 12:59:59.1	%Y/%m/%d %H:%M:%S.%f
2016/01/02 12:59:59.987654321 +0700 (UTC)	%Y/%m/%d %H:%M:%S.%f %z (%Z)
2016/Jan/02 12:59:59,123456	%Y/%b/%d %H:%M:%S,%f
2019-07-15T04:16:47:123Z	%Y-%m-%dT%H:%M:%S:%f

Referensi

Anda dapat mengonfigurasi pipeline Logtail dengan memanggil operasi API berikut:
Mengonfigurasi plugin pemrosesan di konsol:
- Mengumpulkan log teks dari host
- Mengumpulkan log kontainer dari kluster menggunakan konsol (keluaran standar/file)
Mengumpulkan log kontainer dari kluster menggunakan CRD Kubernetes (keluaran standar/file)

Contoh efek plugin

Ikhtisar plugin pemrosesan waktu

Titik masuk

Perbedaan antara plugin native dan ekstensi

Plugin penguraian waktu (native)

Deskripsi konfigurasi

Format waktu log umum

Contoh

Plugin Ekstrak Waktu Log (ekstensi)

Format waktu bahasa Go (processor_gotime)

Konfigurasi berbasis formulir

Konfigurasi JSON

Format waktu strptime (processor_strptime)

Konfigurasi berbasis formulir

Konfigurasi JSON

Referensi

Format waktu bahasa Go (`processor_gotime`)

Format waktu strptime (`processor_strptime`)