Plugin pemrosesan waktu - Simple Log Service

Plugin pemrosesan waktu mengurai, mengekstrak, dan menstandarkan bidang waktu dalam log.

Contoh efek plugin

Tabel berikut membandingkan struktur data log mentah setelah disimpan ke Simple Log Service dengan dan tanpa plugin penguraian waktu native.

Raw Logs	Tanpa menggunakan plugin	Menggunakan plugin penguraian waktu (native)
Waktu tingkat detik: `{ "level":"INFO", "timestamp":"2025-09-29T09:56:01+0800", "cluster":"yilu-cluster-0728", "message":"User logged in successfully", "userId":"user-123" }`	Content: "{"level":"INFO","timestamp":"2025-09-29T09:56:01+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}"
Waktu tingkat milidetik: `{ "time": "2026-01-05T11:58:40,647Z", "filename": "out_data.py", "levelname": "INFO", "threadName": "MainThread" }`	Content: "{"time":"2026-01-05T11:58:40,647Z", "filename":"out_data.py","levelname": "INFO", "threadName":"MainThread"}"
Waktu dalam nanodetik: `{ "time": "2026-01-05T11:40:22,298837465Z07:00", "filename": "out_data.py", "levelname": "INFO", "threadName": "MainThread" }`	Content: "{"time": "2026-01-05T11:40:22,298837465Z07:00","filename":"out_data.py","levelname":"INFO","threadName": "MainThread"}"

Ikhtisar plugin pemrosesan waktu

Simple Log Service menyediakan jenis plugin pemrosesan waktu berikut. Anda dapat memilih plugin sesuai kebutuhan.

Nama Plugin	Jenis	Deskripsi
Time parsing	Native	Mengurai dan menstandarkan bidang waktu dalam log.
Extract log time	Extension	Mengurai bidang waktu mentah dan dapat mengaturnya sebagai stempel waktu log.

Titik masuk

Untuk menggunakan plugin Logtail dalam pemrosesan log, tambahkan plugin tersebut saat membuat atau mengubah konfigurasi Logtail. Untuk informasi selengkapnya, lihat Overview.

Perbedaan antara plugin native dan extension

Plugin native diimplementasikan dalam C++ dan menawarkan performa yang lebih baik.

Plugin extension diimplementasikan dalam Go dan menawarkan ekosistem yang kaya serta fleksibel. Jika log bisnis Anda terlalu kompleks untuk diproses oleh plugin native, Anda dapat menggunakan plugin extension.

Batas performa plugin extension
- Saat Anda menggunakan plugin extension untuk pemrosesan log, LoongCollector mengonsumsi lebih banyak sumber daya (terutama CPU). Jika diperlukan, Anda dapat menyesuaikan pengaturan parameter LoongCollector untuk configuration management.
- Jika kecepatan pembuatan data mentah melebihi 5 MB/detik, kami menyarankan agar Anda tidak menggunakan kombinasi plugin yang terlalu kompleks untuk memproses log. Anda dapat menggunakan plugin extension untuk pemrosesan sederhana, lalu menggunakan Data Transformation Overview untuk pemrosesan lanjutan.
Batas pengumpulan log
- Plugin extension memproses log teks dalam mode baris. Artinya, metadata tingkat file seperti __tag__:__path__ dan __topic__ disimpan dalam setiap entri log.
- Menambahkan plugin extension memengaruhi fitur terkait tag:
  - Fitur kueri konteks dan LiveTail menjadi tidak tersedia. Untuk menggunakan fitur ini, Anda harus menambahkan konfigurasi aggregators.
  - Bidang __topic__ diganti namanya menjadi __log_topic__. Jika konfigurasi aggregators ditambahkan, kedua bidang __topic__ dan __log_topic__ akan ada dalam log. Jika Anda tidak memerlukan bidang __log_topic__, Anda dapat menggunakan drop field plugin untuk menghapusnya.
  - Bidang seperti __tag__:__path__ tidak lagi memiliki indeks bidang native. Anda harus membuat indeks untuknya.

Time parsing plugin (native)

Plugin time parsing mengurai bidang waktu log dan mengatur hasilnya sebagai nilai bidang __time__ log.

Deskripsi konfigurasi

Nama Parameter	Deskripsi
Source Field	Bidang sumber yang menyimpan konten log sebelum penguraian. Nilai default-nya adalah content. Catatan Saat Anda menggunakan plugin regex parsing, Anda hanya dapat mengatur Source Field ke time. Pastikan konfigurasi regex parsing Anda mencakup time sebagai bidang yang diekstrak.
Time Format	Atur format waktu yang sesuai dengan konten waktu dalam log. Misalnya, jika waktu dalam log adalah 10/Sep/2023:12:36:49, format waktu yang sesuai adalah %d/%b/%Y:%H:%M:%S.
Time Zone	Pilih zona waktu dari bidang waktu log. Jika Anda tidak memilih zona waktu, zona waktu mesin akan digunakan secara default. Ini adalah zona waktu lingkungan tempat proses Logtail berjalan.

Secara default, stempel waktu log di Simple Log Service akurat hingga detik. Anda hanya perlu mengonfigurasi format waktu hingga detik dan tidak perlu mengonfigurasi milidetik, mikrodetik, atau satuan yang lebih kecil lainnya. Jika bidang waktu dalam log mentah memiliki presisi milidetik, mikrodetik, atau nanodetik yang ingin Anda pertahankan, aktifkan dukungan presisi nanodetik seperti pada contoh berikut. Untuk informasi selengkapnya, lihat Log collection that supports nanosecond timestamps.

Raw log

Konfigurasi plugin time parsing

Format waktu

{
  "time": "2026-01-05T11:40:22,298837465Z07:00",
  "filename": "out_data.py",
  "levelname": "INFO",
  "threadName": "MainThread"
}

%Y-%m-%dT%H:%M:%S,%f

Aktifkan dukungan presisi nanodetik:

Buka halaman konfigurasi Logtail. Di bagian Global Configurations > Other Global Configurations, aktifkan sakelar Advanced Parameters dan masukkan konten JSON berikut untuk mengaktifkan dukungan presisi nanodetik:

{
  "EnableTimestampNanosecond": true
}

Anda juga harus mengaktifkan parameter lanjutan EnableTimestampNanosecond saat menggunakan plugin extension untuk mengurai nanodetik atau milidetik.

Plugin Extract Log Time (extension)

Anda dapat menggunakan plugin processor_gotime atau plugin processor_strptime untuk mengurai bidang waktu dalam log mentah. Bagian ini menjelaskan parameter dan memberikan contoh konfigurasi untuk kedua plugin tersebut.

Catatan

Jika bidang waktu dalam log mentah memiliki presisi milidetik, mikrodetik, atau nanodetik yang ingin Anda pertahankan di Simple Log Service, lihat Log collection that supports nanosecond timestamps.

Format waktu bahasa Go (`processor_gotime`)

Plugin processor_gotime menggunakan format waktu bahasa Go untuk mengurai bidang waktu dalam log mentah. Anda juga dapat mengatur hasil penguraian sebagai waktu log di Simple Log Service.

Penting

Logtail versi 0.16.28 dan yang lebih baru mendukung plugin processor_gotime.
Konfigurasi berbasis formulir tersedia saat Anda mengumpulkan log teks dan output standar kontainer.
Konfigurasi JSON tidak tersedia saat Anda mengumpulkan log teks.

Konfigurasi berbasis formulir

Deskripsi parameter

Atur Processing Plugin Type ke Extract Log Time (Go Language Time Format).

Tabel berikut menjelaskan parameter terkait.

Parameter	Deskripsi
Source Time Field	Nama bidang sumber.
Source Time Format	Format waktu sumber.
Source Time Zone	Zona waktu waktu sumber. Jika Anda memilih Machine Time Zone, zona waktu host atau kontainer tempat Logtail berjalan akan digunakan.
Result Time Field	Nama bidang tujuan untuk hasil penguraian. Bidang ini tidak dapat diatur ke `__time__`.
Result Time Format	Format waktu hasil penguraian.
Custom Result Time Zone	Zona waktu hasil penguraian. Jika Anda memilih Machine Time Zone, zona waktu host atau kontainer tempat Logtail berjalan akan digunakan.
Advanced Parameters>Set As Log Time	Jika Anda memilih opsi ini, sistem akan mengatur waktu hasil penguraian sebagai waktu log.
Advanced Parameters>Keep Source Field	Jika Anda memilih opsi ini, bidang sumber akan dipertahankan dalam log hasil penguraian.
Advanced Parameters>Report Error if Source Field is Missing	Jika Anda memilih opsi ini, sistem akan melaporkan error jika bidang sumber yang ditentukan tidak ada dalam log mentah.
Advanced Parameters>Report Error on Extraction Failure	Jika Anda memilih opsi ini, sistem akan melaporkan error jika gagal mengekstrak waktu log.

Contoh
Waktu sumber berada di bidang s_key dan memiliki format 2006-01-02 15:04:05 (UTC+8). Contoh ini mengurai waktu sumber ke format 2006/01/02 15:04:05 (UTC+9), menambahkannya ke bidang d_key, dan mengatur hasilnya sebagai waktu log di Simple Log Service.
- Raw log
```
"s_key":"2022-07-05 19:28:01"
```
- Konfigurasi plugin Logtail processor
- Hasil pemrosesan
```
"s_key":"2022-07-05 19:28:01"
"d_key":"2022/07/05 20:28:01"
```

Konfigurasi JSON

Deskripsi parameter

Atur type ke processor_gotime. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Tipe	Wajib	Deskripsi
SourceKey	String	Ya	Nama bidang sumber.
SourceFormat	String	Ya	Format waktu sumber.
SourceLocation	Int	Ya	Zona waktu waktu sumber. Jika parameter ini kosong, zona waktu host atau kontainer tempat Logtail berjalan akan digunakan.
DestKey	String	Ya	Bidang tujuan untuk hasil penguraian. Bidang ini tidak dapat diatur ke `__time__`.
DestFormat	String	Ya	Format waktu hasil penguraian.
DestLocation	Int	Tidak	Zona waktu hasil penguraian. Jika parameter ini kosong, zona waktu native akan digunakan.
SetTime	Boolean	Tidak	Menentukan apakah waktu hasil penguraian diatur sebagai waktu log. true (default): Ya false: Tidak
KeepSource	Boolean	Tidak	Menentukan apakah bidang sumber dipertahankan dalam log hasil penguraian. true (default): Pertahankan false: Jangan pertahankan
NoKeyError	Boolean	Tidak	Menentukan apakah sistem melaporkan error jika bidang sumber yang ditentukan tidak ada dalam log mentah. true (default): Laporkan error false: Jangan laporkan error
AlarmIfFail	Boolean	Tidak	Sistem gagal mengambil waktu log. Apakah error sistem dilaporkan? true (default): Laporkan error false: Jangan laporkan error

Contoh

Waktu sumber berada di bidang s_key dan memiliki format 2006-01-02 15:04:05 (UTC+8). Contoh ini mengurai waktu sumber ke format 2006/01/02 15:04:05 (UTC+9), menambahkannya ke bidang d_key, dan mengatur hasilnya sebagai waktu log di Simple Log Service.

Raw log
```
"s_key":"2019-07-05 19:28:01"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_gotime",
      "detail": {
        "SourceKey": "s_key",
        "SourceFormat":"2006-01-02 15:04:05",
        "SourceLocation":8,
        "DestKey":"d_key",
        "DestFormat":"2006/01/02 15:04:05",
        "DestLocation":9,
        "SetTime": true,
        "KeepSource": true,
        "NoKeyError": true,
        "AlarmIfFail": true
      }
    }
  ]
}

Hasil pemrosesan

"s_key":"2019-07-05 19:28:01"
"d_key":"2019/07/05 20:28:01"

Format waktu strptime (`processor_strptime`)

Plugin processor_strptime menggunakan format waktu strptime Linux untuk mengurai bidang waktu dalam log. Anda juga dapat mengatur hasil penguraian sebagai waktu log.

Penting

Logtail versi 0.16.28 dan yang lebih baru mendukung plugin processor_strptime.

Konfigurasi berbasis formulir

Deskripsi parameter

Atur Processing Plugin Type ke Extract Log Time (strptime Time Format). Tabel berikut menjelaskan parameter terkait.

Parameter	Deskripsi
Source Field	Nama bidang sumber.
Original Time Format	Format waktu sumber.
Keep Source Field	Jika Anda memilih opsi ini, bidang sumber akan dipertahankan dalam log hasil penguraian.
Report Error On Extraction Failure	Jika Anda memilih opsi ini, sistem akan melaporkan error jika gagal mengekstrak waktu log.
Adjust Time Offset	Jika Anda memilih opsi ini, Anda dapat mengatur offset waktu dalam detik.
Time Offset In Seconds	Offset waktu dalam detik. Misalnya, 28800 menunjukkan UTC+8, dan -3600 menunjukkan UTC-1.

Contoh konfigurasi
Contoh ini mengurai waktu sumber, yaitu nilai bidang log_time, dari format %Y/%m/%d %H:%M:%S menjadi waktu log yang sesuai. Zona waktu mesin digunakan. Dalam contoh ini, diasumsikan zona waktu adalah UTC+8.
- Raw log
```
"log_time":"2022/01/02 12:59:59"
```
- Konfigurasi pemrosesan plugin Logtail
- Hasil pemrosesan
```
"log_time":"2022/01/02 12:59:59"
Log.Time = 1451710799
```

Ekspresi waktu umum

Catatan

Plugin processor_strptime mendukung format %f untuk mengurai bagian pecahan detik dengan presisi hingga nanodetik.

Contoh	Ekspresi waktu
2016/01/02 12:59:59	%Y/%m/%d %H:%M:%S
2016/01/02 12:59:59.1	%Y/%m/%d %H:%M:%S.%f
2016/01/02 12:59:59.987654321 +0700 (UTC)	%Y/%m/%d %H:%M:%S.%f %z (%Z)
2016/Jan/02 12:59:59,123456	%Y/%b/%d %H:%M:%S,%f
2019-07-15T04:16:47:123Z	%Y-%m-%dT%H:%M:%S:%f

Konfigurasi JSON

Deskripsi parameter

Atur type ke processor_strptime. Tabel berikut menjelaskan parameter dalam detail.

Parameter	Tipe	Wajib	Deskripsi
SourceKey	String	Ya	Nama bidang sumber.
Format	String	Ya	Format waktu sumber.
AdjustUTCOffset	Boolean	Tidak	Menentukan apakah zona waktu disesuaikan. true: Ya. false (default): Tidak
UTCOffset	Int	Tidak	Offset zona waktu dalam detik untuk penyesuaian. Misalnya, 28800 menunjukkan UTC+8.
AlarmIfFail	Boolean	Tidak	Menentukan apakah sistem melaporkan error saat gagal mengekstrak log. true (default): Laporkan error. false: Jangan laporkan error.
KeepSource	Boolean	Tidak	Menentukan apakah bidang sumber dipertahankan dalam log hasil penguraian. true (default): Pertahankan. false: Jangan pertahankan.

Contoh

Contoh ini mengurai waktu sumber, yaitu nilai bidang log_time, dari format %Y/%m/%d %H:%M:%S menjadi waktu log yang sesuai. Zona waktu mesin digunakan.

Contoh 1: Asumsikan zona waktu adalah UTC+8.

Raw log
```
"log_time":"2016/01/02 12:59:59"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S"
      }
    }
  ]
}

Hasil pemrosesan

"log_time":"2016/01/02 12:59:59"
Log.Time = 1451710799

Contoh 2: Asumsikan zona waktu adalah UTC+7.

Raw log
```
"log_time":"2016/01/02 12:59:59"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S",
        "AdjustUTCOffset": true,
        "UTCOffset": 25200
      }
    }
  ]
}

Hasil pemrosesan

"log_time":"2016/01/02 12:59:59"
Log.Time = 1451714399

Contoh 3: Asumsikan zona waktu adalah UTC+7.

Raw log
```
"log_time":"2016/01/02 12:59:59.123"
```

Konfigurasi pemrosesan plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S.%f"
      }
    }
  ]
}

Hasil pemrosesan

"log_time":"2016/01/02 12:59:59.123"
Log.Time = 1451714399

Ekspresi waktu umum

Catatan

Plugin processor_strptime mendukung penguraian yang menggunakan spesifikasi format %f. Spesifikasi ini merepresentasikan bagian pecahan detik dengan presisi hingga nanodetik.

Contoh	Ekspresi waktu
2016/01/02 12:59:59	%Y/%m/%d %H:%M:%S
2016/01/02 12:59:59.1	%Y/%m/%d %H:%M:%S.%f
2016/01/02 12:59:59.987654321 +0700 (UTC)	%Y/%m/%d %H:%M:%S.%f %z (%Z)
2016/Jan/02 12:59:59,123456	%Y/%b/%d %H:%M:%S,%f
2019-07-15T04:16:47:123Z	%Y-%m-%dT%H:%M:%S:%f

Format waktu log umum

Untuk format waktu log umum yang didukung oleh plugin extension processor_gotime, lihat https://pkg.go.dev/time#pkg-constants. Tabel berikut mencantumkan format waktu log umum yang didukung oleh plugin native time parsing (processor_parse_timestamp_native) dan plugin extension processor_strptime.

Catatan

Pada server Linux, Logtail mendukung semua format waktu yang disediakan oleh fungsi strftime. Artinya, Logtail dapat mengurai string waktu log apa pun yang dapat diformat oleh fungsi strftime.

Format waktu	Deskripsi	Contoh
%a	Nama hari dalam seminggu singkat.	Fri
%A	Nama lengkap hari dalam seminggu.	Friday
%b	Nama bulan singkat.	Jan
%B	Nama lengkap bulan.	January
%d	Hari dalam bulan sebagai angka desimal dengan padding nol. Rentang: 01 hingga 31.	07, 31
%f	Detik pecahan (milidetik, mikrodetik, atau nanodetik).	123
%h	Nama bulan singkat. Sama dengan %b.	Jan
%H	Jam dalam format 24 jam.	22
%I	Jam (jam 12-jam) sebagai angka desimal dengan padding nol.	11
%m	Bulan sebagai angka desimal dengan padding nol. Rentang: 01 hingga 12.	08
%M	Menit sebagai angka desimal dengan padding nol. Rentang: 00 hingga 59.	59
%n	Line feed.	Line feed
%p	AM atau PM.	AM, PM
%r	Waktu jam 12-jam. Sama dengan %I:%M:%S %p.	11:59:59 AM
%R	Jam dan menit. Sama dengan %H:%M.	23:59
%S	Detik sebagai angka desimal dengan padding nol. Rentang: 00 hingga 59.	59
%t	Karakter tab.	None
%y	Tahun tanpa abad sebagai angka desimal dengan padding nol. Rentang: 00 hingga 99.	04, 98
%Y	Tahun dengan abad sebagai angka desimal.	2004, 1998
%C	Abad sebagai angka desimal. Rentang: 00 hingga 99.	16
%e	Hari dalam bulan sebagai angka desimal dengan padding spasi. Rentang: 1 hingga 31. Spasi ditambahkan sebelum angka satuan.	7, 31
%j	Hari dalam tahun sebagai angka desimal dengan padding nol. Rentang: 001 hingga 366.	365
%u	Hari dalam seminggu sebagai angka desimal, dengan Senin sebagai 1. Rentang: 1 hingga 7.	2
%U	Nomor minggu dalam tahun, dengan Minggu sebagai hari pertama dalam minggu. Rentang: 00 hingga 53.	23
%V	Nomor minggu dalam tahun, dengan Senin sebagai hari pertama dalam minggu. Rentang: 01 hingga 53. Jika minggu yang berisi 1 Januari memiliki empat hari atau lebih di tahun baru, maka itu adalah minggu 1. Jika tidak, itu adalah minggu berikutnya.	24
%w	Hari dalam seminggu sebagai angka desimal, dengan Minggu sebagai 0. Rentang: 0 hingga 6.	5
%W	Nomor minggu dalam tahun, dengan Senin sebagai hari pertama dalam minggu. Rentang: 00 hingga 53.	23
%c	Tanggal dan waktu standar.	Tue Nov 20 14:12:58 2020
%x	Tanggal standar tanpa waktu.	Tue Nov 20 2020
%X	Waktu standar tanpa tanggal.	11:59:59
%s	Stempel waktu UNIX.	1476187251

Contoh

Tabel berikut menunjukkan standar waktu umum, contoh, dan ekspresi waktunya yang sesuai.

Contoh	Ekspresi waktu	Standar waktu
2017-12-11 15:05:07	%Y-%m-%d %H:%M:%S	Custom
[2017-12-11 15:05:07.012]	[%Y-%m-%d %H:%M:%S.%f	Custom
2017-12-11 15:05:07.123	%Y-%m-%d %H:%M:%S.%f	Custom
02 Jan 06 15:04 MST	%d %b %y %H:%M	RFC822
02 Jan 06 15:04 -0700	%d %b %y %H:%M	RFC822Z
Monday, 02-Jan-06 15:04:05 MST	%A, %d-%b-%y %H:%M:%S	RFC850
Mon, 02 Jan 2006 15:04:05 MST	%A, %d %b %Y %H:%M:%S	RFC1123
2006-01-02T15:04:05Z07:00	%Y-%m-%dT%H:%M:%S	RFC3339
2006-01-02T15:04:05.999999999Z07:00	%Y-%m-%dT%H:%M:%S.%f	RFC3339Nano
1637843406	%s	Custom
1637843406123	%s	Custom (Simple Log Service memprosesnya dengan presisi tingkat detik)

Referensi

Anda dapat mengonfigurasi pipeline Logtail dengan memanggil operasi API berikut:
Mengonfigurasi plug-in pemrosesan di konsol:
- Collect text logs from hosts
- Collect container logs from a cluster using the console (standard output/file)
Collect container logs from a cluster using Kubernetes CRDs (standard output/file)

Contoh efek plugin

Ikhtisar plugin pemrosesan waktu

Titik masuk

Perbedaan antara plugin native dan extension

Time parsing plugin (native)

Deskripsi konfigurasi

Plugin Extract Log Time (extension)

Format waktu bahasa Go (processor_gotime)

Konfigurasi berbasis formulir

Konfigurasi JSON

Format waktu strptime (processor_strptime)

Konfigurasi berbasis formulir

Konfigurasi JSON

Format waktu log umum

Contoh

Referensi

Format waktu bahasa Go (`processor_gotime`)

Format waktu strptime (`processor_strptime`)