Memperbarui konfigurasi pipeline Logtail.
Coba sekarang
Test
RAM authorization
|
Action |
Access level |
Resource type |
Condition key |
Dependent action |
|
log:UpdateLogtailPipelineConfig |
update |
*All Resource
|
|
None |
Sintaks permintaan
PUT /pipelineconfigs/{configName} HTTP/1.1
Path Parameters
|
Parameter |
Type |
Required |
Description |
Example |
| configName |
string |
Yes |
Nama konfigurasi pipeline Logtail. |
test-config |
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| project |
string |
Yes |
Nama proyek. |
test-project |
| body |
object |
No |
Konten konfigurasi pipeline Logtail. |
|
| configName |
string |
Yes |
Nama konfigurasi. Penting Nama harus sama dengan nilai parameter configName di path permintaan. |
test-config |
| logSample |
string |
No |
Contoh log. Mendukung beberapa log. |
2022-06-14 11:13:29.796 | DEBUG | __main__: |
| global |
object |
No |
Konfigurasi global. |
|
| inputs |
array<object> |
Yes |
Daftar plug-in input. Penting Saat ini, Anda hanya dapat mengonfigurasi satu plug-in input. |
|
|
object |
No |
Plug-in input. Catatan
Untuk parameter plug-in input file, lihat File plug-in. Untuk parameter plug-in input lainnya, lihat Processing plug-ins. |
{ "Type": "input_file", "FilePaths": ["/var/log/*.log"] } |
|
| processors |
array<object> |
No |
Daftar plug-in pemrosesan. Catatan
Plug-in pemrosesan diklasifikasikan menjadi plug-in pemrosesan native dan plug-in pemrosesan ekstensi. Untuk informasi selengkapnya, lihat Processing plug-ins. Penting
Catatan
|
|
|
object |
No |
Plug-in pemrosesan. Catatan
Untuk informasi selengkapnya, lihat Processing plug-ins. |
{ "Type": "processor_parse_json_native", "SourceKey": "content" } |
|
| aggregators |
array<object> |
No |
Daftar plug-in aggregator. Penting Parameter ini hanya berlaku saat Anda menggunakan plug-in pemrosesan ekstensi. Anda dapat menggunakan maksimal satu plug-in aggregator. |
|
|
object |
No |
Plug-in aggregator. |
||
| flushers |
array<object> |
Yes |
Daftar plug-in output. Penting Saat ini, Anda hanya dapat menambahkan satu plug-in output SLS. |
|
|
object |
No |
Plug-in output. |
{ "Type": "flusher_sls", "Logstore": "test" } |
|
| task |
object |
No |
Konfigurasi global
| Parameter | Type | Required | Default value | Example | Description |
| TopicType | string | No | Empty | filepath | Jenis topik. Nilai yang valid:
|
| TopicFormat | string | Yes, if TopicType is set to filepath or custom. | / | /var/log/(.*).log | Format topik. |
| EnableTimestampNanosecond | bool | No | false | false | Menentukan apakah akan mengaktifkan presisi nanodetik untuk timestamp. |
| PipelineMetaTagKey | object | No | Empty | {"HOST_NAME":"__hostname__"} | Penting Parameter ini hanya didukung oleh LoongCollector 3.0.10 dan versi yang lebih baru.
|
Plug-in input
Plug-in input file
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | input_file | Jenis plug-in. Tetapkan nilainya ke input_file. |
| FilePaths | [string] | Yes | / | ["/var/log/*.log"] | Daftar jalur ke file log yang akan dikumpulkan. Saat ini, hanya satu jalur yang diizinkan. Anda dapat menggunakan karakter wildcard asterisk (*) dan double asterisk (**) dalam jalur tersebut. Karakter wildcard double asterisk (**) hanya dapat muncul sekali dan harus digunakan sebelum nama file. |
| MaxDirSearchDepth | uint | No | 0 | 0 | Kedalaman maksimum subdirektori yang dapat dicocokkan oleh karakter wildcard double asterisk (**) dalam jalur file. Parameter ini hanya berlaku ketika karakter wildcard double asterisk (**) digunakan dalam jalur log. Nilai yang valid: 0 hingga 1000. |
| ExcludeFilePaths | [string] | No | Empty | ["/home/admin/*.log"] | Daftar hitam jalur file. Jalur harus berupa jalur mutlak. Karakter wildcard asterisk (*) didukung. |
| ExcludeFiles | [string] | No | Empty | ["app*.log", "password"] | Daftar hitam nama file. Karakter wildcard asterisk (*) didukung. |
| ExcludeDirs | [string] | No | Empty | ["/home/admin/dir1", "/home/admin/dir2*"] | Daftar hitam direktori. Jalur harus berupa jalur mutlak. Karakter wildcard asterisk (*) didukung. |
| FileEncoding | string | No | utf8 | utf8 | Format encoding file. Nilai yang valid: utf8 dan gbk. |
| TailSizeKB | uint | No | 1024 | 1024 | Posisi awal pengumpulan file yang cocok saat konfigurasi pertama kali diterapkan, diukur dari akhir file. Jika ukuran file lebih kecil dari nilai ini, pengumpulan dimulai dari awal. Nilai yang valid: 0 hingga 10485760 KB. |
| Multiline | object | No | Empty | / | Opsi agregasi multiline. |
| Multiline.Mode | string | No | custom | custom | Mode agregasi multiline. Nilai yang valid: custom dan JSON. |
| Multiline.StartPattern | string | Required when Multiline.Mode is set to custom. | Empty | \d+-\d+-\d+.* | Ekspresi reguler untuk awal baris. |
| EnableContainerDiscovery | bool | No | false | true | Menentukan apakah akan mengaktifkan penemuan kontainer. Parameter ini hanya berlaku ketika Logtail berjalan dalam mode DaemonSet dan jalur file yang dikumpulkan adalah jalur di dalam kontainer. |
| ContainerFilters | object | No | Empty | / | Opsi pemfilteran kontainer. Hubungan antara beberapa opsi adalah "AND". Parameter ini hanya berlaku ketika EnableContainerDiscovery diatur ke true. |
| ContainerFilters.K8sNamespaceRegex | string | No | Empty | default | Untuk kontainer yang dideploy di lingkungan Kubernetes, menentukan kondisi untuk namespace pod tempat kontainer yang akan dikumpulkan berada. Jika Anda tidak menambahkan parameter ini, semua kontainer dikumpulkan. Ekspresi reguler didukung. |
| ContainerFilters.K8sPodRegex | string | No | Empty | test-pod | Untuk kontainer yang dideploy di lingkungan Kubernetes, menentukan kondisi untuk nama pod tempat kontainer yang akan dikumpulkan berada. Jika Anda tidak menambahkan parameter ini, semua kontainer dikumpulkan. Ekspresi reguler didukung. |
| ContainerFilters.IncludeK8sLabel | map | No | Empty | / | Untuk kontainer yang dideploy di lingkungan Kubernetes, menentukan kondisi label untuk pod tempat kontainer yang akan dikumpulkan berada. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua kontainer dikumpulkan. Ekspresi reguler didukung. Kunci dari map adalah nama label pod, dan nilai adalah nilai label pod tersebut. Aturan berikut berlaku:
|
| ContainerFilters.ExcludeK8sLabel | map | No | Empty | / | Untuk kontainer yang dideploy di lingkungan Kubernetes, menentukan kondisi label untuk pod tempat kontainer yang akan dikecualikan dari pengumpulan berada. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua kontainer dikumpulkan. Ekspresi reguler didukung. Kunci dari map adalah nama label pod, dan nilai adalah nilai label pod tersebut. Aturan berikut berlaku:
|
| ContainerFilters.K8sContainerRegex | string | No | Empty | test-container | Untuk kontainer yang dideploy di lingkungan Kubernetes, menentukan kondisi untuk nama kontainer yang akan dikumpulkan. Jika Anda tidak menambahkan parameter ini, semua kontainer dikumpulkan. Ekspresi reguler didukung. |
| ContainerFilters.IncludeEnv | map | No | Empty | / | Menentukan kondisi variabel lingkungan untuk kontainer yang akan dikumpulkan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua kontainer dikumpulkan. Ekspresi reguler didukung. Kunci dari map adalah nama variabel lingkungan, dan nilai adalah nilai variabel lingkungan tersebut. Aturan berikut berlaku:
|
| ContainerFilters.ExcludeEnv | map | No | Empty | / | Menentukan kondisi variabel lingkungan untuk kontainer yang akan dikecualikan dari pengumpulan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua kontainer dikumpulkan. Ekspresi reguler didukung. Kunci dari map adalah nama variabel lingkungan, dan nilai adalah nilai variabel lingkungan tersebut. Aturan berikut berlaku:
|
| ContainerFilters.IncludeContainerLabel | map | No | Empty | / | Menentukan kondisi label untuk kontainer yang akan dikumpulkan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, nilai default adalah kosong, yang berarti semua kontainer dikumpulkan. Ekspresi reguler didukung. Kunci dari map adalah nama label kontainer, dan nilai adalah nilai label kontainer tersebut. Aturan berikut berlaku:
|
| ContainerFilters.ExcludeContainerLabel | map | No | Empty | / | Menentukan kondisi label untuk kontainer yang akan dikecualikan dari pengumpulan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, nilai default adalah kosong, yang berarti semua kontainer dikumpulkan. Ekspresi reguler didukung. Kunci dari map adalah nama label kontainer, dan nilai adalah nilai label kontainer tersebut. Aturan berikut berlaku:
|
| ExternalK8sLabelTag | map | No | Empty | / | Untuk kontainer yang dideploy di lingkungan Kubernetes, menentukan tag terkait label pod yang akan ditambahkan ke log. Kunci dari map adalah nama label pod, dan nilai adalah nama tag yang sesuai. Misalnya, jika Anda menambahkan app: k8s_label_app ke map, dan sebuah pod memiliki label app=serviceA, informasi ini ditambahkan ke log sebagai tag, yang berarti field __tag__:k8s_label_app: serviceA ditambahkan. Jika pod tersebut tidak memiliki label app, field kosong __tag__:k8s_label_app: ditambahkan. |
| ExternalEnvTag | map | No | Empty | / | Untuk kontainer yang dideploy di lingkungan Kubernetes, menentukan tag terkait variabel lingkungan kontainer yang akan ditambahkan ke log. Kunci dari map adalah nama variabel lingkungan, dan nilai adalah nama tag yang sesuai. Misalnya, jika Anda menambahkan VERSION: env_version ke map, dan sebuah kontainer memiliki variabel lingkungan VERSION=v1.0.0, informasi ini ditambahkan ke log sebagai tag, yang berarti field __tag__:env_version: v1.0.0 ditambahkan. Jika kontainer tersebut tidak memiliki variabel lingkungan VERSION, field kosong __tag__:env_version: ditambahkan. |
| CollectingContainersMeta | bool | No | false | true | Menentukan apakah akan mengaktifkan pratinjau metadata kontainer. |
| AppendingLogPositionMeta | bool | No | false | false | Menentukan apakah akan menambahkan metadata file tempat log berada ke log tersebut. Metadata mencakup field __tag__:__inode__ dan field __file_offset__. |
| AllowingIncludedByMultiConfigs | bool | No | false | false | Menentukan apakah akan mengizinkan konfigurasi saat ini untuk mengumpulkan file yang telah dicocokkan oleh konfigurasi lain. |
| Tags | object | No | Empty | {"FileInodeTagKey":"__inode__"} | Penting Parameter ini hanya didukung oleh LoongCollector 3.0.10 dan versi yang lebih baru.
|
| FileOffsetKey | string | No | Empty | __file_offset__ | Penting Parameter ini hanya didukung oleh LoongCollector 3.0.10 dan versi yang lebih baru. |
Stdout kontainer (legacy)
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | service_docker_stdout | Jenis plug-in. Tetapkan nilainya ke service_docker_stdout. |
| Stdout | Boolean | No | true | true | Menentukan apakah akan mengumpulkan standard output (stdout). |
| Stderr | Boolean | No | true | true | Menentukan apakah akan mengumpulkan standard error (stderr). |
| StartLogMaxOffset | Integer | No | 128 × 1024 | 131072 | Panjang data historis yang akan diambil selama pengumpulan pertama, dalam byte. Kami merekomendasikan nilai antara 131072 dan 1048576. |
| IncludeLabel | Map, where LabelKey and LabelValue are of the String type | No | Empty | Daftar putih label kontainer, digunakan untuk menentukan kontainer yang akan dikumpulkan. Nilai default adalah kosong, yang berarti stdout semua kontainer dikumpulkan. Jika Anda ingin menetapkan daftar putih label kontainer, LabelKey wajib diisi, dan LabelValue opsional.
Hubungan antara beberapa kondisi daftar putih adalah "OR", artinya kontainer akan dicocokkan jika labelnya memenuhi salah satu kondisi daftar putih. | |
| ExcludeLabel | Map, where LabelKey and LabelValue are of the String type | No | Empty | Daftar hitam label kontainer, digunakan untuk mengecualikan kontainer dari pengumpulan. Nilai default adalah kosong, yang berarti tidak ada kontainer yang dikecualikan. Jika Anda ingin menetapkan daftar hitam label kontainer, LabelKey wajib diisi, dan LabelValue opsional.
Hubungan antara beberapa kondisi daftar hitam adalah "OR", artinya kontainer akan dikecualikan jika labelnya memenuhi salah satu kondisi daftar hitam. | |
| IncludeEnv | Map, where EnvKey and EnvValue are of the String type | No | Empty | Daftar putih variabel lingkungan, digunakan untuk menentukan kontainer yang akan dikumpulkan. Nilai default adalah kosong, yang berarti stdout semua kontainer dikumpulkan. Jika Anda ingin menetapkan daftar putih variabel lingkungan, EnvKey wajib diisi, dan EnvValue opsional.
| |
| ExcludeEnv | Map, where EnvKey and EnvValue are of the String type | No | Empty | Daftar hitam variabel lingkungan, digunakan untuk mengecualikan kontainer dari pengumpulan. Nilai default adalah kosong, yang berarti tidak ada kontainer yang dikecualikan. Jika Anda ingin menetapkan daftar hitam variabel lingkungan, EnvKey wajib diisi, dan EnvValue opsional.
Hubungan antara beberapa kondisi daftar hitam adalah "OR", artinya kontainer akan dikecualikan jika variabel lingkungannya memenuhi salah satu pasangan kunci-nilai. | |
| IncludeK8sLabel | Map, where LabelKey and LabelValue are of the String type | No | Empty | Daftar putih label Kubernetes (didefinisikan dalam template.metadata), digunakan untuk menentukan kontainer yang akan dikumpulkan. Jika Anda ingin menetapkan daftar putih label Kubernetes, LabelKey wajib diisi, dan LabelValue opsional.
Hubungan antara beberapa kondisi daftar putih adalah "OR", artinya kontainer akan dicocokkan jika label Kubernetes-nya memenuhi salah satu kondisi daftar putih. | |
| ExcludeK8sLabel | Map, where LabelKey and LabelValue are of the String type | No | Empty | Daftar hitam label Kubernetes (didefinisikan dalam template.metadata), digunakan untuk mengecualikan kontainer dari pengumpulan. Jika Anda ingin menetapkan daftar hitam label Kubernetes, LabelKey wajib diisi, dan LabelValue opsional.
Hubungan antara beberapa kondisi daftar hitam adalah "OR", artinya kontainer akan dikecualikan jika label Kubernetes-nya memenuhi salah satu kondisi daftar hitam. | |
| K8sNamespaceRegex | String | No | Empty | ^(default|nginx)$ | Menentukan kontainer yang akan dikumpulkan berdasarkan nama namespace. Ekspresi reguler didukung. Misalnya, jika Anda menetapkannya ke ^(default|nginx)$, semua kontainer di namespace nginx dan default akan dicocokkan. |
| K8sPodRegex | String | No | Empty | ^(nginx-log-demo.*)$ | Menentukan kontainer yang akan dikumpulkan berdasarkan nama pod. Ekspresi reguler didukung. Misalnya, jika Anda menetapkannya ke ^(nginx-log-demo.*)$, semua kontainer di pod yang namanya dimulai dengan nginx-log-demo akan dicocokkan. |
| K8sContainerRegex | String | No | Empty | ^(container-test)$ | Menentukan kontainer yang akan dikumpulkan berdasarkan nama kontainer (nama kontainer Kubernetes didefinisikan dalam spec.containers). Ekspresi reguler didukung. Misalnya, jika Anda menetapkannya ke ^(container-test)$, semua kontainer bernama container-test akan dicocokkan. |
Parameter pemrosesan data
| Parameter | Type | Required | Default value | Example | Description |
| BeginLineRegex | String | No | Empty | Ekspresi reguler untuk mencocokkan awal baris. Jika item konfigurasi ini kosong, ini menunjukkan mode baris tunggal. Jika ekspresi ini cocok dengan awal baris, baris tersebut dianggap sebagai log baru. Jika tidak, baris tersebut ditambahkan ke log sebelumnya. | |
| BeginLineCheckLength | Integer | No | Empty | Panjang yang akan diperiksa untuk pencocokan awal baris, dalam byte. Nilai default adalah 10 × 1024 byte. Jika ekspresi reguler untuk awal baris dapat dicocokkan dalam N byte pertama, kami merekomendasikan menyetel parameter ini untuk meningkatkan efisiensi pencocokan awal baris. | |
| BeginLineTimeoutMs | Integer | No | Empty | Periode timeout untuk mencocokkan awal baris, dalam milidetik. Nilai default adalah 3000 milidetik. Jika tidak ada log baru yang muncul dalam 3000 milidetik, pencocokan berakhir, dan log terakhir diunggah ke Simple Log Service. | |
| MaxLogSize | Integer | No | Empty | Panjang maksimum log, dalam byte. Nilai default adalah 0. Nilai default adalah 512 × 1024 byte. Jika panjang log melebihi nilai ini, sistem berhenti mencari awal baris dan langsung mengunggah log tersebut. | |
| ExternalK8sLabelTag | Map, where LabelKey and LabelValue are of the String type | No | Empty | Setelah menyetel tag log label Kubernetes (didefinisikan dalam template.metadata), iLogtail menambahkan field terkait label Kubernetes ke log. Misalnya, jika Anda menetapkan LabelKey ke app dan LabelValue ke | |
| ExternalEnvTag | Map, where EnvKey and EnvValue are of the String type | No | Empty | Setelah menyetel tag log variabel lingkungan kontainer, iLogtail menambahkan field terkait variabel lingkungan kontainer ke log. Misalnya, jika Anda menetapkan EnvKey ke |
Variabel lingkungan pemrosesan data
| Environment variable | Type | Required | Default value | Example | Description |
| ALIYUN_LOG_ENV_TAGS | String | No | Empty | Setelah menyetel tag log variabel lingkungan global, iLogtail menambahkan field terkait variabel lingkungan kontainer iLogtail ke log. Beberapa nama variabel lingkungan dipisahkan oleh VERTICAL LINE (|). Misalnya, jika Anda menyetelnya ke node_name|node_ip, dan kontainer iLogtail mengekspos variabel lingkungan yang relevan, informasi ini ditambahkan ke log sebagai tag, yang berarti field node_ip:172.16.0.1 dan node_name:worknode ditambahkan. |
Plug-in input MySQL
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | service_mysql | Jenis plug-in. Tetapkan nilainya ke service_mysql. |
| Address | string | No | 127.0.0.1:3306 | rm-*.mysql.rds.aliyuncs.com | Alamat MySQL. |
| User | string | No | root | root | Nama pengguna untuk login ke database MySQL. |
| Password | string | No | Empty | Kata sandi untuk pengguna login ke database MySQL. Jika Anda memiliki persyaratan keamanan tinggi, tetapkan nama pengguna dan kata sandi ke xxx. Setelah konfigurasi pengumpulan disinkronkan ke mesin Anda, temukan konfigurasi tersebut di file /usr/local/ilogtail/user_log_config.json dan modifikasi. Untuk informasi selengkapnya, lihat Modify a local configuration.Penting Jika Anda memodifikasi parameter ini di konsol, konfigurasi lokal akan ditimpa setelah sinkronisasi. | |
| DataBase | string | No | / | project_database | Nama database. |
| DialTimeOutMs | int | No | 5000 | 5000 | Periode timeout untuk menghubungkan ke database MySQL, dalam ms. |
| ReadTimeOutMs | int | No | 5000 | 5000 | Periode timeout untuk membaca hasil kueri MySQL, dalam ms. |
| StateMent | string | No | / | Pernyataan SELECT. Ketika CheckPoint diatur ke true, kondisi WHERE dalam pernyataan SELECT harus menyertakan kolom checkpoint (CheckPointColumn). Anda dapat menggunakan tanda tanya (?) sebagai placeholder yang bekerja dengan kolom checkpoint. Misalnya, tetapkan CheckPointColumn ke id, CheckPointStart ke 0, dan StateMent ke SELECT * from ... where id > ?. Setelah setiap pengumpulan, sistem menyimpan ID entri data terakhir sebagai checkpoint. Pada pengumpulan berikutnya, tanda tanya (?) dalam pernyataan kueri diganti dengan ID yang sesuai dengan checkpoint tersebut. | |
| Limit | bool | No | false | true | Menentukan apakah akan menggunakan LIMIT untuk paging.
|
| PageSize | int | No | / | 10 | Ukuran halaman. Ini harus dikonfigurasi jika Limit diatur ke true. |
| MaxSyncSize | int | No | 0 | 0 | Jumlah maksimum catatan yang akan disinkronkan sekaligus. Nilai default adalah 0, yang berarti tidak ada batasan. |
| CheckPoint | bool | No | false | true | Menentukan apakah akan menggunakan checkpoint.
|
| CheckPointColumn | string | No | Empty | 1 | Nama kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. Warning Nilai dalam kolom ini harus bersifat inkremental. Jika tidak, data dapat hilang. Nilai maksimum dalam setiap hasil kueri digunakan sebagai input untuk kueri berikutnya. |
| CheckPointColumnType | string | No | Empty | int | Tipe data kolom checkpoint. Tipe yang didukung adalah int dan time. Penyimpanan internal untuk tipe int adalah int64. Tipe time mendukung tipe date, datetime, dan time MySQL. Ini harus dikonfigurasi jika CheckPoint diatur ke true. |
| CheckPointStart | string | No | Empty | Nilai awal kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. | |
| CheckPointSavePerPage | bool | No | true | true | Menentukan apakah akan menyimpan checkpoint untuk setiap halaman.
|
| IntervalMs | int | No | 60000 | 60000 | Interval sinkronisasi. Nilai default adalah 60000, dalam ms. |
Plug-in input HTTP
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | metric_http | Jenis plug-in. Tetapkan nilainya ke metric_http. |
| Address | string | Yes | / | Daftar URL. Important Harus dimulai dengan http atau https. | |
| IntervalMs | int | Yes | / | 10 | Interval untuk setiap permintaan, dalam ms. |
| Method | string | No | GET | GET | Nama metode permintaan. Harus dalam huruf kapital. |
| Body | string | No | Empty | Konten field HTTP Body. | |
| Headers | map | No | Empty | {"key":"value"} | Konten HTTP Header, misalnya, {"key":"value"}. Ganti dengan nilai aktual. |
| PerAddressSleepMs | int | No | 100 | 100 | Interval antar permintaan untuk setiap URL dalam daftar Addresses, dalam ms. |
| ResponseTimeoutMs | int | No | 5000 | 5000 | Periode timeout permintaan, dalam ms. |
| IncludeBody | bool | No | false | true | Menentukan apakah akan mengumpulkan request Body. Nilai default adalah false. Jika diatur ke true, konten request Body disimpan dalam kunci bernama content. |
| FollowRedirects | bool | No | false | false | Menentukan apakah akan secara otomatis menangani redirection. |
| InsecureSkipVerify | bool | No | false | false | Menentukan apakah akan melewati pemeriksaan keamanan HTTPS. |
| ResponseStringMatch | string | No | / | Melakukan pemeriksaan ekspresi reguler pada konten Body yang dikembalikan. Hasil pemeriksaan disimpan dalam kunci bernama _response_match_. Jika cocok, nilainya adalah yes. Jika tidak cocok, nilainya adalah no. |
Plug-in input Syslog
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | service_syslog | Jenis plug-in. Tetapkan nilainya ke service_syslog. |
| Address | string | No | tcp://127.0.0.1:9999 | Menentukan protokol, alamat, dan port tempat Logtail mendengarkan. Logtail mendengarkan dan memperoleh data log berdasarkan konfigurasi Logtail. Formatnya adalah [tcp/udp]://[ ip ]:[ port ]. Jika tidak dikonfigurasi, default-nya adalah tcp://127.0.0.1:9999, yang berarti hanya dapat menerima log yang diteruskan secara lokal. Note
| |
| ParseProtocol | string | No | Empty | rfc3164 | Menentukan protokol yang digunakan untuk mengurai log. Default-nya kosong, yang berarti tidak ada penguraian. Opsi-opsinya adalah:
|
| IgnoreParseFailure | bool | No | true | true | Menentukan tindakan yang diambil setelah kegagalan penguraian. Jika tidak dikonfigurasi, default-nya adalah true, yang berarti penguraian ditinggalkan, dan field konten yang dikembalikan diisi secara langsung. Jika diatur ke false, log tersebut dibuang saat terjadi kegagalan penguraian. |
Plug-in input Systemd Journal
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | service_journal | Jenis plug-in. Tetapkan nilainya ke service_journal. |
| JournalPaths | [string] | Yes | Empty | /var/log/journal | Jalur log Journal. Kami merekomendasikan mengonfigurasinya sebagai direktori tempat log Journal berada. |
| SeekPosition | string | No | tail | tail | Metode pengumpulan awal. Dapat diatur ke head atau tail.
|
| Kernel | bool | No | true | true | Menentukan apakah akan mengumpulkan log kernel. |
| Units | [string] | No | Empty | "" | Daftar Units yang akan dikumpulkan. Default-nya kosong, yang berarti semuanya dikumpulkan. |
| ParseSyslogFacility | bool | No | false | false | Menentukan apakah akan mengurai field facility log syslog. Jika tidak dikonfigurasi, tidak diurai. |
| ParsePriority | bool | No | false | false | Menentukan apakah akan mengurai field Priority. Jika tidak dikonfigurasi, tidak diurai. Jika diatur ke true, hubungan pemetaan untuk field Priority adalah sebagai berikut. "0": "emergency" "1": "alert" "2": "critical" "3": "error" "4": "warning" "5": "notice" "6": "informational" "7": "debug" |
| UseJournalEventTime | bool | No | false | false | Menentukan apakah akan menggunakan field dari log Journal sebagai waktu log. Jika tidak dikonfigurasi, waktu pengumpulan digunakan sebagai waktu log. Pengumpulan log real-time biasanya memiliki selisih kurang dari 3 detik. |
Plug-in input SQL Server
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | service_mssql | Jenis plug-in. Tetapkan nilainya ke service_mssql. |
| Address | string | No | 127.0.0.1:1433 | rm-*.sqlserver.rds.aliyuncs.com | Alamat SQL Server. |
| User | string | No | root | root | Nama akun untuk login ke database SQL Server. |
| Password | string | No | Empty | Kata sandi untuk akun login ke database SQL Server. Jika Anda memiliki persyaratan keamanan tinggi, tetapkan nama pengguna dan kata sandi ke xxx. Setelah konfigurasi pengumpulan disinkronkan ke mesin Anda, temukan konfigurasi tersebut di file /usr/local/ilogtail/user_log_config.json dan modifikasi. Untuk informasi selengkapnya, lihat Modify a local configuration.Penting Jika Anda memodifikasi parameter ini di konsol, konfigurasi lokal akan ditimpa setelah sinkronisasi. | |
| DataBase | string | No | / | project_database | Nama database. |
| DialTimeOutMs | int | No | 5000 | 5000 | Periode timeout untuk menghubungkan ke database SQL Server, dalam ms. |
| ReadTimeOutMs | int | No | 5000 | 5000 | Periode timeout untuk membaca hasil kueri SQL Server, dalam ms. |
| StateMent | string | No | / | Pernyataan SELECT. Ketika CheckPoint diatur ke true, kondisi WHERE dalam pernyataan SELECT harus menyertakan kolom checkpoint (CheckPointColumn). Anda dapat menggunakan tanda tanya (?) sebagai placeholder yang bekerja dengan kolom checkpoint. Misalnya, tetapkan CheckPointColumn ke id, CheckPointStart ke 0, dan StateMent ke SELECT * from ... where id > ?. Setelah setiap pengumpulan, sistem menyimpan ID entri data terakhir sebagai checkpoint. Pada pengumpulan berikutnya, tanda tanya (?) dalam pernyataan kueri diganti dengan ID yang sesuai dengan checkpoint tersebut. | |
| Limit | bool | No | false | true | Menentukan apakah akan menggunakan LIMIT untuk paging.
|
| PageSize | int | No | / | 10 | Ukuran halaman. Ini harus dikonfigurasi jika Limit diatur ke true. |
| MaxSyncSize | int | No | 0 | 0 | Jumlah maksimum catatan yang akan disinkronkan sekaligus. Nilai default adalah 0, yang berarti tidak ada batasan. |
| CheckPoint | bool | No | false | true | Menentukan apakah akan menggunakan checkpoint.
|
| CheckPointColumn | string | No | Empty | 1 | Nama kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. Warning Nilai dalam kolom ini harus bersifat inkremental. Jika tidak, data dapat hilang. Nilai maksimum dalam setiap hasil kueri digunakan sebagai input untuk kueri berikutnya. |
| CheckPointColumnType | string | No | Empty | int | Tipe data kolom checkpoint. Tipe yang didukung adalah int dan time. Penyimpanan internal untuk tipe int adalah int64. Tipe time mendukung tipe date, datetime, dan time SQL Server. Ini harus dikonfigurasi jika CheckPoint diatur ke true. |
| CheckPointStart | string | No | Empty | Nilai awal kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. | |
| CheckPointSavePerPage | bool | No | true | true | Menentukan apakah akan menyimpan checkpoint untuk setiap halaman.
|
| IntervalMs | int | No | 60000 | 60000 | Interval sinkronisasi. Nilai default adalah 60000, dalam ms. |
Plug-in input PostgreSQL
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | service_pgsql | Jenis plug-in. Tetapkan nilainya ke service_pgsql. |
| Address | string | No | 127.0.0.1:5432 | rm-*.pg.rds.aliyuncs.com | Alamat PostgreSQL. |
| User | string | No | root | root | Nama akun untuk login ke database PostgreSQL. |
| Password | string | No | Empty | Kata sandi untuk akun login ke database PostgreSQL. Jika Anda memiliki persyaratan keamanan tinggi, tetapkan nama pengguna dan kata sandi ke xxx. Setelah konfigurasi pengumpulan disinkronkan ke mesin Anda, temukan konfigurasi tersebut di file /usr/local/ilogtail/user_log_config.json dan modifikasi. Untuk informasi selengkapnya, lihat Modify a local configuration.Penting Jika Anda memodifikasi parameter ini di konsol, konfigurasi lokal akan ditimpa setelah sinkronisasi. | |
| DataBase | string | No | / | project_database | Nama database PostgreSQL. |
| DialTimeOutMs | int | No | 5000 | 5000 | Periode timeout untuk menghubungkan ke database PostgreSQL, dalam ms. |
| ReadTimeOutMs | int | No | 5000 | 5000 | Periode timeout untuk membaca hasil kueri PostgreSQL, dalam ms. |
| StateMent | string | No | / | Pernyataan SELECT. Ketika CheckPoint diatur ke true, kondisi WHERE dalam pernyataan StateMent SELECT harus menyertakan kolom checkpoint (parameter CheckPointColumn), dan nilainya harus diatur ke $1. Misalnya, tetapkan CheckPointColumn ke id dan StateMent ke SELECT * from ... where id > $1 | |
| Limit | bool | No | false | true | Menentukan apakah akan menggunakan LIMIT untuk paging.
|
| PageSize | int | No | / | 10 | Ukuran halaman. Ini harus dikonfigurasi jika Limit diatur ke true. |
| MaxSyncSize | int | No | 0 | 0 | Jumlah maksimum catatan yang akan disinkronkan sekaligus. Nilai default adalah 0, yang berarti tidak ada batasan. |
| CheckPoint | bool | No | false | true | Menentukan apakah akan menggunakan checkpoint.
|
| CheckPointColumn | string | No | Empty | 1 | Nama kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. Warning Nilai dalam kolom ini harus bersifat inkremental. Jika tidak, data dapat hilang. Nilai maksimum dalam setiap hasil kueri digunakan sebagai input untuk kueri berikutnya. |
| CheckPointColumnType | string | No | Empty | int | Tipe data kolom checkpoint. Tipe yang didukung adalah int dan time. Penyimpanan internal untuk tipe int adalah int64. Tipe time mendukung tipe waktu PostgreSQL. Ini harus dikonfigurasi jika CheckPoint diatur ke true. |
| CheckPointStart | string | No | Empty | Nilai awal kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. | |
| CheckPointSavePerPage | bool | No | true | true | Menentukan apakah akan menyimpan checkpoint untuk setiap halaman.
|
| IntervalMs | int | No | 60000 | 60000 | Interval sinkronisasi. Nilai default adalah 60000, dalam ms. |
Plug-in input SNMP
| Parameter | Type | Required | Default value | Example | Description |
| Targets | [string] | Yes | / | 127.0.0.1 | Alamat IP grup mesin target. |
| Port | string | No | 161 | 161 | Port yang digunakan oleh protokol SNMP. |
| Community | string | No | public | public | Nama komunitas. SNMPv1 dan SNMPv2 menggunakan nama komunitas untuk autentikasi. |
| UserName | string | No | Empty | root | Nama pengguna. SNMPv3 mendukung autentikasi menggunakan nama pengguna. |
| AuthenticationProtocol | string | No | NoAuth | NoAuth | Protokol autentikasi. SNMPv3 mendukung autentikasi menggunakan protokol autentikasi. |
| AuthenticationPassphrase | string | No | Empty | Kata sandi autentikasi. Nilai default adalah kosong. Jika Anda menyetel AuthenticationProtocol ke MD5 atau SHA, Anda perlu menyetel AuthenticationPassphrase. | |
| PrivacyProtocol | string | No | NoPriv | NoPriv | Protokol privasi. SNMPv3 mendukung autentikasi menggunakan protokol privasi. |
| PrivacyPassphrase | string | No | Empty | Kata sandi protokol privasi. Secara default, sama dengan kata sandi autentikasi. Jika Anda menyetel PrivacyProtocol ke DES atau AES, Anda harus menyetel PrivacyPassphrase. | |
| Timeout | int | No | 5 | 5 | Periode timeout untuk operasi kueri tunggal, dalam detik. |
| Version | int | No | 2 | 2 | Versi protokol SNMP. Nilai yang valid adalah 1, 2, dan 3. |
| Transport | string | No | udp | udp | Metode komunikasi SNMP. Nilai yang valid adalah udp dan tcp. |
| MaxRepetitions | int | No | 0 | 0 | Jumlah percobaan ulang setelah timeout kueri. |
| Oids | [string] | No | Empty | 1 | Identifier objek yang akan dikueri di mesin target. |
| Fields | [string] | No | Empty | int | Field yang akan dikueri di mesin target. Plug-in ini pertama-tama menerjemahkan field dengan mencarinya di Management Information Base (MIB) lokal, menerjemahkannya menjadi identifier objek, dan mengkuerinya bersama-sama. |
| Tables | [string] | No | Empty | Tabel yang akan dikueri di mesin target. Plug-in ini pertama-tama mengkueri semua field di tabel, lalu mencarinya di Management Information Base (MIB) lokal, menerjemahkannya menjadi identifier objek, dan mengkuerinya bersama-sama. |
Plug-in input skrip
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | input_command | Jenis plug-in. Tetapkan nilainya ke input_command. |
| ScriptType | string | Yes | Empty | shell | Menentukan jenis konten skrip. Saat ini mendukung bash, shell, python2, dan python3. |
| User | string | Yes | / | public | Nama pengguna yang digunakan untuk menjalankan perintah. Hanya pengguna non-root yang didukung. Note * Pastikan nama pengguna yang ditentukan ada di mesin. Kami merekomendasikan mengonfigurasi hak istimewa minimal, memberikan izin rwx hanya ke direktori atau file yang diperlukan. |
| ScriptContent | string | Yes | Empty | Konten skrip. Mendukung teks biasa dan konten terenkripsi Base64, dengan panjang hingga 512*1024 byte. | |
| ContentEncoding | string | No | PlainText | PlainText | Format teks konten skrip. Nilai yang valid:
|
| LineSplitSep | string | No | Empty | Pemisah untuk konten output skrip. Jika kosong, tidak dilakukan pemisahan, dan seluruh output dikembalikan sebagai satu entri data. | |
| CmdPath | string | No | Empty | /usr/bin/bash | Jalur untuk mengeksekusi perintah skrip. Jika kosong, jalur default digunakan. Jalur default adalah sebagai berikut:
|
| TimeoutMilliSeconds | int | No | 3000 | 3000 | Periode timeout untuk mengeksekusi skrip, dalam milidetik. |
| IgnoreError | bool | No | false | false | Menentukan apakah akan mengabaikan log Error ketika eksekusi plug-in gagal. Nilai default adalah false, yang berarti tidak diabaikan. |
| Environments | [string] | No | Variabel lingkungan. Default-nya adalah nilai os.Environ(). Jika Environments diatur, variabel lingkungan yang diatur ditambahkan ke os.Environ(). | ||
| IntervalMs | int | No | 5000 | 5000 | Frekuensi pemicu pengumpulan atau frekuensi eksekusi skrip, dalam milidetik. |
Plug-in pemrosesan native
Plug-in parsing ekspresi reguler native
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_parse_regex_native | Jenis plug-in. Tetapkan nilainya ke processor_parse_regex_native. |
| SourceKey | string | Yes | / | content | Nama field sumber. |
| Regex | string | Yes | / | (\d+-\d+-\d+)\s+(.*) | Ekspresi reguler. |
| Keys | [string] | Yes | / | ["time", "msg"] | Daftar field yang diekstraksi. |
| KeepingSourceWhenParseFail | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian gagal. |
| KeepingSourceWhenParseSucceed | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian berhasil. |
| RenamedSourceKey | string | No | Empty | key | Nama field untuk menyimpan field sumber ketika disimpan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing JSON native
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_parse_json_native | Jenis plug-in. Tetapkan nilainya ke processor_parse_json_native. |
| SourceKey | string | Yes | / | content | Nama field sumber. |
| KeepingSourceWhenParseFail | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian gagal. |
| KeepingSourceWhenParseSucceed | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian berhasil. |
| RenamedSourceKey | string | No | Empty | key | Nama field untuk menyimpan field sumber ketika disimpan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing pemisah native
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_parse_delimiter_native | Jenis plug-in. Tetapkan nilainya ke processor_parse_delimiter_native. |
| SourceKey | string | Yes | / | content | Nama field sumber. |
| Separator | string | Yes | / | , | Pemisah. |
| Quote | string | No | " | " | Kutipan. |
| Keys | [string] | Yes | / | ["time", "msg"] | Daftar field yang diekstraksi. |
| AllowingShortenedFields | bool | No | true | true | Menentukan apakah akan mengizinkan jumlah field yang diekstraksi kurang dari jumlah Keys. Jika tidak diizinkan, skenario ini dianggap sebagai kegagalan penguraian. |
| OverflowedFieldsTreatment | string | No | extend | extend | Perilaku ketika jumlah field yang diekstraksi lebih besar dari jumlah Keys. Nilai yang valid:
|
| KeepingSourceWhenParseFail | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian gagal. |
| KeepingSourceWhenParseSucceed | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian berhasil. |
| RenamedSourceKey | string | No | Empty | key | Nama field untuk menyimpan field sumber ketika disimpan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing Apsara native
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_parse_apsara_native | Jenis plug-in. Tetapkan nilainya ke processor_parse_apsara_native. |
| SourceKey | string | Yes | / | content | Nama field sumber. |
| Timezone | string | No | Empty | GMT+08:00 | Zona waktu waktu log. Formatnya adalah GMT+HH:MM (Timur) atau GMT-HH:MM (Barat). |
| KeepingSourceWhenParseFail | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian gagal. |
| KeepingSourceWhenParseSucceed | bool | No | false | false | Menentukan apakah akan menyimpan field sumber ketika penguraian berhasil. |
| RenamedSourceKey | string | No | Empty | key | Nama field untuk menyimpan field sumber ketika disimpan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing waktu native
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_parse_timestamp_native | Jenis plug-in. Tetapkan nilainya ke processor_parse_timestamp_native. |
| SourceKey | string | Yes | / | content | Nama field sumber. |
| SourceFormat | string | Yes | / | %Y/%m/%d %H:%M:%S | Format waktu log. Untuk informasi selengkapnya, lihat Time formats. |
| SourceTimezone | string | No | Empty | GMT+08:00 | Zona waktu waktu log. Formatnya adalah GMT+HH:MM (Timur) atau GMT-HH:MM (Barat). |
Plug-in filter native
| Parameter | Type | Required | Example | Default value | Description |
| Type | string | Yes | processor_filter_regex_native | / | Jenis plug-in. Tetapkan nilainya ke processor_filter_regex_native. |
| Include | map | Yes | / | / | Daftar putih field log, di mana kunci adalah nama field dan nilai adalah ekspresi reguler. Ini menunjukkan kondisi yang harus dipenuhi oleh konten field yang ditentukan oleh kunci agar event saat ini dikumpulkan. Hubungan antara beberapa kondisi adalah "AND". Log dikumpulkan hanya jika semua kondisi terpenuhi. |
Plug-in penyamaran data native
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_desensitize_native | Jenis plug-in. Tetapkan nilainya ke processor_desensitize_native. |
| SourceKey | string | Yes | / | content | Nama field sumber. |
| Method | string | Yes | / | const | Metode penyamaran data. Nilai yang valid: const: mengganti konten sensitif dengan konstanta. md5: mengganti konten sensitif dengan nilai MD5-nya. |
| ReplacingString | string | No, required when Method is set to const. | / | ****** | String konstan yang digunakan untuk mengganti konten sensitif. |
| ContentPatternBeforeReplacedString | string | Yes | / | 'password:' | Ekspresi reguler awalan untuk konten sensitif. |
| ReplacedContentPattern | string | Yes | / | [^']* | Ekspresi reguler untuk konten sensitif. |
| ReplacingAll | bool | No | true | true | Menentukan apakah akan mengganti semua konten sensitif yang cocok. |
Plug-in pemrosesan ekstensi
Estraksi field
Mode ekspresi reguler
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_regex | Jenis plug-in. Tetapkan nilainya ke processor_regex. |
| SourceKey | string | Yes | / | content | Nama field sumber. |
| Regex | string | Yes | / | (\d+-\d+-\d+)\s+(.*) | Ekspresi reguler. Anda perlu menggunakan tanda kurung () untuk menandai field yang akan diekstraksi. |
| Keys | [string] | Yes | / | ["ip", "time", "method"] | Menentukan nama field untuk konten yang diekstraksi, misalnya, ["ip", "time", "method"]. |
| NoKeyError | boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| NoMatchError | boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika ekspresi reguler yang Anda tentukan tidak cocok dengan nilai field sumber.
|
| KeepSource | boolean | No | false | false | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
| FullMatch | boolean | No | true | true | Menentukan apakah hanya akan mengekstraksi jika sepenuhnya cocok.
|
| KeepSourceIfParseError | boolean | true | true | false | Menentukan apakah akan menyimpan field sumber di log yang telah diurai jika penguraian gagal.
|
Mode anchor
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_anchor | Jenis plug-in. Tetapkan nilainya ke processor_anchor. |
| SourceKey | Anchor array | Yes | / | content | Nama field sumber. |
| Anchors | string | Yes | / | Daftar item anchor. | |
| Start | String | Yes | Empty | time | Kata kunci awal. Jika kosong, akan mencocokkan awal string. |
| Stop | String | Yes | Empty | \t | Kata kunci akhir. Jika kosong, akan mencocokkan akhir string. |
| FieldName | String | Yes | Empty | time | Menentukan nama field untuk konten yang diekstraksi. |
| FieldType | String | Yes | Empty | string | Jenis field. Nilai yang valid adalah string atau json. |
| ExpondJson | boolean | No | false | false | Menentukan apakah akan melakukan ekspansi JSON.
|
| ExpondConnecter | String | No | _ | _ | Konektor untuk ekspansi JSON. Nilai default adalah underscore (_). |
| MaxExpondDepth | Int | No | 0 | 0 | Kedalaman maksimum untuk ekspansi JSON. Nilai default adalah 0, yang berarti tidak ada batasan. |
| NoAnchorError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan ketika item anchor tidak ditemukan.
|
| NoKeyError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| KeepSource | Boolean | No | false | false | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
Mode CSV
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_csv | Jenis plug-in. Tetapkan nilainya ke processor_csv. |
| SourceKey | String | Yes | / | csv | Nama field sumber. |
| SplitKeys | String array | Yes | / | ["date", "ip", "content"] | Menentukan nama field untuk konten yang diekstraksi, misalnya, ["date", "ip", "content"]. Important Jika jumlah field yang akan dipisahkan kurang dari jumlah field di parameter SplitKeys, field tambahan di parameter SplitKeys diabaikan. |
| PreserveOthers | Boolean | No | false | false | Menentukan apakah akan menyimpan bagian berlebih jika jumlah field yang akan dipisahkan lebih besar dari jumlah field di parameter SplitKeys.
|
| ExpandOthers | Boolean | No | false | false | Menentukan apakah akan mengurai bagian berlebih.
|
| ExpandKeyPrefix | String | No | Awalan penamaan untuk field berlebih. Misalnya, jika dikonfigurasi sebagai expand_, nama field-nya akan menjadi expand_1, expand_2. | ||
| TrimLeadingSpace | Boolean | No | false | false | Menentukan apakah akan mengabaikan spasi awal di nilai field.
|
| SplitSep | String | No | , | , | Pemisah. Nilai default adalah koma (,). |
| KeepSource | Boolean | No | false | false | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
| NoKeyError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
Mode pemisah karakter tunggal
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_split_char | Jenis plug-in. Tetapkan nilainya ke processor_split_char. |
| SourceKey | String | Yes | Nama field sumber. | ||
| SplitSep | String | Yes | Pemisah. Harus berupa satu karakter. Dapat diatur ke karakter tak terlihat, seperti \u0001. | ||
| SplitKeys | String array | Yes | ["ip", "time", "method"] | Menentukan nama field untuk konten yang diekstraksi, misalnya, ["ip", "time", "method"]. | |
| PreserveOthers | Boolean | No | false | false | Menentukan apakah akan menyimpan bagian berlebih jika jumlah field yang akan dipisahkan lebih besar dari jumlah field di parameter SplitKeys.
|
| QuoteFlag | Boolean | No | false | false | Menentukan apakah akan menggunakan kutipan.
|
| Quote | String | No | / | \u0001 | Kutipan. Harus berupa satu karakter. Dapat berupa karakter tak terlihat, seperti \u0001. Hanya berlaku ketika QuoteFlag diatur ke true. |
| NoKeyError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| NoMatchError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika pemisah yang Anda tentukan tidak cocok dengan pemisah di log.
|
| KeepSource | Boolean | No | false | false | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
Mode pemisah multi-karakter
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_split_string | Jenis plug-in. Tetapkan nilainya ke processor_split_string. |
| SourceKey | String | Yes | Nama field sumber. | ||
| SplitSep | String | Yes | Pemisah. Harus berupa satu karakter. Dapat diatur ke karakter tak terlihat, seperti \u0001\u0002. | ||
| SplitKeys | String array | Yes | ["key1","key2"] | Menentukan nama field untuk konten yang diekstraksi, misalnya, ["key1","key2"].Note Jika jumlah field yang akan dipisahkan kurang dari jumlah field di parameter SplitKeys, field tambahan di parameter SplitKeys diabaikan. | |
| PreserveOthers | Boolean | No | false | false | Menentukan apakah akan menyimpan bagian berlebih jika jumlah field yang akan dipisahkan lebih besar dari jumlah field di parameter SplitKeys.
|
| ExpandOthers | Boolean | No | false | false | Menentukan apakah akan menggunakan kutipan.
|
| ExpandKeyPrefix | String | No | / | expand_ | Awalan penamaan untuk bagian berlebih. Misalnya, jika dikonfigurasi sebagai expand_, nama field-nya akan menjadi expand_1, expand_2. |
| NoKeyError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| NoMatchError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika pemisah yang Anda tentukan tidak cocok dengan pemisah di log.
|
| KeepSource | Boolean | No | false | false | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
Mode pasangan kunci-nilai
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_split_key_value | Jenis plug-in. Tetapkan nilainya ke processor_split_key_value. |
| SourceKey | string | Yes | Nama field sumber. | ||
| Delimiter | string | No | \t | \t | Pemisah antar pasangan kunci-nilai. Nilai default adalah karakter tab \t. |
| Separator | string | No | : | : | Pemisah antara kunci dan nilai dalam satu pasangan kunci-nilai. Nilai default adalah titik dua (:). |
| KeepSource | Boolean | No | false | false | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
| ErrIfSourceKeyNotFound | Boolean | No | true | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| DiscardWhenSeparatorNotFound | Boolean | No | false | false | Menentukan apakah akan membuang pasangan kunci-nilai jika tidak ditemukan pemisah yang cocok.
|
| ErrIfSeparatorNotFound | Boolean | No | true | false | Menentukan apakah sistem melaporkan kesalahan ketika pemisah yang ditentukan tidak ada.
|
| ErrIfKeyIsEmpty | Boolean | No | true | false | Menentukan apakah sistem melaporkan kesalahan ketika kunci setelah pemisahan kosong.
|
| Quote | String | No | Kutipan. Ketika diatur, jika nilai diapit tanda kutip, nilai di dalam tanda kutip diekstraksi. Kutipan multi-karakter didukung. Secara default, fungsi kutipan tidak diaktifkan. Important * Jika kutipan adalah tanda kutip ganda (""), Anda perlu menambahkan karakter escape, yaitu garis miring terbalik (\). Ketika garis miring terbalik (\) digunakan dengan kutipan di dalam tanda kutip, garis miring terbalik (\) dioutput sebagai bagian dari nilai. |
Mode Grok
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_grok | Jenis plug-in. Tetapkan nilainya ke processor_grok. |
| CustomPatternDir | String array | No | Direktori tempat file pola Grok kustom berada. Plug-in processor_grok membaca semua file di direktori tersebut. Jika parameter ini tidak ditambahkan, tidak ada file pola Grok kustom yang diimpor. Important Setelah memperbarui file pola Grok kustom, Anda perlu merestart Logtail agar perubahan berlaku. | ||
| CustomPatterns | Map | No | Pola GROK kustom, di mana kunci adalah nama aturan dan nilai adalah ekspresi Grok. Untuk ekspresi yang didukung secara default, lihat processor_grok. Jika ekspresi yang Anda butuhkan tidak ada di tautan tersebut, masukkan ekspresi Grok kustom di Match. Jika parameter ini tidak ditambahkan, tidak ada pola GROK kustom yang digunakan. | ||
| SourceKey | String | No | content | content | Nama field sumber. Nilai default adalah field content. |
| Match | String array | Yes | Array ekspresi Grok. Plug-in processor_grok mencocokkan log terhadap daftar ekspresi yang dikonfigurasi di sini dari atas ke bawah dan mengembalikan hasil ekstraksi yang pertama kali berhasil dicocokkan. Note Mengonfigurasi beberapa ekspresi Grok dapat memengaruhi performa. Kami merekomendasikan tidak lebih dari 5. | ||
| TimeoutMilliSeconds | Long | No | 0 | Waktu usaha maksimum untuk mengekstraksi field dengan ekspresi Grok, dalam milidetik. Jika parameter ini tidak ditambahkan atau diatur ke 0, berarti tidak ada timeout. | |
| IgnoreParseFailure | Boolean | No | true | true | Menentukan apakah akan mengabaikan log yang gagal diurai.
|
| KeepSource | Boolean | No | true | true | Menentukan apakah akan menyimpan field sumber setelah penguraian berhasil.
|
| NoKeyError | Boolean | No | false | true | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| NoMatchError | Boolean | No | true | true | Menentukan apakah sistem melaporkan kesalahan ketika tidak ada ekspresi yang diatur di parameter Match yang cocok dengan log.
|
| TimeoutError | Boolean | No | true | true | Menentukan apakah sistem melaporkan kesalahan saat terjadi timeout pencocokan.
|
Tambahkan field
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_add_fields | Jenis plug-in. Tetapkan nilainya ke processor_add_fields. |
| Fields | Map | Yes | Nama dan nilai field yang akan ditambahkan. Format pasangan kunci-nilai. Mendukung penambahan beberapa field. | ||
| IgnoreIfExist | Boolean | No | false | false | Menentukan apakah akan mengabaikan field duplikat jika field dengan nama yang sama sudah ada.
|
Buang field
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_drop | Jenis plug-in. Tetapkan nilainya ke processor_drop. |
| DropKeys | String array | Yes | Menentukan field yang akan dibuang. Bisa dikonfigurasi beberapa. |
Ganti nama field
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_rename | Jenis plug-in. Tetapkan nilainya ke processor_rename. |
| NoKeyError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log.
|
| SourceKeys | String array | Yes | Field sumber yang akan diganti namanya. | ||
| DestKeys | String array | Yes | Field setelah diganti nama. |
Paket field
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_packjson | Jenis plug-in. Tetapkan nilainya ke processor_packjson. |
| SourceKeys | String array | Yes | Field sumber yang akan dipaketkan. | ||
| DestKey | String | No | Field setelah dipaketkan. | ||
| KeepSource | Boolean | No | true | true | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
| AlarmIfIncomplete | Boolean | No | true | true | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
Ekspansi field JSON
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_json | Jenis plug-in. Tetapkan nilainya ke processor_json. |
| SourceKey | String | Yes | Nama field sumber yang akan diekspansi. | ||
| NoKeyError | Boolean | No | true | true | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| ExpandDepth | Int | No | 0 | 1 | Kedalaman ekspansi JSON. Nilai default adalah 0, yang berarti tidak ada batasan. 1 menunjukkan level saat ini, dan seterusnya. |
| ExpandConnector | String | No | _ | _ | Konektor untuk ekspansi JSON. Nilai default adalah underscore (_). |
| Prefix | String | No | Awalan yang akan ditambahkan ke nama field selama ekspansi JSON. | ||
| KeepSource | Boolean | No | true | true | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
| UseSourceKeyAsPrefix | Boolean | No | Menentukan apakah akan menggunakan nama field sumber sebagai awalan untuk semua nama field JSON yang diekspansi. | ||
| KeepSourceIfParseError | Boolean | No | true | true | Menentukan apakah akan menyimpan log sumber jika penguraian gagal.
|
| ExpandArray | Boolean | No | false | false | Menentukan apakah akan mengekspansi tipe array. Parameter ini didukung oleh Logtail 1.8.0 dan versi yang lebih baru.
|
Filter log
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_filter_regex | Jenis plug-in. Tetapkan nilainya ke processor_filter_regex. |
| Include | JSON Object | No | Kunci adalah field log, dan Nilai adalah ekspresi reguler yang harus dicocokkan oleh nilai field tersebut. Hubungan antar pasangan kunci-nilai adalah AND. Jika nilai field log cocok dengan ekspresi reguler yang sesuai, log tersebut dikumpulkan. | ||
| Exclude | JSON Object | No | Kunci adalah field log, dan Nilai adalah ekspresi reguler yang harus dicocokkan oleh nilai field tersebut. Hubungan antar pasangan kunci-nilai adalah OR. Jika nilai field apa pun dalam log cocok dengan ekspresi reguler yang sesuai, log tersebut dibuang. |
Ekstraksi waktu log
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_gotime | Jenis plug-in. Tetapkan nilainya ke processor_gotime. |
| SourceKey | String | Yes | Nama field sumber. | ||
| SourceFormat | String | Yes | Format waktu sumber. | ||
| SourceLocation | Int | Yes | Zona waktu waktu sumber. Jika nilai parameter kosong, berarti zona waktu host atau kontainer tempat Logtail berada. | ||
| DestKey | String | Yes | Field tujuan setelah penguraian. | ||
| DestFormat | String | Yes | Format waktu setelah penguraian. | ||
| DestLocation | Int | No | Zona waktu setelah penguraian. Jika nilai parameter kosong, berarti zona waktu lokal. | ||
| SetTime | Boolean | No | true | true | Menentukan apakah akan menetapkan waktu yang diurai sebagai waktu log.
|
| KeepSource | Boolean | No | true | true | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
| NoKeyError | Boolean | No | true | true | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
| AlarmIfFail | Boolean | No | true | true | Menentukan apakah sistem melaporkan kesalahan jika gagal mengekstraksi waktu log.
|
Konversi alamat IP
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_geoip | Jenis plug-in. Tetapkan nilainya ke processor_geoip. |
| SourceKey | String | Yes | Nama field sumber yang akan dikonversi untuk alamat IP. | ||
| DBPath | String | Yes | /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb | Jalur lengkap database GeoIP. Misalnya, /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb. | |
| NoKeyError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika nama field sumber yang Anda tentukan tidak ada di log mentah.
|
| NoMatchError | Boolean | No | true | true | Menentukan apakah sistem melaporkan kesalahan jika alamat IP tidak valid atau tidak ditemukan di database.
|
| KeepSource | Boolean | No | true | true | Menentukan apakah akan menyimpan field sumber di log yang telah diurai.
|
| Language | String | No | zh-CN | zh-CN | Atribut bahasa. Nilai default adalah zh-CN. Important Pastikan database GeoIP Anda berisi bahasa yang sesuai. |
Penyamaran data
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_desensitize | Jenis plug-in. Tetapkan nilainya ke processor_desensitize. |
| SourceKey | String | Yes | Nama field log. | ||
| Method | String | Yes | const | Metode penyamaran data. Nilai yang valid:
| |
| Match | String | No | full | full | Menentukan metode untuk mengekstraksi konten sensitif. Nilai yang valid:
|
| ReplaceString | String | No | String yang digunakan untuk mengganti konten sensitif. Wajib diisi ketika Method diatur ke const. | ||
| RegexBegin | String | No | Ekspresi reguler untuk mencocokkan awalan konten sensitif. Wajib diisi ketika Match diatur ke regex. | ||
| RegexContent | String | No | Ekspresi reguler untuk mencocokkan konten sensitif. Wajib diisi ketika Match diatur ke regex. |
Pemetaan nilai field
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_dict_map | Jenis plug-in. Tetapkan nilainya ke processor_dict_map. |
| SourceKey | String | Yes | Nama field sumber. | ||
| MapDict | Map | No | Kamus pemetaan. Jika kamus pemetaan kecil, Anda dapat mengaturnya langsung dengan parameter ini. Anda tidak perlu menyediakan file kamus CSV lokal. Important Saat Anda mengatur parameter DictFilePath, konfigurasi di parameter MapDict tidak berlaku. | ||
| DictFilePath | String | No | File kamus dalam format CSV. Pemisah untuk file CSV ini adalah koma (,), dan referensi field ditunjukkan dengan tanda kutip ganda ("). | ||
| DestKey | String | No | Nama field setelah pemetaan. | ||
| HandleMissing | Boolean | No | false | false | Menentukan apakah sistem memproses field target jika field tersebut tidak ada di log mentah.
|
| Missing | String | No | Unknown | Unknown | Saat memproses field target yang hilang di log mentah, mengatur nilai pengisian yang sesuai. Nilai default adalah Unknown. Parameter ini berlaku ketika HandleMissing dikonfigurasi sebagai true. |
| MaxDictSize | Int | No | 1000 | 1000 | Ukuran maksimum kamus pemetaan. Nilai default adalah 1000, yang berarti hingga 1000 aturan pemetaan dapat disimpan. Untuk membatasi penggunaan memori plug-in di server, Anda dapat mengurangi nilai ini. |
| Mode | String | No | overwrite | overwrite | Metode pemrosesan ketika field yang dipetakan sudah ada di log mentah.
|
Enkripsi field
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_encrypt | Jenis plug-in. Tetapkan nilainya ke processor_encrypt. |
| SourceKey | String array | Yes | Nama field sumber. | ||
| EncryptionParameters | Object | Yes | Konfigurasi terkait kunci. | ||
| Key | String | Yes | Menetapkan kunci. Harus terdiri dari 64 karakter heksadesimal. | ||
| IV | String | No | 00000000000000000000000000000000 | Menetapkan vektor inisial untuk enkripsi. Harus terdiri dari 32 karakter heksadesimal. Nilai default adalah 00000000000000000000000000000000. | |
| KeyFilePath | Boolean | No | Jalur file untuk membaca parameter enkripsi. Jika tidak dikonfigurasi, membaca dari Konfigurasi Logtail - Konfigurasi Input - Jalur File. | ||
| KeepSourceValueIfError | String | No | false | false | Menentukan apakah sistem menyimpan nilai field sumber jika enkripsi gagal.
ENCRYPT_ERROR. |
Ganti string
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_string_replace | Jenis plug-in. Tetapkan nilainya ke processor_string_replace. |
| SourceKey | String | Yes | Nama field sumber. | ||
| Method | String | Yes | Menentukan metode pencocokan. Nilai yang valid:
| ||
| Match | String | No | Masukkan konten yang akan dicocokkan.
| ||
| ReplaceString | String | No | String untuk penggantian. Nilai default adalah "".
| ||
| DestKey | String | No | Menentukan field baru untuk konten yang diganti. Secara default, tidak ada field baru yang ditambahkan. |
Encode dan decode data
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_base64_encoding | Jenis plug-in. Tetapkan nilainya ke processor_base64_encoding. |
| SourceKey | String | Yes | Nama field sumber. | ||
| NewKey | String | Yes | Nama field hasil setelah encoding. | ||
| NoKeyError | Boolean | No | false | false | Menentukan apakah sistem melaporkan kesalahan jika field sumber yang Anda tentukan tidak ada di log mentah.
|
Konversi log ke metrik
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_log_to_sls_metric | Jenis plug-in. Tetapkan nilainya ke processor_log_to_sls_metric. |
| MetricTimeKey | String | No | Menentukan field waktu di log, yang dipetakan ke field __time_nano__ dalam data deret waktu. Secara default, nilai field __time__ di log diekstraksi. Pastikan field yang ditentukan adalah timestamp yang valid dan diformat dengan benar. Saat ini mendukung timestamp Unix dalam satuan detik (10 digit), milidetik (13 digit), mikrodetik (16 digit), dan nanodetik (19 digit). | ||
| MetricLabelKeys | []String | Yes | Menentukan daftar Kunci untuk field __labels__. Kunci harus mengikuti ekspresi reguler ^[a-zA-Z_][a-zA-Z0-9_]*$. Nilai tidak boleh mengandung garis vertikal (|) atau #$#. Untuk informasi selengkapnya, lihat Time series data (Metric). Menambahkan field __labels__ di parameter MetricLabelKeys tidak didukung. Jika field sumber berisi field __labels__ , nilainya ditambahkan ke field __labels__ yang baru. | ||
| MetricValues | Map | Yes | Digunakan untuk menentukan nama Metrik dan nilai Metrik. Nama Metrik sesuai dengan field __name__ dan harus mengikuti ekspresi reguler ^[a-zA-Z_:][a-zA-Z0-9_:]*$. Nilai Metrik sesuai dengan field __value__ dan harus bertipe Double. Untuk informasi selengkapnya, lihat Time series data (Metric) . | ||
| CustomMetricLabels | Map | No | Field __labels__ kustom. Kunci harus mengikuti ekspresi reguler ^[a-zA-Z_][a-zA-Z0-9_]*$, dan nilai tidak boleh mengandung garis vertikal (|) atau #$#. Untuk informasi selengkapnya, lihat Time series data (Metric). | ||
| IgnoreError | Boolean | No | Menentukan apakah akan mengeluarkan log Error ketika tidak ada log yang cocok. Nilai default adalah false, yang berarti tidak ada output. |
Konversi log ke jejak
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | processor_otel_trace | Jenis plug-in. Tetapkan nilainya ke processor_otel_trace. |
| SourceKey | String | Yes | Nama field sumber. | ||
| Format | String | Yes | json | Format setelah konversi. Nilai yang valid: protobuf, json, protojson. | |
| NoKeyError | Boolean | No | false | true | Menentukan apakah akan melaporkan kesalahan ketika field sumber yang sesuai tidak ada di log. Nilai default adalah false. |
| TraceIDNeedDecode | Boolean | No | Menentukan apakah akan melakukan decoding Base64 pada TraceID. Nilai default adalah false. Ketika Format diatur ke protojson, jika TraceID telah di-encode Base64, Anda perlu mengatur TraceIDNeedDecode ke true. Jika tidak, konversi akan gagal. | ||
| SpanIDNeedDecode | Boolean | No | Menentukan apakah akan melakukan decoding Base64 pada SpanID. Nilai default adalah false. Ketika Format diatur ke protojson, jika SpanID telah di-encode Base64, Anda perlu mengatur SpanIDNeedDecode ke true. Jika tidak, konversi akan gagal. | ||
| ParentSpanIDNeedDecode | Boolean | No | Menentukan apakah akan melakukan decoding Base64 pada ParentSpanID. Nilai default adalah false. Ketika Format diatur ke protojson, jika ParentSpanID telah di-encode Base64, Anda perlu mengatur ParentSpanIDNeedDecode ke true. Jika tidak, konversi akan gagal. |
Plug-in output
Plug-in output SLS
| Parameter | Type | Required | Default value | Example | Description |
| Type | string | Yes | / | flusher_sls | Jenis plug-in. Tetapkan nilainya ke flusher_sls. |
| Logstore | stirng | Yes | / | test-logstore | Nama Logstore. |
Elemen respons
|
Element |
Type |
Description |
Example |
Tidak ada yang didefinisikan.
Contoh
Respons sukses
JSONformat
{}
Kode kesalahan
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.