Memperbarui konfigurasi pipeline Logtail.
Coba sekarang
Test
RAM authorization
|
Action |
Access level |
Resource type |
Condition key |
Dependent action |
|
log:UpdateLogtailPipelineConfig |
update |
*All Resource
|
|
None |
Sintaks permintaan
PUT /pipelineconfigs/{configName} HTTP/1.1
Path Parameters
|
Parameter |
Type |
Required |
Description |
Example |
| configName |
string |
Yes |
Nama konfigurasi pipeline Logtail. |
test-config |
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| project |
string |
Yes |
Nama project. |
test-project |
| body |
object |
No |
Konten konfigurasi pipeline Logtail. |
|
| configName |
string |
Yes |
Nama konfigurasi. Penting
Nama harus sama dengan nilai parameter configName di path request. |
test-config |
| logSample |
string |
No |
Contoh log. Mendukung banyak log. |
2022-06-14 11:13:29.796 | DEBUG | __main__: |
| global |
object |
No |
Konfigurasi global. |
|
| inputs |
array<object> |
Yes |
Daftar plug-in input. Penting
Saat ini, Anda hanya dapat mengonfigurasi satu plug-in input. |
|
|
object |
No |
Plug-in input. Catatan
Untuk parameter plug-in input file, lihat Plug-in File. Untuk parameter plug-in input lainnya, lihat Plug-in pemrosesan. |
{ "Type": "input_file", "FilePaths": ["/var/log/*.log"] } |
|
| processors |
array<object> |
No |
Daftar plug-in pemrosesan. Catatan
Plug-in pemrosesan diklasifikasikan menjadi plug-in pemrosesan native dan plug-in pemrosesan ekstensi. Untuk informasi lebih lanjut, lihat Plug-in pemrosesan. Penting
Catatan
|
|
|
object |
No |
Plug-in pemrosesan. Catatan
Untuk informasi lebih lanjut, lihat Plug-in pemrosesan. |
{ "Type": "processor_parse_json_native", "SourceKey": "content" } |
|
| aggregators |
array<object> |
No |
Daftar plug-in aggregator. Penting
Parameter ini hanya valid jika Anda menggunakan plug-in pemrosesan ekstensi. Anda dapat menggunakan maksimum satu plug-in aggregator. |
|
|
object |
No |
Plug-in aggregator. |
||
| flushers |
array<object> |
Yes |
Daftar plug-in output. Penting
Saat ini, Anda hanya dapat menambahkan satu plug-in output SLS. |
|
|
object |
No |
Plug-in output. |
{ "Type": "flusher_sls", "Logstore": "test" } |
|
| task |
object |
No |
Konfigurasi global
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| TopicType | string | Tidak | Kosong | filepath | Jenis topik. Nilai yang valid:* filepath: mengekstrak informasi dari path file log sebagai topik. Nilai ini hanya valid jika plug-in input adalah input_file. * machine_group_topic: menggunakan topik dari grup mesin tempat konfigurasi diterapkan. * custom: menggunakan topik kustom. Untuk informasi lebih lanjut, lihat Topik log. |
| TopicFormat | string | Ya, jika TopicType diatur ke filepath atau custom. | / | /var/log/(.*).log | Format topik. |
| EnableTimestampNanosecond | bool | Tidak | false | false | Menentukan apakah akan mengaktifkan presisi nanodetik untuk timestamp. |
| PipelineMetaTagKey | object | Tidak | Kosong | {"HOST_NAME":"hostname"} | Penting Parameter ini hanya didukung oleh LoongCollector 3.0.10 dan yang lebih baru. * AGENT_TAG: identifier kustom. Tag ini ditambahkan secara default. Nilai default adalah "__user_defined_id__". * HOST_ID: ID host. Tag ini tidak ditambahkan secara default. Nilai default adalah "__host_id__". * CLOUD_PROVIDER: Tag ini tidak ditambahkan secara default. Nilai default adalah "__cloud_provider__". |
Plug-in input
Plug-in input File
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | input_file | Jenis plug-in. Atur nilai ke input_file. |
| FilePaths | [string] | Ya | / | ["/var/log/*.log"] | Daftar path ke file log yang akan dikumpulkan. Saat ini hanya satu path yang diizinkan. Anda dapat menggunakan karakter wildcard tanda bintang (*) dan tanda bintang ganda () dalam path. Karakter wildcard tanda bintang ganda () hanya boleh muncul sekali dan harus digunakan sebelum nama file. |
| MaxDirSearchDepth | uint | Tidak | 0 | 0 | Kedalaman maksimum subdirektori yang dapat dicocokkan oleh karakter wildcard tanda bintang ganda () dalam path file. Parameter ini hanya valid jika karakter wildcard tanda bintang ganda () digunakan dalam path log. Nilai yang valid: 0 hingga 1000. |
| ExcludeFilePaths | [string] | Tidak | Kosong | ["/home/admin/*.log"] | Blacklist path file. Path harus berupa path absolut. Karakter wildcard tanda bintang (*) didukung. |
| ExcludeFiles | [string] | Tidak | Kosong | ["app*.log", "password"] | Blacklist nama file. Karakter wildcard tanda bintang (*) didukung. |
| ExcludeDirs | [string] | Tidak | Kosong | ["/home/admin/dir1", "/home/admin/dir2*"] | Blacklist direktori. Path harus berupa path absolut. Karakter wildcard tanda bintang (*) didukung. |
| FileEncoding | string | Tidak | utf8 | utf8 | Format encoding file. Nilai yang valid: utf8 dan gbk. |
| TailSizeKB | uint | Tidak | 1024 | 1024 | Posisi pengumpulan awal dari file yang cocok ketika konfigurasi pertama kali berlaku, diukur dari akhir file. Jika ukuran file lebih kecil dari nilai ini, pengumpulan dimulai dari awal. Nilai yang valid: 0 hingga 10485760 KB. |
| Multiline | object | Tidak | Kosong | / | Opsi agregasi multiline. |
| Multiline.Mode | string | Tidak | custom | custom | Mode agregasi multiline. Nilai yang valid: custom dan JSON. |
| Multiline.StartPattern | string | Wajib jika Multiline.Mode diatur ke custom. | Kosong | \d+-\d+-\d+.* | Ekspresi reguler untuk awal baris. |
| EnableContainerDiscovery | bool | Tidak | false | true | Menentukan apakah akan mengaktifkan penemuan container. Parameter ini hanya valid jika Logtail berjalan dalam mode DaemonSet dan path file yang dikumpulkan adalah path di dalam container. |
| ContainerFilters | object | Tidak | Kosong | / | Opsi pemfilteran container. Hubungan antara beberapa opsi adalah "AND". Parameter ini hanya valid jika EnableContainerDiscovery diatur ke true. |
| ContainerFilters.K8sNamespaceRegex | string | Tidak | Kosong | default | Untuk container yang di-deploy di environment Kubernetes, menentukan kondisi untuk namespace dari pod tempat container yang akan dikumpulkan berada. Jika Anda tidak menambahkan parameter ini, semua container dikumpulkan. Ekspresi reguler didukung. |
| ContainerFilters.K8sPodRegex | string | Tidak | Kosong | test-pod | Untuk container yang di-deploy di environment Kubernetes, menentukan kondisi untuk nama pod tempat container yang akan dikumpulkan berada. Jika Anda tidak menambahkan parameter ini, semua container dikumpulkan. Ekspresi reguler didukung. |
| ContainerFilters.IncludeK8sLabel | map | Tidak | Kosong | / | Untuk container yang di-deploy di environment Kubernetes, menentukan kondisi label untuk pod tempat container yang akan dikumpulkan berada. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua container dikumpulkan. Ekspresi reguler didukung. Key dari map adalah nama label pod, dan value adalah nilai label pod. Aturan berikut berlaku:* Jika value dalam map kosong, pod mana pun yang memiliki label dengan key yang ditentukan akan dicocokkan. * Jika value dalam map tidak kosong: - Jika value dimulai dengan ^ dan diakhiri dengan $, pod dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label cocok dengan ekspresi reguler.- Dalam kasus lain, pod dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label sama dengan value yang ditentukan. |
| ContainerFilters.ExcludeK8sLabel | map | Tidak | Kosong | / | Untuk container yang di-deploy di environment Kubernetes, menentukan kondisi label untuk pod tempat container yang akan dikecualikan dari pengumpulan berada. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua container dikumpulkan. Ekspresi reguler didukung. Key dari map adalah nama label pod, dan value adalah nilai label pod. Aturan berikut berlaku:* Jika value dalam map kosong, pod mana pun yang memiliki label dengan key yang ditentukan akan dicocokkan. * Jika value dalam map tidak kosong: - Jika value dimulai dengan ^ dan diakhiri dengan $, pod dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label cocok dengan ekspresi reguler.- Dalam kasus lain, pod dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label sama dengan value yang ditentukan. |
| ContainerFilters.K8sContainerRegex | string | Tidak | Kosong | test-container | Untuk container yang di-deploy di environment Kubernetes, menentukan kondisi untuk nama container yang akan dikumpulkan. Jika Anda tidak menambahkan parameter ini, semua container dikumpulkan. Ekspresi reguler didukung. |
| ContainerFilters.IncludeEnv | map | Tidak | Kosong | / | Menentukan kondisi variabel environment untuk container yang akan dikumpulkan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua container dikumpulkan. Ekspresi reguler didukung. Key dari map adalah nama variabel environment, dan value adalah nilai variabel environment. Aturan berikut berlaku:* Jika value dalam map kosong, container mana pun yang memiliki variabel environment dengan key yang ditentukan akan dicocokkan. * Jika value dalam map tidak kosong: - Jika value dimulai dengan ^ dan diakhiri dengan $, container dicocokkan jika memiliki variabel environment dengan key yang ditentukan dan nilai variabel cocok dengan ekspresi reguler.- Dalam kasus lain, container dicocokkan jika memiliki variabel environment dengan key yang ditentukan dan nilai variabel sama dengan value yang ditentukan. |
| ContainerFilters.ExcludeEnv | map | Tidak | Kosong | / | Menentukan kondisi variabel environment untuk container yang akan dikecualikan dari pengumpulan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, semua container dikumpulkan. Ekspresi reguler didukung. Key dari map adalah nama variabel environment, dan value adalah nilai variabel environment. Aturan berikut berlaku:* Jika value dalam map kosong, container mana pun yang memiliki variabel environment dengan key yang ditentukan akan dicocokkan. * Jika value dalam map tidak kosong: - Jika value dimulai dengan ^ dan diakhiri dengan $, container dicocokkan jika memiliki variabel environment dengan key yang ditentukan dan nilai variabel cocok dengan ekspresi reguler.- Dalam kasus lain, container dicocokkan jika memiliki variabel environment dengan key yang ditentukan dan nilai variabel sama dengan value yang ditentukan. |
| ContainerFilters.IncludeContainerLabel | map | Tidak | Kosong | / | Menentukan kondisi label untuk container yang akan dikumpulkan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, nilai default kosong, yang berarti semua container dikumpulkan. Ekspresi reguler didukung. Key dari map adalah nama label container, dan value adalah nilai label container. Aturan berikut berlaku:* Jika value dalam map kosong, container mana pun yang memiliki label dengan key yang ditentukan akan dicocokkan. * Jika value dalam map tidak kosong: - Jika value dimulai dengan ^ dan diakhiri dengan $, container dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label cocok dengan ekspresi reguler.- Dalam kasus lain, container dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label sama dengan value yang ditentukan. |
| ContainerFilters.ExcludeContainerLabel | map | Tidak | Kosong | / | Menentukan kondisi label untuk container yang akan dikecualikan dari pengumpulan. Hubungan antara beberapa kondisi adalah "OR". Jika Anda tidak menambahkan parameter ini, nilai default kosong, yang berarti semua container dikumpulkan. Ekspresi reguler didukung. Key dari map adalah nama label container, dan value adalah nilai label container. Aturan berikut berlaku:* Jika value dalam map kosong, container mana pun yang memiliki label dengan key yang ditentukan akan dicocokkan. * Jika value dalam map tidak kosong: - Jika value dimulai dengan ^ dan diakhiri dengan $, container dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label cocok dengan ekspresi reguler.- Dalam kasus lain, container dicocokkan jika memiliki label dengan key yang ditentukan dan nilai label sama dengan value yang ditentukan. |
| ExternalK8sLabelTag | map | Tidak | Kosong | / | Untuk container yang di-deploy di environment Kubernetes, menentukan tag terkait label pod yang akan ditambahkan ke log. Key dari map adalah nama label pod, dan value adalah nama tag yang sesuai. Misalnya, jika Anda menambahkan app: k8s_label_app ke map, dan sebuah pod memiliki label app=serviceA, informasi ini ditambahkan ke log sebagai tag, yang berarti field __tag__:k8s_label_app: serviceA ditambahkan. Jika pod tidak memiliki label app, field kosong __tag__:k8s_label_app: ditambahkan. |
| ExternalEnvTag | map | Tidak | Kosong | / | Untuk container yang di-deploy di environment Kubernetes, menentukan tag terkait variabel environment container yang akan ditambahkan ke log. Key dari map adalah nama variabel environment, dan value adalah nama tag yang sesuai. Misalnya, jika Anda menambahkan VERSION: env_version ke map, dan sebuah container memiliki variabel environment VERSION=v1.0.0, informasi ini ditambahkan ke log sebagai tag, yang berarti field __tag__:env_version: v1.0.0 ditambahkan. Jika container tidak memiliki variabel environment VERSION, field kosong __tag__:env_version: ditambahkan. |
| CollectingContainersMeta | bool | Tidak | false | true | Menentukan apakah akan mengaktifkan preview metadata container. |
| AppendingLogPositionMeta | bool | Tidak | false | false | Menentukan apakah akan menambahkan metadata dari file tempat log berada ke log. Metadata mencakup field tag:inode dan field file_offset. |
| AllowingIncludedByMultiConfigs | bool | Tidak | false | false | Menentukan apakah akan mengizinkan konfigurasi saat ini untuk mengumpulkan file yang telah dicocokkan oleh konfigurasi lain. |
| Tags | object | Tidak | Kosong | {"FileInodeTagKey":"inode"} | Penting Parameter ini hanya didukung oleh LoongCollector 3.0.10 dan yang lebih baru. * FilePathTagKey: path file. Tag ini ditambahkan secara default. Nilai default adalah "__path__".Parameter berikut hanya valid jika parameter EnableContainerDiscovery diatur ke true.* K8sNamespaceTagKey: namespace container tempat file berada. Tag ini ditambahkan secara default. Nilai default adalah "_namespace_". * K8sPodNameTagKey: nama pod tempat file berada. Tag ini ditambahkan secara default. Nilai default adalah "_pod_name_". * K8sPodUidTagKey: UID pod tempat file berada. Tag ini ditambahkan secara default. Nilai default adalah "_pod_uid_". * ContainerNameTagKey: nama container tempat file berada. Tag ini ditambahkan secara default. Nilai default adalah "_container_name_". * ContainerIpTagKey: alamat IP container tempat file berada. Tag ini ditambahkan secara default. Nilai default adalah "_container_ip_". * ContainerImageNameTagKey: image container tempat file berada. Tag ini ditambahkan secara default. Nilai default adalah "_image_name_". |
| FileOffsetKey | string | Tidak | Kosong | _file_offset_ | Penting Parameter ini hanya didukung oleh LoongCollector 3.0.10 dan yang lebih baru. |
Container stdout (legacy)
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | service_docker_stdout | Jenis plug-in. Atur nilai ke service_docker_stdout. |
| Stdout | Boolean | Tidak | true | true | Menentukan apakah akan mengumpulkan standard output (stdout). |
| Stderr | Boolean | Tidak | true | true | Menentukan apakah akan mengumpulkan standard error (stderr). |
| StartLogMaxOffset | Integer | Tidak | 128 × 1024 | 131072 | Panjang data historis yang akan diambil selama pengumpulan pertama, dalam byte. Kami merekomendasikan nilai antara 131072 dan 1048576. |
| IncludeLabel | Map, dengan LabelKey dan LabelValue bertipe String | Tidak | Kosong | Whitelist label container, digunakan untuk menentukan container yang akan dikumpulkan. Nilai default adalah kosong, yang berarti standard output semua container dikumpulkan. Jika Anda ingin mengatur whitelist label container, LabelKey wajib, dan LabelValue bersifat opsional. - Jika LabelValue kosong, container mana pun yang memiliki label dengan LabelKey yang ditentukan akan dicocokkan. - Jika LabelValue tidak kosong, hanya container yang memiliki label dengan LabelKey=LabelValue yang ditentukan yang akan dicocokkan. Secara default, LabelValue dicocokkan sebagai string, artinya kecocokan hanya terjadi jika LabelValue identik dengan nilai label container. Jika nilainya dimulai dengan ^ dan diakhiri dengan $, itu adalah pencocokan ekspresi reguler. Misalnya, jika Anda mengatur LabelKey ke io.kubernetes.container.name dan LabelValue ke `^(nginx | |
| ExcludeLabel | Map, dengan LabelKey dan LabelValue bertipe String | Tidak | Kosong | Blacklist label container, digunakan untuk mengecualikan container dari pengumpulan. Nilai default adalah kosong, yang berarti tidak ada container yang dikecualikan. Jika Anda ingin mengatur blacklist label container, LabelKey wajib, dan LabelValue bersifat opsional. - Jika LabelValue kosong, container mana pun yang memiliki label dengan LabelKey yang ditentukan akan dikecualikan. - Jika LabelValue tidak kosong, hanya container yang memiliki label dengan LabelKey=LabelValue yang ditentukan yang akan dikecualikan. Secara default, LabelValue dicocokkan sebagai string, artinya kecocokan hanya terjadi jika LabelValue identik dengan nilai label container. Jika nilainya dimulai dengan ^ dan diakhiri dengan $, itu adalah pencocokan ekspresi reguler. Misalnya, jika Anda mengatur LabelKey ke io.kubernetes.container.name dan LabelValue ke `^(nginx | |
| IncludeEnv | Map, dengan EnvKey dan EnvValue bertipe String | Tidak | Kosong | Whitelist variabel environment, digunakan untuk menentukan container yang akan dikumpulkan. Nilai default adalah kosong, yang berarti standard output semua container dikumpulkan. Jika Anda ingin mengatur whitelist variabel environment, EnvKey wajib, dan EnvValue bersifat opsional. - Jika EnvValue kosong, container mana pun yang memiliki variabel environment dengan EnvKey yang ditentukan akan dicocokkan. - Jika EnvValue tidak kosong, hanya container yang memiliki variabel environment dengan EnvKey=EnvValue yang ditentukan yang akan dicocokkan. Secara default, EnvValue dicocokkan sebagai string, artinya kecocokan hanya terjadi jika EnvValue identik dengan nilai variabel environment. Jika nilainya dimulai dengan ^ dan diakhiri dengan $, itu adalah pencocokan ekspresi reguler. Misalnya, jika Anda mengatur EnvKey ke NGINX_SERVICE_PORT dan EnvValue ke `^(80 | |
| ExcludeEnv | Map, dengan EnvKey dan EnvValue bertipe String | Tidak | Kosong | Blacklist variabel environment, digunakan untuk mengecualikan container dari pengumpulan. Nilai default adalah kosong, yang berarti tidak ada container yang dikecualikan. Jika Anda ingin mengatur blacklist variabel environment, EnvKey wajib, dan EnvValue bersifat opsional. - Jika EnvValue kosong, log container mana pun yang memiliki variabel environment dengan EnvKey yang ditentukan akan dikecualikan. - Jika EnvValue tidak kosong, hanya container yang memiliki variabel environment dengan EnvKey=EnvValue yang ditentukan yang akan dikecualikan. Secara default, EnvValue dicocokkan sebagai string, artinya kecocokan hanya terjadi jika EnvValue identik dengan nilai variabel environment. Jika nilainya dimulai dengan ^ dan diakhiri dengan $, itu adalah pencocokan ekspresi reguler. Misalnya, jika Anda mengatur EnvKey ke NGINX_SERVICE_PORT dan EnvValue ke `^(80 | |
| IncludeK8sLabel | Map, dengan LabelKey dan LabelValue bertipe String | Tidak | Kosong | Whitelist label Kubernetes (didefinisikan di template.metadata), digunakan untuk menentukan container yang akan dikumpulkan. Jika Anda ingin mengatur whitelist label Kubernetes, LabelKey wajib, dan LabelValue bersifat opsional. - Jika LabelValue kosong, container mana pun yang memiliki label Kubernetes dengan LabelKey yang ditentukan akan dicocokkan. - Jika LabelValue tidak kosong, hanya container yang memiliki label Kubernetes dengan LabelKey=LabelValue yang ditentukan yang akan dicocokkan. Secara default, LabelValue dicocokkan sebagai string, artinya kecocokan hanya terjadi jika LabelValue identik dengan nilai label Kubernetes. Jika nilainya dimulai dengan ^ dan diakhiri dengan $, itu adalah pencocokan ekspresi reguler. Misalnya, jika Anda mengatur LabelKey ke app dan LabelValue ke `^(test1 | |
| ExcludeK8sLabel | Map, dengan LabelKey dan LabelValue bertipe String | Tidak | Kosong | Blacklist label Kubernetes (didefinisikan di template.metadata), digunakan untuk mengecualikan container dari pengumpulan. Jika Anda ingin mengatur blacklist label Kubernetes, LabelKey wajib, dan LabelValue bersifat opsional. - Jika LabelValue kosong, container mana pun yang memiliki label Kubernetes dengan LabelKey yang ditentukan akan dikecualikan. - Jika LabelValue tidak kosong, hanya container yang memiliki label Kubernetes dengan LabelKey=LabelValue yang ditentukan yang akan dikecualikan. Secara default, LabelValue dicocokkan sebagai string, artinya kecocokan hanya terjadi jika LabelValue identik dengan nilai label Kubernetes. Jika nilainya dimulai dengan ^ dan diakhiri dengan $, itu adalah pencocokan ekspresi reguler. Misalnya, jika Anda mengatur LabelKey ke app dan LabelValue ke `^(test1 | |
| K8sNamespaceRegex | String | Tidak | Kosong | ^(default | nginx)$ |
| K8sPodRegex | String | Tidak | Kosong | ^(nginx-log-demo.*)$ | Menentukan container yang akan dikumpulkan berdasarkan nama pod. Ekspresi reguler didukung. Misalnya, jika Anda mengatur ini ke ^(nginx-log-demo.*)$, semua container di pod yang namanya dimulai dengan nginx-log-demo akan dicocokkan. |
| K8sContainerRegex | String | Tidak | Kosong | ^(container-test)$ | Menentukan container yang akan dikumpulkan berdasarkan nama container (nama container Kubernetes didefinisikan di spec.containers). Ekspresi reguler didukung. Misalnya, jika Anda mengatur ini ke ^(container-test)$, semua container bernama container-test akan dicocokkan. |
Parameter pemrosesan data
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| BeginLineRegex | String | Tidak | Kosong | Ekspresi reguler untuk mencocokkan awal baris. Jika item konfigurasi ini kosong, itu menunjukkan mode satu baris. Jika ekspresi ini cocok dengan awal sebuah baris, baris tersebut diperlakukan sebagai log baru. Jika tidak, baris ditambahkan ke log sebelumnya. | |
| BeginLineCheckLength | Integer | Tidak | Kosong | Panjang yang akan diperiksa untuk pencocokan awal baris, dalam byte. Nilai default adalah 10 × 1024 byte. Jika ekspresi reguler untuk awal baris dapat dicocokkan dalam N byte pertama, kami merekomendasikan pengaturan parameter ini untuk meningkatkan efisiensi pencocokan awal baris. | |
| BeginLineTimeoutMs | Integer | Tidak | Kosong | Periode timeout untuk pencocokan awal baris, dalam milidetik. Nilai default adalah 3000 milidetik. Jika tidak ada log baru muncul dalam 3000 milidetik, pencocokan berakhir, dan log terakhir diunggah ke Simple Log Service. | |
| MaxLogSize | Integer | Tidak | Kosong | Panjang maksimum sebuah log, dalam byte. Nilai default adalah 0. Nilai default adalah 512 × 1024 byte. Jika panjang log melebihi nilai ini, sistem berhenti mencari awal baris dan mengunggah log secara langsung. | |
| ExternalK8sLabelTag | Map, dengan LabelKey dan LabelValue bertipe String | Tidak | Kosong | Setelah mengatur tag log label Kubernetes (didefinisikan di template.metadata), iLogtail menambahkan field terkait label Kubernetes ke log. Misalnya, jika Anda mengatur LabelKey ke app dan LabelValue ke k8s_label_app, dan sebuah pod memiliki label app=serviceA, iLogtail menambahkan informasi ini ke log, yang berarti field k8s_label_app: serviceA ditambahkan. Jika pod tidak memiliki label bernama app, field kosong k8s_label_app: ditambahkan. | |
| ExternalEnvTag | Map, dengan EnvKey dan EnvValue bertipe String | Tidak | Kosong | Setelah mengatur tag log variabel environment container, iLogtail menambahkan field terkait variabel environment container ke log. Misalnya, jika Anda mengatur EnvKey ke VERSION dan EnvValue ke env_version, dan sebuah container memiliki variabel environment VERSION=v1.0.0, informasi ini ditambahkan ke log sebagai tag, yang berarti field env_version: v1.0.0 ditambahkan. Jika container tidak memiliki variabel environment bernama VERSION, field kosong env_version: ditambahkan. |
Variabel environment pemrosesan data
| Variabel environment | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| ALIYUN_LOG_ENV_TAGS | String | Tidak | Kosong | Setelah mengatur tag log variabel environment global, iLogtail menambahkan field terkait variabel environment dari container iLogtail ke log. Beberapa nama variabel environment dipisahkan oleh GARIS VERTIKAL ( |
Plug-in input MySQL
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | service_mysql | Jenis plug-in. Atur nilai ke service_mysql. |
| Address | string | Tidak | 127.0.0.1:3306 | rm-*.mysql.rds.aliyuncs.com | Alamat MySQL. |
| User | string | Tidak | root | root | Username untuk login ke database MySQL. |
| Password | string | Tidak | Kosong | Password untuk pengguna login ke database MySQL. Jika Anda memiliki persyaratan keamanan yang tinggi, atur username dan password ke xxx. Setelah konfigurasi pengumpulan disinkronkan ke mesin Anda, temukan konfigurasi di file /usr/local/ilogtail/user_log_config.json dan modifikasi. Untuk informasi lebih lanjut, lihat Memodifikasi konfigurasi lokal.Penting Jika Anda memodifikasi parameter ini di konsol, konfigurasi lokal akan ditimpa setelah sinkronisasi. | |
| DataBase | string | Tidak | / | project_database | Nama database. |
| DialTimeOutMs | int | Tidak | 5000 | 5000 | Periode timeout untuk koneksi ke database MySQL, dalam ms. |
| ReadTimeOutMs | int | Tidak | 5000 | 5000 | Periode timeout untuk membaca hasil query MySQL, dalam ms. |
| StateMent | string | Tidak | / | Pernyataan SELECT. Jika CheckPoint diatur ke true, kondisi WHERE dalam pernyataan SELECT harus mencakup kolom checkpoint (CheckPointColumn). Anda dapat menggunakan tanda tanya (?) sebagai placeholder yang bekerja dengan kolom checkpoint. Misalnya, atur CheckPointColumn ke id, CheckPointStart ke 0, dan StateMent ke SELECT * from ... where id > ?. Setelah setiap pengumpulan, sistem menyimpan ID entri data terakhir sebagai checkpoint. Pada pengumpulan berikutnya, tanda tanya (?) dalam pernyataan query digantikan dengan ID yang sesuai dengan checkpoint tersebut. | |
| Limit | bool | Tidak | false | true | Menentukan apakah akan menggunakan LIMIT untuk paging.* true: Gunakan LIMIT. * false (default): Jangan gunakan LIMIT.Kami merekomendasikan penggunaan LIMIT untuk paging. Jika Limit diatur ke true, sistem secara otomatis menambahkan klausa LIMIT ke pernyataan SELECT selama query SQL. |
| PageSize | int | Tidak | / | 10 | Ukuran halaman. Ini harus dikonfigurasi jika Limit diatur ke true. |
| MaxSyncSize | int | Tidak | 0 | 0 | Jumlah maksimum record yang akan disinkronkan dalam satu waktu. Nilai default adalah 0, yang berarti tidak ada batasan. |
| CheckPoint | bool | Tidak | false | true | Menentukan apakah akan menggunakan checkpoint.* true: Gunakan checkpoint. * false (default): Jangan gunakan checkpoint.Checkpoint dapat digunakan sebagai titik awal untuk pengumpulan data berikutnya untuk mengimplementasikan pengumpulan data inkremental. |
| CheckPointColumn | string | Tidak | Kosong | 1 | Nama kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. Peringatan Nilai dalam kolom ini harus inkremental. Jika tidak, data mungkin hilang. Nilai maksimum dalam setiap hasil query digunakan sebagai input untuk query berikutnya. |
| CheckPointColumnType | string | Tidak | Kosong | int | Tipe data kolom checkpoint. Tipe yang didukung adalah int dan time. Penyimpanan internal untuk tipe int adalah int64. Tipe time mendukung tipe date, datetime, dan time MySQL. Ini harus dikonfigurasi jika CheckPoint diatur ke true. |
| CheckPointStart | string | Tidak | Kosong | Nilai awal kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. | |
| CheckPointSavePerPage | bool | Tidak | true | true | Menentukan apakah akan menyimpan checkpoint untuk setiap halaman.* true (default): Simpan checkpoint untuk setiap halaman. * false: Simpan checkpoint setelah setiap sinkronisasi selesai. |
| IntervalMs | int | Tidak | 60000 | 60000 | Interval sinkronisasi. Nilai default adalah 60000, dalam ms. |
Plug-in input HTTP
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | metric_http | Jenis plug-in. Atur nilai ke metric_http. |
| Address | string | Ya | / | Daftar URL. Penting Harus dimulai dengan http atau https. | |
| IntervalMs | int | Ya | / | 10 | Interval untuk setiap request, dalam ms. |
| Method | string | Tidak | GET | GET | Nama metode request. Harus dalam huruf kapital. |
| Body | string | Tidak | Kosong | Konten field HTTP Body. | |
| Headers | map | Tidak | Kosong | {"key":"value"} | Konten HTTP Header, misalnya, {"key":"value"}. Ganti dengan nilai yang sebenarnya. |
| PerAddressSleepMs | int | Tidak | 100 | 100 | Interval antara request untuk setiap URL dalam daftar Addresses, dalam ms. |
| ResponseTimeoutMs | int | Tidak | 5000 | 5000 | Periode timeout request, dalam ms. |
| IncludeBody | bool | Tidak | false | true | Menentukan apakah akan mengumpulkan Body request. Nilai default adalah false. Jika diatur ke true, konten Body request disimpan dalam key bernama content. |
| FollowRedirects | bool | Tidak | false | false | Menentukan apakah akan menangani redireksi secara otomatis. |
| InsecureSkipVerify | bool | Tidak | false | false | Menentukan apakah akan melewatkan pemeriksaan keamanan HTTPS. |
| ResponseStringMatch | string | Tidak | / | Melakukan pemeriksaan ekspresi reguler pada konten Body yang dikembalikan. Hasil pemeriksaan disimpan dalam key bernama response_match. Jika cocok, nilainya yes. Jika tidak cocok, nilainya no. |
Plug-in input Syslog
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | service_syslog | Jenis plug-in. Atur nilai ke service_syslog. |
| Address | string | Tidak | tcp://127.0.0.1:9999 | Menentukan protokol, alamat, dan port untuk Logtail mendengarkan. Logtail mendengarkan dan memperoleh data log berdasarkan konfigurasi Logtail. Formatnya adalah [tcp/udp]://[ ip ]:[ port ]. Jika tidak dikonfigurasi, defaultnya adalah tcp://127.0.0.1:9999, yang berarti hanya dapat menerima log yang diteruskan secara lokal. Catatan* Protokol, alamat, dan nomor port pendengar yang diatur dalam konfigurasi Logtail harus sama dengan aturan penerusan yang diatur dalam file konfigurasi rsyslog.* Jika server tempat Logtail diinstal memiliki beberapa alamat IP yang dapat menerima log, Anda dapat mengatur alamat ke 0.0.0.0 untuk mendengarkan semua alamat IP server. | |
| ParseProtocol | string | Tidak | Kosong | rfc3164 | Menentukan protokol yang digunakan untuk mem-parse log. Default-nya adalah kosong, yang berarti tidak ada parsing. Opsinya adalah:* Kosong: Tidak ada parsing. * rfc3164: Menentukan penggunaan protokol RFC3164 untuk mem-parse log. * rfc5424: Menentukan penggunaan protokol RFC5424 untuk mem-parse log. auto: Menentukan bahwa Logtail secara otomatis memilih protokol parsing yang sesuai berdasarkan konten log. |
| IgnoreParseFailure | bool | Tidak | true | true | Menentukan tindakan yang akan diambil setelah kegagalan parsing. Jika tidak dikonfigurasi, default-nya adalah true, yang berarti parsing ditinggalkan, dan konten field yang dikembalikan diisi secara langsung. Jika diatur ke false, log dibuang ketika parsing gagal. |
Plug-in input Systemd Journal
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | service_journal | Jenis plug-in. Atur nilai ke service_journal. |
| JournalPaths | [string] | Ya | Kosong | /var/log/journal | Path log Journal. Kami merekomendasikan mengonfigurasi ini sebagai direktori tempat log Journal berada. |
| SeekPosition | string | Tidak | tail | tail | Metode pengumpulan awal. Dapat diatur ke head atau tail.* head berarti mengumpulkan semua data. * tail berarti hanya mengumpulkan data baru setelah konfigurasi pengumpulan Logtail diterapkan. |
| Kernel | bool | Tidak | true | true | Menentukan apakah akan mengumpulkan log kernel. |
| Units | [string] | Tidak | Kosong | "" | Daftar Unit yang akan dikumpulkan. Default-nya adalah kosong, yang berarti semua dikumpulkan. |
| ParseSyslogFacility | bool | Tidak | false | false | Menentukan apakah akan mem-parse field facility dari log syslog. Jika tidak dikonfigurasi, tidak di-parse. |
| ParsePriority | bool | Tidak | false | false | Menentukan apakah akan mem-parse field Priority. Jika tidak dikonfigurasi, tidak di-parse. Jika diatur ke true, hubungan pemetaan untuk field Priority adalah sebagai berikut. "0": "emergency" "1": "alert" "2": "critical" "3": "error" "4": "warning" "5": "notice" "6": "informational" "7": "debug" |
| UseJournalEventTime | bool | Tidak | false | false | Menentukan apakah akan menggunakan field dari log Journal sebagai waktu log. Jika tidak dikonfigurasi, waktu pengumpulan digunakan sebagai waktu log. Pengumpulan log real-time biasanya memiliki perbedaan kurang dari 3 detik. |
Plug-in input SQL Server
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | service_mssql | Jenis plug-in. Atur nilai ke service_mssql. |
| Address | string | Tidak | 127.0.0.1:1433 | rm-*.sqlserver.rds.aliyuncs.com | Alamat SQL Server. |
| User | string | Tidak | root | root | Nama akun untuk login ke database SQL Server. |
| Password | string | Tidak | Kosong | Password untuk akun login ke database SQL Server. Jika Anda memiliki persyaratan keamanan yang tinggi, atur username dan password ke xxx. Setelah konfigurasi pengumpulan disinkronkan ke mesin Anda, temukan konfigurasi di file /usr/local/ilogtail/user_log_config.json dan modifikasi. Untuk informasi lebih lanjut, lihat Memodifikasi konfigurasi lokal.Penting Jika Anda memodifikasi parameter ini di konsol, konfigurasi lokal akan ditimpa setelah sinkronisasi. | |
| DataBase | string | Tidak | / | project_database | Nama database. |
| DialTimeOutMs | int | Tidak | 5000 | 5000 | Periode timeout untuk koneksi ke database SQL Server, dalam ms. |
| ReadTimeOutMs | int | Tidak | 5000 | 5000 | Periode timeout untuk membaca hasil query SQL Server, dalam ms. |
| StateMent | string | Tidak | / | Pernyataan SELECT. Jika CheckPoint diatur ke true, kondisi WHERE dalam pernyataan SELECT harus mencakup kolom checkpoint (CheckPointColumn). Anda dapat menggunakan tanda tanya (?) sebagai placeholder yang bekerja dengan kolom checkpoint. Misalnya, atur CheckPointColumn ke id, CheckPointStart ke 0, dan StateMent ke SELECT * from ... where id > ?. Setelah setiap pengumpulan, sistem menyimpan ID entri data terakhir sebagai checkpoint. Pada pengumpulan berikutnya, tanda tanya (?) dalam pernyataan query digantikan dengan ID yang sesuai dengan checkpoint tersebut. | |
| Limit | bool | Tidak | false | true | Menentukan apakah akan menggunakan LIMIT untuk paging.* true: Gunakan LIMIT. * false (default): Jangan gunakan LIMIT.Kami merekomendasikan penggunaan LIMIT untuk paging. Jika Limit diatur ke true, sistem secara otomatis menambahkan klausa LIMIT ke pernyataan SELECT selama query SQL. |
| PageSize | int | Tidak | / | 10 | Ukuran halaman. Ini harus dikonfigurasi jika Limit diatur ke true. |
| MaxSyncSize | int | Tidak | 0 | 0 | Jumlah maksimum record yang akan disinkronkan dalam satu waktu. Nilai default adalah 0, yang berarti tidak ada batasan. |
| CheckPoint | bool | Tidak | false | true | Menentukan apakah akan menggunakan checkpoint.* true: Gunakan checkpoint. * false (default): Jangan gunakan checkpoint.Checkpoint dapat digunakan sebagai titik awal untuk pengumpulan data berikutnya untuk mengimplementasikan pengumpulan data inkremental. |
| CheckPointColumn | string | Tidak | Kosong | 1 | Nama kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. Peringatan Nilai dalam kolom ini harus inkremental. Jika tidak, data mungkin hilang. Nilai maksimum dalam setiap hasil query digunakan sebagai input untuk query berikutnya. |
| CheckPointColumnType | string | Tidak | Kosong | int | Tipe data kolom checkpoint. Tipe yang didukung adalah int dan time. Penyimpanan internal untuk tipe int adalah int64. Tipe time mendukung tipe date, datetime, dan time SQL Server. Ini harus dikonfigurasi jika CheckPoint diatur ke true. |
| CheckPointStart | string | Tidak | Kosong | Nilai awal kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. | |
| CheckPointSavePerPage | bool | Tidak | true | true | Menentukan apakah akan menyimpan checkpoint untuk setiap halaman.* true (default): Simpan checkpoint untuk setiap halaman. * false: Simpan checkpoint setelah setiap sinkronisasi selesai. |
| IntervalMs | int | Tidak | 60000 | 60000 | Interval sinkronisasi. Nilai default adalah 60000, dalam ms. |
Plug-in input PostgreSQL
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | service_pgsql | Jenis plug-in. Atur nilai ke service_pgsql. |
| Address | string | Tidak | 127.0.0.1:5432 | rm-*.pg.rds.aliyuncs.com | Alamat PostgreSQL. |
| User | string | Tidak | root | root | Nama akun untuk login ke database PostgreSQL. |
| Password | string | Tidak | Kosong | Password untuk akun login ke database PostgreSQL. Jika Anda memiliki persyaratan keamanan yang tinggi, atur username dan password ke xxx. Setelah konfigurasi pengumpulan disinkronkan ke mesin Anda, temukan konfigurasi di file /usr/local/ilogtail/user_log_config.json dan modifikasi. Untuk informasi lebih lanjut, lihat Memodifikasi konfigurasi lokal.Penting Jika Anda memodifikasi parameter ini di konsol, konfigurasi lokal akan ditimpa setelah sinkronisasi. | |
| DataBase | string | Tidak | / | project_database | Nama database PostgreSQL. |
| DialTimeOutMs | int | Tidak | 5000 | 5000 | Periode timeout untuk koneksi ke database PostgreSQL, dalam ms. |
| ReadTimeOutMs | int | Tidak | 5000 | 5000 | Periode timeout untuk membaca hasil query PostgreSQL, dalam ms. |
| StateMent | string | Tidak | / | Pernyataan SELECT. Jika CheckPoint diatur ke true, kondisi WHERE dalam pernyataan SELECT StateMent harus mencakup kolom checkpoint (parameter CheckPointColumn), dan nilainya harus diatur ke $1. Misalnya, atur CheckPointColumn ke id dan StateMent ke SELECT * from ... where id > $1 | |
| Limit | bool | Tidak | false | true | Menentukan apakah akan menggunakan LIMIT untuk paging.* true: Gunakan LIMIT. * false (default): Jangan gunakan LIMIT.Kami merekomendasikan penggunaan LIMIT untuk paging. Jika Limit diatur ke true, sistem secara otomatis menambahkan klausa LIMIT ke pernyataan SELECT selama query SQL. |
| PageSize | int | Tidak | / | 10 | Ukuran halaman. Ini harus dikonfigurasi jika Limit diatur ke true. |
| MaxSyncSize | int | Tidak | 0 | 0 | Jumlah maksimum record yang akan disinkronkan dalam satu waktu. Nilai default adalah 0, yang berarti tidak ada batasan. |
| CheckPoint | bool | Tidak | false | true | Menentukan apakah akan menggunakan checkpoint.* true: Gunakan checkpoint. * false (default): Jangan gunakan checkpoint.Checkpoint dapat digunakan sebagai titik awal untuk pengumpulan data berikutnya untuk mengimplementasikan pengumpulan data inkremental. |
| CheckPointColumn | string | Tidak | Kosong | 1 | Nama kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. Peringatan Nilai dalam kolom ini harus inkremental. Jika tidak, data mungkin hilang. Nilai maksimum dalam setiap hasil query digunakan sebagai input untuk query berikutnya. |
| CheckPointColumnType | string | Tidak | Kosong | int | Tipe data kolom checkpoint. Tipe yang didukung adalah int dan time. Penyimpanan internal untuk tipe int adalah int64. Tipe time mendukung tipe time PostgreSQL. Ini harus dikonfigurasi jika CheckPoint diatur ke true. |
| CheckPointStart | string | Tidak | Kosong | Nilai awal kolom checkpoint. Ini harus dikonfigurasi jika CheckPoint diatur ke true. | |
| CheckPointSavePerPage | bool | Tidak | true | true | Menentukan apakah akan menyimpan checkpoint untuk setiap halaman.* true (default): Simpan checkpoint untuk setiap halaman. * false: Simpan checkpoint setelah setiap sinkronisasi selesai. |
| IntervalMs | int | Tidak | 60000 | 60000 | Interval sinkronisasi. Nilai default adalah 60000, dalam ms. |
Plug-in input SNMP
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Targets | [string] | Ya | / | 127.0.0.1 | Alamat IP grup mesin target. |
| Port | string | Tidak | 161 | 161 | Port yang digunakan oleh protokol SNMP. |
| Community | string | Tidak | public | public | Nama community. SNMPv1 dan SNMPv2 menggunakan nama community untuk autentikasi. |
| UserName | string | Tidak | Kosong | root | Username. SNMPv3 mendukung autentikasi menggunakan username. |
| AuthenticationProtocol | string | Tidak | NoAuth | NoAuth | Protokol autentikasi. SNMPv3 mendukung autentikasi menggunakan protokol autentikasi. |
| AuthenticationPassphrase | string | Tidak | Kosong | Password autentikasi. Nilai default adalah kosong. Jika Anda mengatur AuthenticationProtocol ke MD5 atau SHA, Anda perlu mengatur AuthenticationPassphrase. | |
| PrivacyProtocol | string | Tidak | NoPriv | NoPriv | Protokol privasi. SNMPv3 mendukung autentikasi menggunakan protokol privasi. |
| PrivacyPassphrase | string | Tidak | Kosong | Password protokol privasi. Secara default, sama dengan password autentikasi. Jika Anda mengatur PrivacyProtocol ke DES atau AES, Anda harus mengatur PrivacyPassphrase. | |
| Timeout | int | Tidak | 5 | 5 | Periode timeout untuk satu operasi query, dalam detik. |
| Version | int | Tidak | 2 | 2 | Versi protokol SNMP. Nilai yang valid adalah 1, 2, dan 3. |
| Transport | string | Tidak | udp | udp | Metode komunikasi SNMP. Nilai yang valid adalah udp dan tcp. |
| MaxRepetitions | int | Tidak | 0 | 0 | Jumlah percobaan ulang setelah timeout query. |
| Oids | [string] | Tidak | Kosong | 1 | Object identifier yang akan di-query di mesin target. |
| Fields | [string] | Tidak | Kosong | int | Field yang akan di-query di mesin target. Plug-in ini terlebih dahulu menerjemahkan field dengan mencarinya di Management Information Base (MIB) lokal, menerjemahkannya menjadi object identifier, dan meng-query-nya bersama-sama. |
| Tables | [string] | Tidak | Kosong | Tabel yang akan di-query di mesin target. Plug-in ini terlebih dahulu meng-query semua field dalam tabel, kemudian mencarinya di Management Information Base (MIB) lokal, menerjemahkannya menjadi object identifier, dan meng-query-nya bersama-sama. |
Plug-in output Script
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | input_command | Jenis plug-in. Atur nilai ke input_command. |
| ScriptType | string | Ya | Kosong | shell | Menentukan jenis konten script. Saat ini mendukung bash, shell, python2, dan python3. |
| User | string | Ya | / | public | Username yang digunakan untuk menjalankan perintah. Hanya pengguna non-root yang didukung. Catatan * Pastikan username yang ditentukan ada di mesin. Kami merekomendasikan konfigurasi privilege paling sedikit, memberikan izin rwx hanya ke direktori atau file yang diperlukan. |
| ScriptContent | string | Ya | Kosong | Konten script. Mendukung konten PlainText dan terenkripsi Base64, dengan panjang dalam 512*1024 byte. | |
| ContentEncoding | string | Tidak | PlainText | PlainText | Format teks dari konten script. Nilai yang valid:* PlainText (default): Plain text, tidak di-encode. * Base64: Encoding Base64. |
| LineSplitSep | string | Tidak | Kosong | Separator untuk konten output script. Jika kosong, tidak ada pemisahan yang dilakukan, dan seluruh output dikembalikan sebagai satu entri data. | |
| CmdPath | string | Tidak | Kosong | /usr/bin/bash | Path untuk menjalankan perintah script. Jika kosong, path default digunakan. Path default adalah sebagai berikut:* bash: /usr/bin/bash * shell: /usr/bin/sh * python2: /usr/bin/python2 * python3: /usr/bin/python3 |
| TimeoutMilliSeconds | int | Tidak | 3000 | 3000 | Periode timeout untuk mengeksekusi script, dalam milidetik. |
| IgnoreError | bool | Tidak | false | false | Menentukan apakah akan mengabaikan log Error ketika eksekusi plug-in gagal. Nilai default adalah false, yang berarti tidak diabaikan. |
| Environments | [string] | Tidak | Variabel environment. Default-nya adalah nilai dari os.Environ(). Jika Environments diatur, variabel environment yang ditetapkan ditambahkan ke os.Environ(). | ||
| IntervalMs | int | Tidak | 5000 | 5000 | Frekuensi pemicu pengumpulan atau frekuensi eksekusi script, dalam milidetik. |
Plug-in pemrosesan native
Plug-in parsing ekspresi reguler native
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_parse_regex_native | Jenis plug-in. Atur nilai ke processor_parse_regex_native. |
| SourceKey | string | Ya | / | content | Nama field sumber. |
| Regex | string | Ya | / | (\d+-\d+-\d+)\s+(.*) | Ekspresi reguler. |
| Keys | [string] | Ya | / | ["time", "msg"] | Daftar field yang diekstrak. |
| KeepingSourceWhenParseFail | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing gagal. |
| KeepingSourceWhenParseSucceed | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing berhasil. |
| RenamedSourceKey | string | Tidak | Kosong | key | Nama field untuk menyimpan field sumber ketika dipertahankan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing JSON native
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_parse_json_native | Jenis plug-in. Atur nilai ke processor_parse_json_native. |
| SourceKey | string | Ya | / | content | Nama field sumber. |
| KeepingSourceWhenParseFail | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing gagal. |
| KeepingSourceWhenParseSucceed | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing berhasil. |
| RenamedSourceKey | string | Tidak | Kosong | key | Nama field untuk menyimpan field sumber ketika dipertahankan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing separator native
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_parse_delimiter_native | Jenis plug-in. Atur nilai ke processor_parse_delimiter_native. |
| SourceKey | string | Ya | / | content | Nama field sumber. |
| Separator | string | Ya | / | , | Separator. |
| Quote | string | Tidak | " | " | Quote. |
| Keys | [string] | Ya | / | ["time", "msg"] | Daftar field yang diekstrak. |
| AllowingShortenedFields | bool | Tidak | true | true | Menentukan apakah akan mengizinkan jumlah field yang diekstrak kurang dari jumlah Keys. Jika tidak diizinkan, skenario ini diperlakukan sebagai kegagalan parsing. |
| OverflowedFieldsTreatment | string | Tidak | extend | extend | Perilaku ketika jumlah field yang diekstrak lebih besar dari jumlah Keys. Nilai yang valid:* extend: Mempertahankan field tambahan, dan setiap field tambahan ditambahkan ke log sebagai field terpisah. Nama field untuk field tambahan adalah __column$i__, di mana $i mewakili nomor urut field tambahan, dimulai dari 0. * keep: Mempertahankan field tambahan, tetapi menambahkan konten tambahan sebagai field tunggal ke log. Nama field adalah __column0__. * discard: Membuang field tambahan. |
| KeepingSourceWhenParseFail | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing gagal. |
| KeepingSourceWhenParseSucceed | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing berhasil. |
| RenamedSourceKey | string | Tidak | Kosong | key | Nama field untuk menyimpan field sumber ketika dipertahankan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing Apsara native
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_parse_apsara_native | Jenis plug-in. Atur nilai ke processor_parse_apsara_native. |
| SourceKey | string | Ya | / | content | Nama field sumber. |
| Timezone | string | Tidak | Kosong | GMT+08:00 | Zona waktu dari waktu log. Format-nya adalah GMT+HH:MM (Timur) atau GMT-HH:MM (Barat). |
| KeepingSourceWhenParseFail | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing gagal. |
| KeepingSourceWhenParseSucceed | bool | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber ketika parsing berhasil. |
| RenamedSourceKey | string | Tidak | Kosong | key | Nama field untuk menyimpan field sumber ketika dipertahankan. Jika tidak diisi, nama tidak diubah secara default. |
Plug-in parsing waktu native
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_parse_timestamp_native | Jenis plug-in. Atur nilai ke processor_parse_timestamp_native. |
| SourceKey | string | Ya | / | content | Nama field sumber. |
| SourceFormat | string | Ya | / | %Y/%m/%d %H:%M:%S | Format waktu log. Untuk informasi lebih lanjut, lihat Format waktu. |
| SourceTimezone | string | Tidak | Kosong | GMT+08:00 | Zona waktu dari waktu log. Format-nya adalah GMT+HH:MM (Timur) atau GMT-HH:MM (Barat). |
Plug-in filter native
| Parameter | Tipe | Wajib | Contoh | Nilai default | Deskripsi |
| Type | string | Ya | processor_filter_regex_native | / | Jenis plug-in. Atur nilai ke processor_filter_regex_native. |
| Include | map | Ya | / | / | Whitelist field log, di mana key adalah nama field dan value adalah ekspresi reguler. Ini menunjukkan kondisi yang harus dipenuhi oleh konten field yang ditentukan oleh key agar event saat ini dikumpulkan. Hubungan antara beberapa kondisi adalah "AND". Log dikumpulkan hanya ketika semua kondisi terpenuhi. |
Plug-in masking data native
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_desensitize_native | Jenis plug-in. Atur nilai ke processor_desensitize_native. |
| SourceKey | string | Ya | / | content | Nama field sumber. |
| Method | string | Ya | / | const | Metode masking data. Nilai yang valid: const: mengganti konten sensitif dengan konstanta. md5: mengganti konten sensitif dengan nilai MD5-nya. |
| ReplacingString | string | Tidak, wajib jika Method diatur ke const. | / | ****** | String konstanta yang digunakan untuk mengganti konten sensitif. |
| ContentPatternBeforeReplacedString | string | Ya | / | 'password:' | Ekspresi reguler prefiks untuk konten sensitif. |
| ReplacedContentPattern | string | Ya | / | [^']* | Ekspresi reguler untuk konten sensitif. |
| ReplacingAll | bool | Tidak | true | true | Menentukan apakah akan mengganti semua konten sensitif yang cocok. |
Plug-in pemrosesan ekstensi
Ekstrak field
Mode ekspresi reguler
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_regex | Jenis plug-in. Atur nilai ke processor_regex. |
| SourceKey | string | Ya | / | content | Nama field sumber. |
| Regex | string | Ya | / | (\d+-\d+-\d+)\s+(.*) | Ekspresi reguler. Anda perlu menggunakan tanda kurung () untuk menandai field yang akan diekstrak. |
| Keys | [string] | Ya | / | ["ip", "time", "method"] | Menentukan nama field untuk konten yang diekstrak, misalnya, ["ip", "time", "method"]. |
| NoKeyError | boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
| NoMatchError | boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika ekspresi reguler yang Anda tentukan tidak cocok dengan nilai field sumber.* true: Laporkan error. * false (default): Jangan laporkan error. |
| KeepSource | boolean | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true: Pertahankan. * false (default): Jangan pertahankan. |
| FullMatch | boolean | Tidak | true | true | Menentukan apakah hanya akan mengekstrak ketika sepenuhnya cocok.* true (default): Nilai field hanya diekstrak jika semua field yang Anda atur dalam parameter Keys dapat dicocokkan dengan nilai field sumber melalui ekspresi reguler dalam parameter Regex. * false: Pencocokan parsial juga diekstrak. |
| KeepSourceIfParseError | boolean | true | true | false | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse jika parsing gagal.* true: Pertahankan. * false (default): Jangan pertahankan. |
Mode anchor
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_anchor | Jenis plug-in. Atur nilai ke processor_anchor. |
| SourceKey | Array anchor | Ya | / | content | Nama field sumber. |
| Anchors | string | Ya | / | Daftar item anchor. | |
| Start | String | Ya | Kosong | time | Kata kunci awal. Jika kosong, ini cocok dengan awal string. |
| Stop | String | Ya | Kosong | \t | Kata kunci akhir. Jika kosong, ini cocok dengan akhir string. |
| FieldName | String | Ya | Kosong | time | Menentukan nama field untuk konten yang diekstrak. |
| FieldType | String | Ya | Kosong | string | Tipe field. Nilai yang valid adalah string atau json. |
| ExpondJson | boolean | Tidak | false | false | Menentukan apakah akan melakukan ekspansi JSON.* true: Perluas. * false (default): Jangan perluas. |
| ExpondConnecter | String | Tidak | _ | _ | Konektor untuk ekspansi JSON. Nilai default adalah garis bawah (_). |
| MaxExpondDepth | Int | Tidak | 0 | 0 | Kedalaman maksimum untuk ekspansi JSON. Nilai default adalah 0, yang berarti tidak ada batasan. |
| NoAnchorError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error ketika item anchor tidak dapat ditemukan.* true: Laporkan error. * false (default): Jangan laporkan error. |
| NoKeyError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
| KeepSource | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true: Laporkan error. * false (default): Jangan laporkan error. |
Mode CSV
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_csv | Jenis plug-in. Atur nilai ke processor_csv. |
| SourceKey | String | Ya | / | csv | Nama field sumber. |
| SplitKeys | Array string | Ya | / | ["date", "ip", "content"] | Menentukan nama field untuk konten yang diekstrak, misalnya, ["date", "ip", "content"]. Penting Jika jumlah field yang akan dipisahkan kurang dari jumlah field dalam parameter SplitKeys, field tambahan dalam parameter SplitKeys akan diabaikan. |
| PreserveOthers | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan bagian berlebih jika jumlah field yang akan dipisahkan lebih besar dari jumlah field dalam parameter SplitKeys.* true: Pertahankan. * false (default): Jangan pertahankan. |
| ExpandOthers | Boolean | Tidak | false | false | Menentukan apakah akan mem-parse bagian berlebih.* true: Parse. Anda dapat mem-parse bagian berlebih melalui parameter ExpandOthers dan kemudian menentukan prefiks penamaan untuk field tambahan melalui parameter ExpandKeyPrefix. * * false (default): Jangan parse. Jika Anda mengatur PreserveOthers ke true dan ExpandOthers ke false, konten bagian berlebih disimpan dalam field _decode_preserve_.Catatan Jika konten field tambahan berisi konten non-standar, Anda perlu menormalkannya sesuai format CSV sebelum menyimpannya. |
| ExpandKeyPrefix | String | Tidak | Prefiks penamaan untuk field tambahan. Misalnya, jika dikonfigurasi sebagai expand_, nama field akan menjadi expand_1, expand_2. | ||
| TrimLeadingSpace | Boolean | Tidak | false | false | Menentukan apakah akan mengabaikan spasi di awal nilai field.* true: Abaikan. * false (default): Jangan abaikan. |
| SplitSep | String | Tidak | , | , | Separator. Nilai default adalah koma (,). |
| KeepSource | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true: Pertahankan. * false (default): Jangan pertahankan. |
| NoKeyError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
Mode separator karakter tunggal
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_split_char | Jenis plug-in. Atur nilai ke processor_split_char. |
| SourceKey | String | Ya | Nama field sumber. | ||
| SplitSep | String | Ya | Separator. Harus berupa karakter tunggal. Dapat diatur ke karakter tidak terlihat, seperti . | ||
| SplitKeys | Array string | Ya | ["ip", "time", "method"] | Menentukan nama field untuk konten yang diekstrak, misalnya, ["ip", "time", "method"]. | |
| PreserveOthers | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan bagian berlebih jika jumlah field yang akan dipisahkan lebih besar dari jumlah field dalam parameter SplitKeys.* true: Pertahankan. * false (default): Jangan pertahankan. |
| QuoteFlag | Boolean | Tidak | false | false | Menentukan apakah akan menggunakan quote.* true: Gunakan. * false (default): Jangan gunakan. |
| Quote | String | Tidak | / | Quote. Harus berupa karakter tunggal. Dapat berupa karakter tidak terlihat, seperti . Hanya valid jika QuoteFlag diatur ke true. | |
| NoKeyError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
| NoMatchError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika separator yang Anda tentukan tidak cocok dengan separator dalam log.* true: Laporkan error. * false (default): Jangan laporkan error. |
| KeepSource | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true: Pertahankan. * false (default): Jangan pertahankan. |
Mode separator multi-karakter
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_split_string | Jenis plug-in. Atur nilai ke processor_split_string. |
| SourceKey | String | Ya | Nama field sumber. | ||
| SplitSep | String | Ya | Separator. Harus berupa karakter tunggal. Dapat diatur ke karakter tidak terlihat, seperti . | ||
| SplitKeys | Array string | Ya | ["key1","key2"] | Menentukan nama field untuk konten yang diekstrak, misalnya, ["key1","key2"].Catatan Jika jumlah field yang akan dipisahkan kurang dari jumlah field dalam parameter SplitKeys, field tambahan dalam parameter SplitKeys akan diabaikan. | |
| PreserveOthers | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan bagian berlebih jika jumlah field yang akan dipisahkan lebih besar dari jumlah field dalam parameter SplitKeys.* true: Pertahankan. * false (default): Jangan pertahankan. |
| ExpandOthers | Boolean | Tidak | false | false | Menentukan apakah akan menggunakan quote.* true: Gunakan. * false (default): Jangan gunakan. |
| ExpandKeyPrefix | String | Tidak | / | expand_ | Prefiks penamaan untuk bagian berlebih. Misalnya, jika dikonfigurasi sebagai expand_, nama field akan menjadi expand_1, expand_2. |
| NoKeyError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
| NoMatchError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika separator yang Anda tentukan tidak cocok dengan separator dalam log.* true: Laporkan error. * false (default): Jangan laporkan error. |
| KeepSource | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true: Pertahankan. * false (default): Jangan pertahankan. |
Mode pasangan key-value
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_split_key_value | Jenis plug-in. Atur nilai ke processor_split_key_value. |
| SourceKey | string | Ya | Nama field sumber. | ||
| Delimiter | string | Tidak | \t | \t | Separator antara pasangan key-value. Nilai default adalah karakter tab \t. |
| Separator | string | Tidak | : | : | Separator antara key dan value dalam satu pasangan key-value. Nilai default adalah titik dua (:). |
| KeepSource | Boolean | Tidak | false | false | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true: Pertahankan. * false (default): Jangan pertahankan. |
| ErrIfSourceKeyNotFound | Boolean | Tidak | true | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true (default): Laporkan error. * false: Jangan laporkan error. |
| DiscardWhenSeparatorNotFound | Boolean | Tidak | false | false | Menentukan apakah akan membuang pasangan key-value jika tidak ada separator yang cocok ditemukan.* true: Buang. * false (default): Jangan buang. |
| ErrIfSeparatorNotFound | Boolean | Tidak | true | false | Menentukan apakah sistem melaporkan error ketika separator yang ditentukan tidak ada.* true (default): Laporkan error. * false: Jangan laporkan error. |
| ErrIfKeyIsEmpty | Boolean | Tidak | true | false | Menentukan apakah sistem melaporkan error ketika key setelah pemisahan kosong.* true (default): Laporkan error. * false: Jangan laporkan error. |
| Quote | String | Tidak | Quote. Ketika diatur, jika sebuah nilai dibungkus dalam quote, nilai di dalam quote akan diekstrak. Quote multi-karakter didukung. Secara default, fungsi quote tidak diaktifkan. Penting * Jika quote-nya adalah tanda kutip ganda (""), Anda perlu menambahkan karakter escape, yaitu backslash (\). Ketika backslash (\) digunakan dengan quote di dalam quote, backslash (\) dikeluarkan sebagai bagian dari value. |
Mode Grok
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_grok | Jenis plug-in. Atur nilai ke processor_grok. |
| CustomPatternDir | Array string | Tidak | Direktori tempat file pattern Grok kustom berada. Plug-in processor_grok membaca semua file dalam direktori. Jika parameter ini tidak ditambahkan, tidak ada file pattern Grok kustom yang diimpor. Penting Setelah memperbarui file pattern Grok kustom, Anda perlu me-restart Logtail agar berlaku. | ||
| CustomPatterns | Map | Tidak | Pattern GROK kustom, di mana key adalah nama aturan dan value adalah ekspresi Grok. Untuk ekspresi yang didukung secara default, lihat processor_grok. Jika ekspresi yang Anda butuhkan tidak ada di link, masukkan ekspresi Grok kustom di Match. Jika parameter ini tidak ditambahkan, tidak ada pattern GROK kustom yang digunakan. | ||
| SourceKey | String | Tidak | content | content | Nama field sumber. Nilai default adalah field content. |
| Match | Array string | Ya | Array ekspresi Grok. Plug-in processor_grok mencocokkan log dengan daftar ekspresi yang dikonfigurasi di sini dari atas ke bawah dan mengembalikan hasil ekstraksi pertama yang berhasil dicocokkan. Catatan Mengonfigurasi beberapa ekspresi Grok dapat memengaruhi performa. Kami merekomendasikan tidak lebih dari 5. | ||
| TimeoutMilliSeconds | Long | Tidak | 0 | Waktu percobaan maksimum untuk mengekstrak field dengan ekspresi Grok, dalam milidetik. Jika parameter ini tidak ditambahkan atau diatur ke 0, itu berarti tidak ada timeout. | |
| IgnoreParseFailure | Boolean | Tidak | true | true | Menentukan apakah akan mengabaikan log yang gagal di-parse.* true (default): Abaikan. * false: Hapus. |
| KeepSource | Boolean | Tidak | true | true | Menentukan apakah akan mempertahankan field sumber setelah parsing berhasil.* true (default): Pertahankan. * false: Buang. |
| NoKeyError | Boolean | Tidak | false | true | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
| NoMatchError | Boolean | Tidak | true | true | Menentukan apakah sistem melaporkan error ketika tidak ada ekspresi yang diatur dalam parameter Match yang cocok dengan log.* true (default): Laporkan error. * false: Jangan laporkan error. |
| TimeoutError | Boolean | Tidak | true | true | Menentukan apakah sistem melaporkan error pada timeout pencocokan.* true (default): Laporkan error. * false: Jangan laporkan error. |
Tambah field
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_add_fields | Jenis plug-in. Atur nilai ke processor_add_fields. |
| Fields | Map | Ya | Nama dan nilai field yang akan ditambahkan. Format pasangan key-value. Mendukung penambahan beberapa. | ||
| IgnoreIfExist | Boolean | Tidak | false | false | Menentukan apakah akan mengabaikan field duplikat jika field dengan nama yang sama sudah ada.* true: Abaikan. * false (default): Jangan abaikan. |
Hapus field
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_drop | Jenis plug-in. Atur nilai ke processor_drop. |
| DropKeys | Array string | Ya | Menentukan field yang akan dihapus. Beberapa dapat dikonfigurasi. |
Ubah nama field
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_rename | Jenis plug-in. Atur nilai ke processor_rename. |
| NoKeyError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log.* true: Laporkan error. * false (default): Jangan laporkan error. |
| SourceKeys | Array string | Ya | Field sumber yang akan diubah namanya. | ||
| DestKeys | Array string | Ya | Field setelah diubah namanya. |
Kemas field
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_packjson | Jenis plug-in. Atur nilai ke processor_packjson. |
| SourceKeys | Array string | Ya | Field sumber yang akan dikemas. | ||
| DestKey | String | Tidak | Field setelah dikemas. | ||
| KeepSource | Boolean | Tidak | true | true | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true (default): Pertahankan. * false: Buang. |
| AlarmIfIncomplete | Boolean | Tidak | true | true | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true (default): Pertahankan. * false: Buang. |
Perluas field JSON
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_json | Jenis plug-in. Atur nilai ke processor_json. |
| SourceKey | String | Ya | Nama field sumber yang akan diperluas. | ||
| NoKeyError | Boolean | Tidak | true | true | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true (default): Laporkan error. * false: Jangan laporkan error. |
| ExpandDepth | Int | Tidak | 0 | 1 | Kedalaman ekspansi JSON. Nilai default adalah 0, yang berarti tidak ada batasan. 1 menunjukkan level saat ini, dan seterusnya. |
| ExpandConnector | String | Tidak | _ | _ | Konektor untuk ekspansi JSON. Nilai default adalah garis bawah (_). |
| Prefix | String | Tidak | Prefiks yang akan ditambahkan ke nama field selama ekspansi JSON. | ||
| KeepSource | Boolean | Tidak | true | true | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true (default): Pertahankan. * false: Buang. |
| UseSourceKeyAsPrefix | Boolean | Tidak | Menentukan apakah akan menggunakan nama field sumber sebagai prefiks untuk semua nama field JSON yang diperluas. | ||
| KeepSourceIfParseError | Boolean | Tidak | true | true | Menentukan apakah akan mempertahankan log sumber jika parsing gagal.* true (default): Pertahankan. * false: Buang. |
| ExpandArray | Boolean | Tidak | false | false | Menentukan apakah akan memperluas tipe array. Parameter ini didukung oleh Logtail 1.8.0 dan yang lebih baru.* false (default): Jangan perluas. * true: Perluas. Misalnya, {"k":["1","2"]} diperluas menjadi {"k[0]":"1","k[1]":"2"}. |
Filter log
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_filter_regex | Jenis plug-in. Atur nilai ke processor_filter_regex. |
| Include | JSON Object | Tidak | Key adalah field log, dan Value adalah ekspresi reguler yang harus cocok dengan nilai field. Hubungan antara pasangan key-value adalah AND. Jika nilai field log cocok dengan ekspresi reguler yang sesuai, log akan dikumpulkan. | ||
| Exclude | JSON Object | Tidak | Key adalah field log, dan Value adalah ekspresi reguler yang harus cocok dengan nilai field. Hubungan antara pasangan key-value adalah OR. Jika nilai field mana pun dalam log cocok dengan ekspresi reguler yang sesuai, log akan dibuang. |
Ekstrak waktu log
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_gotime | Jenis plug-in. Atur nilai ke processor_gotime. |
| SourceKey | String | Ya | Nama field sumber. | ||
| SourceFormat | String | Ya | Format waktu sumber. | ||
| SourceLocation | Int | Ya | Zona waktu dari waktu sumber. Jika nilai parameter kosong, ini menunjukkan zona waktu host atau container tempat Logtail berada. | ||
| DestKey | String | Ya | Field tujuan setelah parsing. | ||
| DestFormat | String | Ya | Format waktu setelah parsing. | ||
| DestLocation | Int | Tidak | Zona waktu setelah parsing. Jika nilai parameter kosong, ini menunjukkan zona waktu lokal. | ||
| SetTime | Boolean | Tidak | true | true | Menentukan apakah akan mengatur waktu yang di-parse sebagai waktu log.* true (default): Ya. * false: Tidak. |
| KeepSource | Boolean | Tidak | true | true | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true (default): Pertahankan. * false: Jangan pertahankan. |
| NoKeyError | Boolean | Tidak | true | true | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true (default): Laporkan error. * false: Jangan laporkan error. |
| AlarmIfFail | Boolean | Tidak | true | true | Menentukan apakah sistem melaporkan error jika gagal mengekstrak waktu log.* true (default): Laporkan error. * false: Jangan laporkan error. |
Konversi alamat IP
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_geoip | Jenis plug-in. Atur nilai ke processor_geoip. |
| SourceKey | String | Ya | Nama field sumber yang akan dikonversi untuk alamat IP. | ||
| DBPath | String | Ya | /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb | Path lengkap dari database GeoIP. Misalnya, /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb. | |
| NoKeyError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika nama field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
| NoMatchError | Boolean | Tidak | true | true | Menentukan apakah sistem melaporkan error jika alamat IP tidak valid atau tidak ditemukan dalam database.* true (default): Laporkan error. * false: Jangan laporkan error. |
| KeepSource | Boolean | Tidak | true | true | Menentukan apakah akan mempertahankan field sumber dalam log yang di-parse.* true (default): Pertahankan. * false: Jangan pertahankan. |
| Language | String | Tidak | zh-CN | zh-CN | Atribut bahasa. Nilai default adalah zh-CN. Penting Pastikan database GeoIP Anda berisi bahasa yang sesuai. |
Masking data
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_desensitize | Jenis plug-in. Atur nilai ke processor_desensitize. |
| SourceKey | String | Ya | Nama field log. | ||
| Method | String | Ya | const | Metode masking data. Nilai yang valid:* const: Mengganti konten sensitif dengan sebuah string. Anda dapat menentukan string target dengan parameter ReplaceString. * md5: Mengganti konten sensitif dengan nilai MD5-nya. | |
| Match | String | Tidak | full | full | Menentukan metode untuk mengekstrak konten sensitif. Nilai yang valid:* full (default): Ekstrak semua, yang berarti mengganti semua konten dalam nilai field target. * regex: Menggunakan ekspresi reguler untuk mengekstrak konten sensitif. |
| ReplaceString | String | Tidak | String yang digunakan untuk mengganti konten sensitif. Wajib jika Method diatur ke const. | ||
| RegexBegin | String | Tidak | Ekspresi reguler untuk mencocokkan prefiks konten sensitif. Wajib jika Match diatur ke regex. | ||
| RegexContent | String | Tidak | Ekspresi reguler untuk mencocokkan konten sensitif. Wajib jika Match diatur ke regex. |
Petakan nilai field
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_dict_map | Jenis plug-in. Atur nilai ke processor_dict_map. |
| SourceKey | String | Ya | Nama field sumber. | ||
| MapDict | Map | Tidak | Kamus pemetaan. Jika kamus pemetaan kecil, Anda dapat mengaturnya langsung dengan parameter ini. Anda tidak perlu menyediakan file kamus CSV lokal. Penting Ketika Anda mengatur parameter DictFilePath, konfigurasi dalam parameter MapDict tidak akan berlaku. | ||
| DictFilePath | String | Tidak | File kamus dalam format CSV. Separator untuk file CSV ini adalah koma (,), dan referensi field ditunjukkan dengan tanda kutip ganda ("). | ||
| DestKey | String | Tidak | Nama field setelah pemetaan. | ||
| HandleMissing | Boolean | Tidak | false | false | Menentukan apakah sistem memproses field target jika hilang dari log mentah.* true: Proses. Sistem mengisinya dengan nilai dari parameter Missing. * false (default): Jangan proses. |
| Missing | String | Tidak | Unknown | Unknown | Ketika memproses field target yang hilang dalam log mentah, mengatur nilai pengisian yang sesuai. Nilai default adalah Unknown. Parameter ini berlaku ketika HandleMissing dikonfigurasi sebagai true. |
| MaxDictSize | Int | Tidak | 1000 | 1000 | Ukuran maksimum kamus pemetaan. Nilai default adalah 1000, yang berarti hingga 1000 aturan pemetaan dapat disimpan. Untuk membatasi penggunaan memori plug-in di server, Anda dapat mengurangi nilai ini. |
| Mode | String | Tidak | overwrite | overwrite | Metode pemrosesan ketika field yang dipetakan sudah ada dalam log mentah.* overwrite (default): Menimpa field asli. * fill: Tidak menimpa field asli. |
Enkripsi field
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_encrypt | Jenis plug-in. Atur nilai ke processor_encrypt. |
| SourceKey | Array string | Ya | Nama field sumber. | ||
| EncryptionParameters | Object | Ya | Konfigurasi terkait key. | ||
| Key | String | Ya | Mengatur key. Harus 64 karakter heksadesimal. | ||
| IV | String | Tidak | 00000000000000000000000000000000 | Mengatur initial vector untuk enkripsi. Harus 32 karakter heksadesimal. Nilai default adalah 00000000000000000000000000000000. | |
| KeyFilePath | Boolean | Tidak | Path file untuk membaca parameter enkripsi. Jika tidak dikonfigurasi, ini membaca dari Konfigurasi Logtail - Konfigurasi Input - Path File. | ||
| KeepSourceValueIfError | String | Tidak | false | false | Menentukan apakah sistem mempertahankan nilai field sumber jika enkripsi gagal.* true: Pertahankan. * false (default): Jangan pertahankan.Jika enkripsi gagal, nilai field digantikan dengan ENCRYPT_ERROR. |
Ganti string
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_string_replace | Jenis plug-in. Atur nilai ke processor_string_replace. |
| SourceKey | String | Ya | Nama field sumber. | ||
| Method | String | Ya | Menentukan metode pencocokan. Nilai yang valid:* const: Mengganti dengan sebuah string.* regex: Mengganti menggunakan ekspresi reguler.* unquote: Menghapus karakter escape. | ||
| Match | String | Tidak | Masukkan konten yang akan dicocokkan.* Ketika Method diatur ke const, masukkan string yang cocok dengan konten yang akan diganti. Jika beberapa string cocok, semua akan diganti.* Ketika Method diatur ke regex, masukkan ekspresi reguler yang cocok dengan konten yang akan diganti. Jika beberapa string cocok, semua akan diganti. Anda juga dapat menggunakan grouping regex untuk mencocokkan grup tertentu.* Ketika Method diatur ke unquote, Anda tidak perlu mengonfigurasi parameter ini. | ||
| ReplaceString | String | Tidak | String untuk penggantian. Nilai default adalah "".* Ketika Method diatur ke const, masukkan string untuk mengganti konten asli.* Ketika Method diatur ke regex, masukkan string untuk mengganti konten asli. Mendukung penggantian berdasarkan grup regex.* Ketika Method diatur ke unquote, Anda tidak perlu mengonfigurasi parameter ini. | ||
| DestKey | String | Tidak | Menentukan field baru untuk konten yang diganti. Secara default, tidak ada field baru yang ditambahkan. |
Encode dan decode data
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_base64_encoding | Jenis plug-in. Atur nilai ke processor_base64_encoding. |
| SourceKey | String | Ya | Nama field sumber. | ||
| NewKey | String | Ya | Nama field hasil setelah encoding. | ||
| NoKeyError | Boolean | Tidak | false | false | Menentukan apakah sistem melaporkan error jika field sumber yang Anda tentukan tidak ada dalam log mentah.* true: Laporkan error. * false (default): Jangan laporkan error. |
Konversi log ke metrik
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_log_to_sls_metric | Jenis plug-in. Atur nilai ke processor_log_to_sls_metric. |
| MetricTimeKey | String | Tidak | Menentukan field waktu dalam log, yang dipetakan ke field __time_nano__ dalam data time series. Secara default, nilai field __time__ dalam log diekstrak. Pastikan field yang ditentukan adalah timestamp yang valid dan diformat dengan benar. Saat ini mendukung Unix timestamp dalam detik (10 digit), milidetik (13 digit), mikrodetik (16 digit), dan nanodetik (19 digit). | ||
| MetricLabelKeys | []String | Ya | Menentukan daftar Key untuk field __labels__. Key harus mengikuti ekspresi reguler ^[a-zA-Z_][a-zA-Z0-9_]*$. Value tidak boleh berisi garis vertikal ( | ||
| MetricValues | Map | Ya | Digunakan untuk menentukan nama Metric dan nilai Metric. Nama Metric sesuai dengan field __name__ dan harus mengikuti ekspresi reguler ^[a-zA-Z_:][a-zA-Z0-9_:]*$. Nilai Metric sesuai dengan field __value__ dan harus bertipe Double. Untuk informasi lebih lanjut, lihat Data time series (Metric) . | ||
| CustomMetricLabels | Map | Tidak | Field __labels__ kustom. Key harus mengikuti ekspresi reguler ^[a-zA-Z_][a-zA-Z0-9_]*$, dan Value tidak boleh berisi garis vertikal ( | ||
| IgnoreError | Boolean | Tidak | Menentukan apakah akan menghasilkan log Error ketika tidak ada log yang cocok. Nilai default adalah false, yang berarti tidak ada output. |
Konversi log ke trace
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | processor_otel_trace | Jenis plug-in. Atur nilai ke processor_otel_trace. |
| SourceKey | String | Ya | Nama field sumber. | ||
| Format | String | Ya | json | Format setelah konversi. Nilai yang valid: protobuf, json, protojson. | |
| NoKeyError | Boolean | Tidak | false | true | Menentukan apakah akan melaporkan error ketika field sumber yang sesuai tidak ada dalam log. Nilai default adalah false. |
| TraceIDNeedDecode | Boolean | Tidak | Menentukan apakah akan melakukan decoding Base64 pada TraceID. Nilai default adalah false. Ketika Format diatur ke protojson, jika TraceID telah di-encode Base64, Anda perlu mengatur TraceIDNeedDecode ke true. Jika tidak, konversi akan gagal. | ||
| SpanIDNeedDecode | Boolean | Tidak | Menentukan apakah akan melakukan decoding Base64 pada SpanID. Nilai default adalah false. Ketika Format diatur ke protojson, jika SpanID telah di-encode Base64, Anda perlu mengatur SpanIDNeedDecode ke true. Jika tidak, konversi akan gagal. | ||
| ParentSpanIDNeedDecode | Boolean | Tidak | Menentukan apakah akan melakukan decoding Base64 pada ParentSpanID. Nilai default adalah false. Ketika Format diatur ke protojson, jika ParentSpanID telah di-encode Base64, Anda perlu mengatur ParentSpanIDNeedDecode ke true. Jika tidak, konversi akan gagal. |
Plug-in output
Plug-in output SLS
| Parameter | Tipe | Wajib | Nilai default | Contoh | Deskripsi |
| Type | string | Ya | / | flusher_sls | Jenis plug-in. Atur nilai ke flusher_sls. |
| Logstore | stirng | Ya | / | test-logstore | Nama Logstore. |
Elemen respons
|
Element |
Type |
Description |
Example |
Tidak ada yang didefinisikan.
Contoh
Respons sukses
JSONformat
{}
Kode kesalahan
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.