Alibaba Cloud Logstash mendukung lebih dari 100 plugin sistem default, termasuk plugin open source dan proprietary, yang meningkatkan kemampuan transmisi data, pemrosesan, serta debugging log.
Alibaba Cloud Logstash hanya mendukung plugin sistem default yang telah dipra-instal. Plugin kustom tidak didukung. Anda dapat menginstal atau menguninstal plugin tersebut sesuai kebutuhan. Instal atau uninstal plugin. Sumber daya instans Alibaba Cloud Logstash hanya untuk penggunaan Anda sendiri. Jangan gunakan sumber daya instans untuk operasi ilegal.
Alibaba Cloud Logstash mendukung plugin berikut:
-
Plugin kustom
Category
Name
Description
Introduction
input
logstash-input-maxcompute
Membaca data dari Alibaba Cloud MaxCompute.
logstash-input-oss
Membaca data dari Alibaba Cloud Object Storage Service (OSS).
logstash-input-sls
Membaca log dari Alibaba Cloud Simple Log Service (SLS).
output
logstash-output-file_extend
Menampilkan output konfigurasi pipeline secara langsung di Konsol.
logstash-output-oss
Transfer data secara batch ke Alibaba Cloud OSS.
-
Plugin open source
Category
Name
Description
Introduction
input
logstash-input-azure_event_hubs
Mengonsumsi event dari Azure Event Hubs.
logstash-input-beats
Menerima event dari framework Elastic Beats.
logstash-input-dead_letter_queue
Membaca event dari dead letter queue Logstash.
logstash-input-elasticsearch
Membaca data dari kluster Elasticsearch.
logstash-input-exec
Menjalankan perintah shell secara berkala dan menangkap seluruh output perintah tersebut sebagai sebuah event.
logstash-input-ganglia
Membaca paket Ganglia dari jaringan melalui User Datagram Protocol (UDP).
logstash-input-gelf
Membaca pesan berformat GELF sebagai event melalui jaringan.
logstash-input-generator
Menghasilkan event log acak.
logstash-input-graphite
Membaca metrik dari tool Graphite.
logstash-input-heartbeat
Menghasilkan pesan heartbeat.
logstash-input-http
Menerima event single-line atau multi-line melalui HTTP atau HTTPS.
logstash-input-http_poller
Memanggil API HTTP, mendekode outputnya menjadi event, lalu mengirim event tersebut.
logstash-input-imap
Membaca email dari server IMAP.
logstash-input-jdbc
Membaca data dari database apa pun ke Logstash melalui antarmuka Java Database Connectivity (JDBC).
logstash-input-kafka
Membaca event dari topik Kafka.
logstash-input-pipe
Streaming event dari perintah pipe yang berjalan lama.
logstash-input-rabbitmq
Membaca event dari antrian RabbitMQ.
logstash-input-redis
Membaca event dari instans Redis.
logstash-input-s3
Streaming event dari file dalam bucket S3.
logstash-input-snmp
Memantau perangkat jaringan menggunakan Simple Network Management Protocol (SNMP) untuk memperoleh informasi tentang status operasional perangkat saat ini.
logstash-input-snmptrap
Membaca pesan trap SNMP sebagai event.
logstash-input-sqs
Membaca event dari antrian di Amazon Simple Queue Service (SQS).
logstash-input-stdin
Membaca event dari standard input.
logstash-input-syslog
Membaca pesan syslog sebagai event melalui jaringan.
logstash-input-tcp
Membaca event melalui soket TCP.
logstash-input-twitter
Menerima event dari Twitter Streaming API.
logstash-input-udp
Membaca pesan sebagai event melalui jaringan menggunakan UDP.
logstash-input-unix
Membaca event melalui soket UNIX.
output
logstash-output-elasticsearch
Menulis data ke kluster Elasticsearch.
logstash-output-kafka
Menulis event ke topik Kafka.
logstash-output-lumberjack
Mengirim event menggunakan protokol lumberjack.
logstash-output-nagios
Mengirim hasil pemeriksaan pasif ke Nagios melalui file perintah Nagios.
logstash-output-pagerduty
Mengirim notifikasi berdasarkan layanan dan kebijakan eskalasi yang telah dikonfigurasi sebelumnya.
logstash-output-pipe
Mengarahkan event ke standard input program lain.
logstash-output-rabbitmq
Dorong event ke exchange RabbitMQ.
logstash-output-redis
Mengirim event ke antrian Redis menggunakan perintah RPUSH.
logstash-output-s3
Mengunggah event Logstash secara batch ke Amazon Simple Storage Service (Amazon S3).
logstash-output-sns
Mengirim event ke Amazon Simple Notification Service, yaitu layanan pub/sub terkelola.
logstash-output-sqs
Dorong event ke antrian AWS SQS.
logstash-output-stdout
Mencetak event ke standard output perintah shell yang menjalankan Logstash.
logstash-output-tcp
Menulis event melalui soket TCP.
logstash-output-udp
Mengirim event melalui UDP.
logstash-output-webhdfs
Mengirim event Logstash ke file dalam HDFS melalui WebHDFS REST API.
logstash-output-cloudwatch
Mengumpulkan dan mengirim data metrik ke AWS CloudWatch.
logstash-output-csv
Menulis event ke disk dalam format comma-separated values (CSV) atau format pembatas lainnya. Output ini memiliki opsi yang sama dengan output file. Secara internal menggunakan library Ruby CSV.
logstash-output-elastic_app_search
Mengirim event ke solusi Elastic App Search.
logstash-output-email
Mengirim email saat menerima output. Gunakan kondisi untuk menyertakan atau mengecualikan eksekusi output email.
logstash-output-file
Menulis event ke file di disk. Anda dapat menggunakan field dari event sebagai bagian dari nama file atau path.
logstash-output-graphite
Membaca data metrik dari log dan mengirimkannya ke tool Graphite. Graphite adalah tool open source untuk menyimpan dan memplot metrik.
logstash-output-http
Mengirim event ke endpoint HTTP atau HTTPS generik.
filter
logstash-filter-aggregate
Mengumpulkan informasi dari beberapa event (biasanya catatan log) dalam satu tugas dan mendorong informasi teragregasi tersebut ke event tugas akhir.
logstash-filter-anonymize
Mengganti nilai field dengan hash konsisten untuk menganonimkan field.
logstash-filter-cidr
Memeriksa alamat IP dalam sebuah event terhadap daftar blok jaringan.
logstash-filter-prune
Membersihkan data event berdasarkan daftar hitam atau daftar putih field.
logstash-filter-clone
Memeriksa event duplikat. Clone dibuat untuk setiap jenis dalam daftar clone.
logstash-filter-csv
Mengurai field event yang berisi data CSV dan menyimpannya sebagai field terpisah. Anda juga dapat menentukan nama field tersebut. Filter ini juga dapat mengurai data dengan pemisah apa pun, bukan hanya koma.
logstash-filter-date
Mengurai tanggal dari sebuah field lalu menggunakan tanggal atau timestamp tersebut sebagai timestamp Logstash untuk event tersebut.
logstash-filter-de_dot
Mengganti nama field dengan mengganti karakter titik (.) dengan pemisah lain. Dalam praktiknya, filter ini mahal. Filter harus menyalin konten field sumber ke field tujuan baru yang namanya tidak lagi mengandung titik, lalu menghapus field sumber yang bersangkutan.
logstash-filter-dissect
Filter Dissect adalah operasi pemisahan.
logstash-filter-dns
Menjalankan pencarian DNS (pencarian Rekaman A atau Rekaman CNAME, atau pencarian balik untuk Rekaman PTR) pada setiap atau rekaman tertentu di bawah array reverse.
logstash-filter-drop
Menghapus semua event yang memenuhi filter ini.
logstash-filter-elasticsearch
Mencari event log sebelumnya di Elasticsearch dan menyalin beberapa field-nya ke event saat ini.
logstash-filter-fingerprint
Membuat hash konsisten (sidik jari) dari satu atau beberapa field dan menyimpan hasilnya dalam field baru.
logstash-filter-geoip
Menambahkan informasi lokasi geografis tentang alamat IP berdasarkan data dari database Maxmind GeoLite2.
logstash-filter-grok
Mengurai dan menyusun teks tak terstruktur apa pun.
logstash-filter-http
Mengintegrasikan layanan web eksternal atau beberapa API REST.
logstash-filter-jdbc_static
Memperkaya event dengan data yang telah dimuat sebelumnya dari database remote.
logstash-filter-jdbc_streaming
Menjalankan kueri SQL dan menyimpan set hasilnya dalam field tujuan. Menyimpan hasilnya dalam cache LRU (least recently used) lokal dengan periode kedaluwarsa.
logstash-filter-json
Filter penguraian JSON yang memperluas field yang ada berisi JSON menjadi struktur data aktual dalam event Logstash.
logstash-filter-kv
Secara otomatis mengurai berbagai pesan foo=bar atau field event tertentu.
logstash-filter-memcached
Mengintegrasikan data eksternal ke Memcached.
logstash-filter-metrics
Mengumpulkan metrik.
logstash-filter-mutate
Menjalankan transformasi pada field. Mengganti nama, menghapus, mengganti, dan memodifikasi field dalam event Anda.
logstash-filter-ruby
Menjalankan kode Ruby. Filter ini menerima kode Ruby inline atau file. Kedua opsi tersebut saling eksklusif dan bekerja dengan cara yang sedikit berbeda.
logstash-filter-sleep
Tidur selama durasi tertentu. Logstash berhenti selama periode tidur. Ini membantu dalam pembatasan laju.
logstash-filter-split
Mengkloning event dengan membagi field dalam event tersebut dan menyematkan setiap nilai hasilnya ke dalam klon event asli. Field yang dibagi bisa berupa string atau array string.
logstash-filter-syslog_pri
Mengurai field PRI di awal pesan Syslog (RFC3164). Jika prioritas tidak ditetapkan, nilai default-nya adalah 13, seperti yang didefinisikan dalam RFC.
logstash-filter-throttle
Membatasi jumlah event.
logstash-filter-translate
Alat umum pencarian-dan-penggantian yang menentukan nilai pengganti berdasarkan hash atau file yang dikonfigurasi.
logstash-filter-truncate
Memotong field yang melebihi panjang tertentu.
logstash-filter-urldecode
Mendekodekan bidang yang telah dienkode URL.
logstash-filter-useragent
Mengurai string user agent menjadi data terstruktur berdasarkan data BrowserScope.
logstash-filter-xml
Filter XML. Memperluas field yang berisi XML menjadi struktur data aktual.
codec
logstash-codec-cef
Menggunakan codec Logstash untuk memproses data ArcSight Common Event Format (CEF), sesuai dengan "Implementing ArcSight Common Event Format," Revisi 20 (5 Juni 2013).
logstash-codec-collectd
Membaca event dari protokol biner collectd melalui jaringan menggunakan UDP.
logstash-codec-dots
Codec ini menghasilkan titik (.) untuk merepresentasikan setiap event yang diproses.
logstash-codec-edn
Membaca dan menghasilkan data dalam format EDN.
logstash-codec-edn_lines
Membaca dan menghasilkan data terpisah baris baru dalam format EDN.
logstash-codec-es_bulk
Mendekode format bulk Elasticsearch menjadi event terpisah dan mendekode metadata ke field [@metadata](/metadata).
logstash-codec-fluent
Memproses format msgpack fluentd.
logstash-codec-graphite
Mengkode dan mendekode baris dalam format Graphite.
logstash-codec-json
Mendekode (dari input) dan mengkode (ke output) pesan JSON lengkap.
logstash-codec-json_lines
Mendekode stream JSON yang dipisahkan baris baru.
logstash-codec-line
Membaca data teks berorientasi baris.
logstash-codec-msgpack
Membaca dan menghasilkan konten berkode MessagePack.
logstash-codec-multiline
Menggabungkan pesan multi-baris menjadi satu event.
logstash-codec-netflow
Mendekode data Netflow v5, v9, dan v10 (IPFIX).
logstash-codec-plain
Memproses teks biasa tanpa pembatas antar event.
logstash-codec-rubydebug
Menampilkan data event Logstash menggunakan library Ruby Awesome Print.