Alibaba Cloud Logstash mendukung lebih dari 100 plugin sistem, mencakup plugin open source dan plugin yang dikembangkan sendiri. Plugin-plugin ini meningkatkan kemampuan kluster dalam hal transmisi data, pemrosesan data, serta debugging log. Topik ini menjelaskan plugin sistem yang didukung oleh Alibaba Cloud Logstash. Anda dapat menggunakan plugin-plugin tersebut untuk mengelola dan menganalisis volume besar data real-time secara efisien, sekaligus meningkatkan efisiensi operasional dan stabilitas sistem.
Alibaba Cloud Logstash hanya mendukung plugin sistem, yaitu plugin bawaan. Anda dapat menginstal atau menghapusnya sesuai kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Instal atau hapus plugin Logstash. Kluster Alibaba Cloud Logstash tempat plugin dijalankan dimiliki oleh pelanggan. Kami menyarankan agar Anda tidak menggunakan kluster tersebut untuk melakukan operasi ilegal.
Tabel berikut menjelaskan plugin sistem yang didukung oleh Alibaba Cloud Logstash.
Plugin Buatan Sendiri
Kategori
Plug-in
Deskripsi
Referensi
input
logstash-input-maxcompute
Membaca data dari MaxCompute.
logstash-input-oss
Membaca data dari Object Storage Service (OSS).
logstash-input-sls
Mengonsumsi log dari Simple Log Service.
output
logstash-output-file_extend
Mendorong output pipeline ke konsol Elasticsearch.
logstash-output-oss
Mentransmisikan beberapa catatan data ke OSS sekaligus.
Plugin Open Source
Kategori
Plug-in
Deskripsi
Referensi
input
logstash-input-azure_event_hubs
Mengonsumsi peristiwa dari Azure Event Hubs.
logstash-input-beats
Menerima peristiwa dari kerangka kerja Elastic Beats.
logstash-input-dead_letter_queue
Membaca peristiwa dari antrian pesan gagal Logstash.
logstash-input-elasticsearch
Membaca data dari kluster Elasticsearch.
logstash-input-exec
Menjalankan perintah shell secara berkala dan menangkap output dari perintah shell sebagai peristiwa.
logstash-input-ganglia
Membaca paket Ganglia melalui User Datagram Protocol (UDP).
logstash-input-gelf
Membaca pesan Graylog Extended Log Format (GELF) dari jaringan sebagai peristiwa.
logstash-input-generator
Menghasilkan log acak.
logstash-input-graphite
Membaca metrik dari Graphite.
logstash-input-heartbeat
Menghasilkan pesan detak jantung.
logstash-input-http
Menerima peristiwa satu baris atau multi-baris melalui HTTP atau HTTPS.
logstash-input-http_poller
Mendekode output API HTTP menjadi peristiwa dan mengirim peristiwa tersebut.
logstash-input-imap
Membaca email dari server Internet Message Access Protocol (IMAP).
logstash-input-jdbc
Membaca data dari database dengan antarmuka Java Database Connectivity (JDBC).
logstash-input-kafka
Membaca peristiwa dari topik Kafka.
logstash-input-pipe
Streaming peristiwa dari pipa perintah jangka panjang.
logstash-input-rabbitmq
Membaca peristiwa dari antrian RabbitMQ.
logstash-input-redis
Membaca peristiwa dari instance Redis.
logstash-input-s3
Streaming peristiwa dari objek dalam bucket Amazon Simple Storage Service (Amazon S3).
logstash-input-snmp
Mengecek perangkat jaringan menggunakan Simple Network Management Protocol (SNMP) untuk mendapatkan status perangkat.
logstash-input-snmptrap
Membaca pesan trap SNMP sebagai peristiwa.
logstash-input-sqs
Membaca peristiwa dari antrian Amazon Simple Queue Service (SQS).
logstash-input-stdin
Membaca peristiwa dari input standar.
logstash-input-syslog
Membaca pesan Syslog dari jaringan sebagai peristiwa.
logstash-input-tcp
Membaca peristiwa melalui soket TCP.
logstash-input-twitter
Membaca peristiwa dari Twitter Streaming API.
logstash-input-udp
Membaca pesan dari jaringan melalui UDP sebagai peristiwa.
logstash-input-unix
Membaca peristiwa melalui soket UNIX.
output
logstash-output-elasticsearch
Menulis data ke kluster Elasticsearch.
logstash-output-kafka
Menulis peristiwa ke topik Kafka.
logstash-output-lumberjack
Mengirim peristiwa melalui protokol lumberjack.
logstash-output-nagios
Mengirim hasil pemeriksaan pasif ke Nagios menggunakan file perintah Nagios.
logstash-output-pagerduty
Mengirim notifikasi berdasarkan layanan dan kebijakan peningkatan yang telah dikonfigurasi sebelumnya.
logstash-output-pipe
Mendorong peristiwa ke input standar program lain menggunakan pipa.
logstash-output-rabbitmq
Mendorong peristiwa ke pertukaran RabbitMQ.
logstash-output-redis
Mengirim peristiwa ke antrian Redis menggunakan perintah RPUSH.
logstash-output-s3
Mengunggah peristiwa Logstash ke Amazon S3 sekaligus.
logstash-output-sns
Mengirim peristiwa ke Amazon Simple Notification Service (SNS). Amazon SNS adalah layanan pub/sub sepenuhnya dikelola.
logstash-output-sqs
Mendorong peristiwa ke antrian Amazon SQS.
logstash-output-stdout
Mengembalikan peristiwa ke output standar Logstash yang menjalankan perintah shell.
logstash-output-tcp
Menulis peristiwa melalui soket TCP.
logstash-output-udp
Mengirim peristiwa melalui UDP.
logstash-output-webhdfs
Mengirim peristiwa Logstash ke file dalam Hadoop Distributed File System (HDFS) dengan memanggil API RESTful WebHDFS.
logstash-output-cloudwatch
Mengumpulkan dan mengirim metrik ke Amazon CloudWatch.
logstash-output-csv
Menulis peristiwa ke disk dalam format CSV atau format yang dibatasi. Plugin ini didasarkan pada output file, dan banyak nilai konfigurasi dibagikan. Perpustakaan CSV Ruby tidak direkomendasikan di lingkungan produksi.
logstash-output-elastic_app_search
Mengirim peristiwa ke Elastic App Search.
logstash-output-email
Mengirim email ketika output diterima. Anda dapat menyertakan atau mengecualikan eksekusi output email menggunakan kondisi.
logstash-output-file
Menulis peristiwa ke file di disk. Anda dapat menggunakan bidang dalam peristiwa sebagai bagian dari nama file atau jalur.
logstash-output-graphite
Membaca metrik dari log dan mengirim metrik tersebut ke Graphite. Graphite adalah alat open source yang memungkinkan Anda menyimpan dan membuat grafik metrik.
logstash-output-http
Mengirim peristiwa ke titik akhir HTTP atau HTTPS universal.
filter
logstash-filter-aggregate
Menggabungkan informasi dari beberapa peristiwa yang biasanya merupakan catatan log dan termasuk dalam tugas yang sama, dan mendorong informasi tergabung ke peristiwa tugas akhir.
logstash-filter-anonymize
Menganonimkan bidang dengan mengganti nilai bidang dengan hash konsisten.
logstash-filter-cidr
Memeriksa alamat IP dalam peristiwa terhadap daftar blok jaringan.
logstash-filter-prune
Menyederhanakan data peristiwa berdasarkan bidang dalam daftar hitam atau putih.
logstash-filter-clone
Menduplikasi peristiwa. Plugin ini membuat klon untuk setiap jenis dalam daftar klon.
logstash-filter-csv
Mengurai bidang peristiwa yang berisi data CSV, dan menyimpan bidang tersebut sebagai bidang individual. Anda juga dapat menentukan nama bidang. Plugin ini masih mengurai data dengan pemisah, yang mencakup tetapi tidak terbatas pada koma (,).
logstash-filter-date
Mengurai tanggal dari bidang dan menggunakan tanggal atau timestamp sebagai timestamp Logstash untuk peristiwa.
logstash-filter-de_dot
Mengganti titik (.) dengan pemisah lain untuk mengganti nama bidang. Plugin ini tidak hemat biaya. Ini menyalin isi bidang sumber ke bidang tujuan yang namanya tidak lagi mengandung titik, dan menghapus bidang sumber.
logstash-filter-dissect
Menjalankan operasi pemisahan.
logstash-filter-dns
Menjalankan pencarian pada semua catatan yang ditentukan atau di bawah array terbalik. Pencarian tersebut bisa berupa pencarian catatan A atau CNAME atau pencarian terbalik pada catatan PTR.
logstash-filter-drop
Menjatuhkan semua peristiwa yang memenuhi kondisi filter.
logstash-filter-elasticsearch
Mencari peristiwa log historis di Elasticsearch dan menyalin beberapa bidang dari peristiwa tersebut ke peristiwa saat ini.
logstash-filter-fingerprint
Membuat hash konsisten sebagai sidik jari untuk satu atau lebih bidang dan menyimpan hasilnya di bidang baru.
logstash-filter-geoip
Menambahkan lokasi geografis alamat IP berdasarkan data dalam database Maxmind GeoLite2.
logstash-filter-grok
Menguraikan teks arbitrer yang tidak terstruktur menjadi data terstruktur.
logstash-filter-http
Memberikan integrasi dengan layanan web eksternal atau API RESTful.
logstash-filter-jdbc_static
Memperkaya peristiwa dengan data yang dimuat sebelumnya dari database remote.
logstash-filter-jdbc_streaming
Menjalankan kueri SQL dan menyimpan set hasil di bidang tujuan. Plugin ini secara lokal menyimpan cache hasil dalam cache Least Recently Used (LRU) yang valid.
logstash-filter-json
Memperluas bidang yang ada berisi data JSON menjadi struktur data aktual dalam peristiwa Logstash. Plugin ini adalah filter penguraian JSON.
logstash-filter-kv
Mengaktifkan penguraian otomatis pesan atau bidang peristiwa tertentu. Pesan tersebut adalah variabel metasyntactic foo=bar.
logstash-filter-memcached
Memberikan integrasi dengan data eksternal di Memcached.
logstash-filter-metrics
Menggabungkan metrik.
logstash-filter-mutate
Menjalankan mutasi pada bidang. Anda dapat mengganti nama, menghapus, mengganti, dan memodifikasi bidang dalam peristiwa Anda.
logstash-filter-ruby
Menjalankan kode Ruby. Plugin ini menerima kode Ruby inline atau file Ruby. Kedua opsi tersebut saling eksklusif dan sedikit berbeda dalam metode kerja.
logstash-filter-sleep
Memasuki mode tidur selama rentang waktu tertentu. Ini menyebabkan Logstash berhenti sementara dalam periode ini, yang memfasilitasi pembatasan laju.
logstash-filter-split
Menduplikasi peristiwa dengan membagi salah satu bidangnya dan menempatkan setiap nilai yang dihasilkan dari operasi pemisahan ke dalam klon peristiwa asli. Bidang untuk pemisahan bisa berupa string atau array.
logstash-filter-syslog_pri
Mengurai bidang PRI dari pesan Syslog. Untuk informasi lebih lanjut tentang pesan Syslog, lihat RFC 3164. Jika tidak ada prioritas yang ditentukan, nilai defaultnya adalah 13 sesuai RFC.
logstash-filter-throttle
Membatasi jumlah peristiwa.
logstash-filter-translate
Menggunakan hash yang dikonfigurasi atau file untuk menentukan nilai pengganti. Plugin ini adalah alat pencarian dan penggantian umum.
logstash-filter-truncate
Memotong bidang yang melebihi panjang tertentu.
logstash-filter-urldecode
Mendekode bidang yang dienkripsi URL.
logstash-filter-useragent
Mengurai string agen pengguna menjadi data terstruktur berdasarkan data Browserscope.
logstash-filter-xml
Memperluas bidang yang berisi data XML menjadi struktur data aktual. Plugin ini adalah filter XML.
codec
logstash-codec-cef
Membaca data dalam format ArcSight Common Event Format (CEF). Plugin ini adalah implementasi codec Logstash. Ini didasarkan pada Revisi 20 dari Implementing ArcSight CEF, tertanggal 5 Juni 2013.
logstash-codec-collectd
Membaca peristiwa pada jaringan dari protokol biner collectd melalui UDP.
logstash-codec-dots
Menghasilkan titik (.) untuk mewakili setiap peristiwa yang diproses oleh plugin ini.
logstash-codec-edn
Membaca dan menghasilkan data dalam format Extensible Data Notation (EDN).
logstash-codec-edn_lines
Membaca dan menghasilkan data berformat EDN yang dibatasi oleh baris baru.
logstash-codec-es_bulk
Mendekode format bulk Elasticsearch menjadi peristiwa individual dan mendekode metadata ke dalam [@metadata](/metadata) field.
logstash-codec-fluent
Menangani skema MessagePack untuk Fluentd.
logstash-codec-graphite
Mengkodekan dan mendekode garis yang diformat Graphite.
logstash-codec-json
Mendekode dan mengkodekan pesan JSON penuh. Proses dekode didasarkan pada input, dan proses enkode didasarkan pada output.
logstash-codec-json_lines
Mendekode data JSON streaming yang dibatasi oleh baris baru.
logstash-codec-line
Membaca data teks berorientasi baris.
logstash-codec-msgpack
Membaca dan menghasilkan konten yang dikodekan MessagePack.
logstash-codec-multiline
Menggabungkan pesan multi-baris menjadi satu peristiwa.
logstash-codec-netflow
Mendekode aliran Netflow v5, v9, dan v10 (IPFIX).
logstash-codec-plain
Menangani teks biasa tanpa pemisah antar peristiwa.
logstash-codec-rubydebug
Menghasilkan data peristiwa Logstash menggunakan pustaka Ruby Awesome Print.