Alibaba Cloud Logstash は、オープンソースプラグインと独自開発プラグインを含む 100 を超えるシステムプラグインをサポートしています。プラグインは、データ転送、データ処理、ログデバッグなどのクラスタ機能を向上させます。このトピックでは、Alibaba Cloud Logstash でサポートされているシステムプラグインについて説明します。これらのプラグインを使用すると、大量のリアルタイムデータを効率的に管理および分析し、O&M 効率とシステムの安定性を向上させることができます。
Alibaba Cloud Logstash はシステムプラグインのみをサポートしています。システムプラグインは組み込みプラグインです。ビジネス要件に基づいてインストールまたは削除できます。詳細については、「Logstash プラグインをインストールまたは削除する」をご参照ください。プラグインが実行される Alibaba Cloud Logstash クラスタは、お客様に属しています。クラスタを使用して違法行為を実行しないことをお勧めします。
次の表に、Alibaba Cloud Logstash でサポートされているシステムプラグインを示します。
独自開発プラグイン
カテゴリ
プラグイン
説明
参照
input
logstash-input-maxcompute
MaxCompute からデータを読み取ります。
logstash-input-oss
Object Storage Service (OSS) からデータを読み取ります。
logstash-input-sls
Simple Log Service からログを消費します。
output
logstash-output-file_extend
パイプラインの出力を Elasticsearch コンソールにプッシュします。
logstash-output-oss
一度に複数のデータレコードを OSS に転送します。
オープンソースプラグイン
カテゴリ
プラグイン
説明
参照
input
logstash-input-azure_event_hubs
Azure Event Hubs からイベントを消費します。
logstash-input-beats
Elastic Beats フレームワークからイベントを受信します。
logstash-input-dead_letter_queue
Logstash のデッドレターキューからイベントを読み取ります。
logstash-input-elasticsearch
Elasticsearch クラスタからデータを読み取ります。
logstash-input-exec
シェルコマンドを定期的に実行し、シェルコマンドの出力をイベントとしてキャプチャします。
logstash-input-ganglia
ユーザーデータグラムプロトコル (UDP) を介して Ganglia パケットを読み取ります。
logstash-input-gelf
Graylog 拡張ログフォーマット (GELF) メッセージをネットワークからイベントとして読み取ります。
logstash-input-generator
ランダムなログイベントを生成します。
logstash-input-graphite
Graphite からメトリックを読み取ります。
logstash-input-heartbeat
ハートビートメッセージを生成します。
logstash-input-http
HTTP または HTTPS 経由で単一行または複数行のイベントを受信します。
logstash-input-http_poller
HTTP API の出力をイベントにデコードして送信します。
logstash-input-imap
インターネットメッセージアクセスプロトコル (IMAP) サーバーから電子メールを読み取ります。
logstash-input-jdbc
Java Database Connectivity (JDBC) インターフェースを使用してデータベースからデータを読み取ります。
logstash-input-kafka
Kafka トピックからイベントを読み取ります。
logstash-input-pipe
長時間実行されるコマンドパイプからイベントをストリーミングします。
logstash-input-rabbitmq
RabbitMQ キューからイベントを読み取ります。
logstash-input-redis
Redis インスタンスからイベントを読み取ります。
logstash-input-s3
Amazon Simple Storage Service (Amazon S3) バケット内のオブジェクトからイベントをストリーミングします。
logstash-input-snmp
簡易ネットワーク管理プロトコル (SNMP) を使用してネットワークデバイスをポーリングし、デバイスのステータスを取得します。
logstash-input-snmptrap
SNMP トラップメッセージをイベントとして読み取ります。
logstash-input-sqs
Amazon Simple Queue Service (SQS) キューからイベントを読み取ります。
logstash-input-stdin
標準入力からイベントを読み取ります。
logstash-input-syslog
Syslog メッセージをネットワークからイベントとして読み取ります。
logstash-input-tcp
TCP ソケット経由でイベントを読み取ります。
logstash-input-twitter
Twitter Streaming API からイベントを読み取ります。
logstash-input-udp
UDP 経由でネットワークからメッセージをイベントとして読み取ります。
logstash-input-unix
UNIX ソケット経由でイベントを読み取ります。
output
logstash-output-elasticsearch
Elasticsearch クラスタにデータを書き込みます。
logstash-output-kafka
Kafka トピックにイベントを書き込みます。
logstash-output-lumberjack
lumberjack プロトコル経由でイベントを送信します。
logstash-output-nagios
Nagios コマンドファイルを使用して、受動チェック結果を Nagios に送信します。
logstash-output-pagerduty
事前設定されたサービスとアップグレードポリシーに基づいて通知を送信します。
logstash-output-pipe
パイプを使用して、イベントを別のプログラムの標準入力にプッシュします。
logstash-output-rabbitmq
RabbitMQ exchange にイベントをプッシュします。
logstash-output-redis
RPUSH コマンドを使用して、イベントを Redis キューに送信します。
logstash-output-s3
一度に Logstash イベントを Amazon S3 にアップロードします。
logstash-output-sns
Amazon Simple Notification Service (SNS) にイベントを送信します。Amazon SNS はフルマネージドの pub/sub メッセージングサービスです。
logstash-output-sqs
Amazon SQS キューにイベントをプッシュします。
logstash-output-stdout
シェルコマンドを実行する Logstash の標準出力にイベントを返します。
logstash-output-tcp
TCP ソケット経由でイベントを書き込みます。
logstash-output-udp
UDP 経由でイベントを送信します。
logstash-output-webhdfs
WebHDFS RESTful API を呼び出すことによって、Logstash イベントを Hadoop 分散ファイルシステム (HDFS) 内のファイルに送信します。
logstash-output-cloudwatch
メトリックを集計して Amazon CloudWatch に送信します。
logstash-output-csv
CSV または区切り形式でディスクにイベントを書き込みます。このプラグインはファイル出力に基づいており、多くの設定値が共有されています。本番環境では Ruby CSV ライブラリは推奨されません。
logstash-output-elastic_app_search
Elastic App Search にイベントを送信します。
logstash-output-email
出力が受信されたときに電子メールを送信します。条件を使用して、電子メール出力の実行を含めるか除外するかを指定できます。
logstash-output-file
ディスク上のファイルにイベントを書き込みます。イベント内のフィールドをファイル名またはパスの一部として使用できます。
logstash-output-graphite
ログからメトリックを読み取り、Graphite に送信します。Graphite は、メトリックを保存およびグラフ化できるオープンソースツールです。
logstash-output-http
汎用 HTTP または HTTPS エンドポイントにイベントを送信します。
filter
logstash-filter-aggregate
通常はログレコードであり、同じタスクに属する複数のイベントからの情報を集約し、集約された情報を最終タスクイベントにプッシュします。
logstash-filter-anonymize
フィールド値を一貫したハッシュに置き換えることで、フィールドを匿名化します。
logstash-filter-cidr
イベント内の IP アドレスをネットワークブロックのリストと照合します。
logstash-filter-prune
ブラックリストまたはホワイトリストのフィールドに基づいてイベントデータを合理化します。
logstash-filter-clone
イベントを複製します。このプラグインは、クローンリストのタイプごとにクローンを作成します。
logstash-filter-csv
CSV データを含むイベントフィールドを解析し、フィールドを個別のフィールドとして保存します。フィールド名を指定することもできます。このプラグインは、カンマ (,) など、区切り文字を含むデータを解析します。
logstash-filter-date
フィールドから日付を解析し、日付またはタイムスタンプをイベントの Logstash タイムスタンプとして使用します。
logstash-filter-de_dot
ドット (.) を別の区切り文字に置き換えて、フィールドの名前を変更します。このプラグインは費用対効果が高くありません。ソースフィールドの内容を、ドットを含まない名前の宛先フィールドにコピーし、ソースフィールドを削除します。
logstash-filter-dissect
分割操作を実行します。
logstash-filter-dns
逆配列の下にある指定されたレコードまたはすべてのレコードでルックアップを実行します。ルックアップは、A または CNAME レコードルックアップ、または PTR レコードの逆引き参照です。
logstash-filter-drop
フィルタ条件を満たすすべてのイベントをドロップします。
logstash-filter-elasticsearch
Elasticsearch で履歴ログイベントを検索し、イベントから現在のイベントにいくつかのフィールドをコピーします。
logstash-filter-fingerprint
1 つ以上のフィールドに対して一貫したハッシュをフィンガープリントとして作成し、結果を新しいフィールドに保存します。
logstash-filter-geoip
Maxmind GeoLite2 データベースのデータに基づいて、IP アドレスの地理的な場所を追加します。
logstash-filter-grok
非構造化データである任意のテキストを構造化データに解析します。
logstash-filter-http
外部 Web サービスまたは RESTful API との統合を提供します。
logstash-filter-jdbc_static
リモートデータベースからプリロードされたデータでイベントをエンリッチします。
logstash-filter-jdbc_streaming
SQL クエリを実行し、結果セットを宛先フィールドに保存します。このプラグインは、有効な結果を Least Recently Used (LRU) キャッシュにローカルにキャッシュします。
logstash-filter-json
JSON データを含む既存のフィールドを、Logstash イベント内の実際のデータ構造に展開します。このプラグインは JSON 解析フィルタです。
logstash-filter-kv
メッセージまたは特定のイベントフィールドの自動解析を有効にします。メッセージは foo=bar metasyntactic 変数です。
logstash-filter-memcached
Memcached の外部データとの統合を提供します。
logstash-filter-metrics
メトリックを集計します。
logstash-filter-mutate
フィールドで変更を実行します。イベント内のフィールドの名前変更、削除、置換、および変更を行うことができます。
logstash-filter-ruby
Ruby コードを実行します。このプラグインは、インライン Ruby コードまたは Ruby ファイルを受け入れます。2 つのオプションは相互に排他的であり、動作方法が若干異なります。
logstash-filter-sleep
指定された時間範囲でスリープモードに入ります。これにより、Logstash はこの期間ストールし、スロットリングが容易になります。
logstash-filter-split
フィールドの 1 つを分割し、分割操作から得られた各値を元のイベントのクローンに配置することにより、イベントを複製します。分割するフィールドは、文字列または配列のいずれかです。
logstash-filter-syslog_pri
Syslog メッセージの PRI フィールドを解析します。Syslog メッセージの詳細については、RFC 3164 を参照してください。優先順位が指定されていない場合、デフォルト値は RFC に従って 13 です。
logstash-filter-throttle
イベントの数を制限します。
logstash-filter-translate
設定されたハッシュまたはファイルを使用して、置換値を決定します。このプラグインは、一般的な検索および置換ツールです。
logstash-filter-truncate
指定された長さを超えるフィールドを切り捨てます。
logstash-filter-urldecode
URL エンコードされたフィールドをデコードします。
logstash-filter-useragent
Browserscope データに基づいて、ユーザーエージェント文字列を構造化データに解析します。
logstash-filter-xml
XML データを含むフィールドを実際のデータ構造に展開します。これは XML フィルタです。
codec
logstash-codec-cef
ArcSight Common Event Format (CEF) のデータを読み取ります。これは Logstash コーデックの実装です。2013 年 6 月 5 日付の Implementing ArcSight CEF のリビジョン 20 に基づいています。
logstash-codec-collectd
UDP 経由で collectd バイナリプロトコルからネットワーク上のイベントを読み取ります。
logstash-codec-dots
このプラグインによって処理される各イベントを表すドット (.) を生成します。
logstash-codec-edn
Extensible Data Notation (EDN) 形式のデータを読み書きします。
logstash-codec-edn_lines
改行で区切られた EDN 形式のデータを読み書きします。
logstash-codec-es_bulk
Elasticsearch バルク形式を個々のイベントにデコードし、メタデータを [ @metadata ](/metadata) フィールドにデコードします。
logstash-codec-fluent
Fluentd の MessagePack スキーマを処理します。
logstash-codec-graphite
Graphite 形式の行をエンコードおよびデコードします。
logstash-codec-json
完全な JSON メッセージをデコードおよびエンコードします。デコードプロセスは入力に基づいており、エンコードプロセスは出力に基づいています。
logstash-codec-json_lines
改行で区切られたストリーミング JSON データをデコードします。
logstash-codec-line
行指向のテキストデータを読み取ります。
logstash-codec-msgpack
MessagePack でエンコードされたコンテンツを読み書きします。
logstash-codec-multiline
複数行のメッセージを 1 つのイベントにマージします。
logstash-codec-netflow
Netflow v5、v9、および v10 (IPFIX) フローをデコードします。
logstash-codec-plain
イベント間に区切り文字のないプレーンテキストを処理します。
logstash-codec-rubydebug
Ruby Awesome Print ライブラリを使用して Logstash イベントデータを生成します。