Alibaba Cloud Logstash は、データ転送、処理、およびログのデバッグ機能を強化する 100 種類以上のデフォルトシステムプラグインをサポートしており、これにはオープンソースおよび独自のプラグインが含まれています。
Alibaba Cloud Logstash は、プリインストール済みのデフォルトのシステムプラグインのみをサポートしています。カスタムプラグインはサポートしていません。必要に応じて、これらのプラグインをインストールまたはアンインストールできます。Alibaba Cloud Logstash インスタンスのリソースは、お客様専用です。インスタンスのリソースを不正な操作に使用しないでください。
Alibaba Cloud Logstash は、以下のプラグインをサポートしています：
-
カスタムプラグイン
カテゴリ
名前
説明
概要
入力
logstash-input-maxcompute
Alibaba Cloud MaxCompute からデータを読み取ります。
logstash-input-oss
Alibaba Cloud Object Storage Service (OSS) からデータを読み取ります。
logstash-input-sls
Alibaba Cloud Simple Log Service (SLS) からログを読み取ります。
出力
logstash-output-file_extend
デバッグ目的で、パイプラインの出力をコンソールに直接表示します。
logstash-output-oss
データを Alibaba Cloud OSS にバッチで転送します。
-
オープンソース プラグイン
カテゴリ
名前
説明
概要
入力
logstash-input-azure_event_hubs
Azure Event Hubs からイベントを消費します。
logstash-input-beats
Elastic Beats フレームワークからイベントを受信します。
logstash-input-dead_letter_queue
Logstash のデッドレターキューからイベントを読み取ります。
logstash-input-elasticsearch
Elasticsearch クラスターからデータを読み取ります。
logstash-input-exec
シェルコマンドを定期的に実行し、コマンドの完全な出力をイベントとしてキャプチャします。
logstash-input-ganglia
ユーザーデータグラムプロトコル (UDP) を介して、ネットワークから Ganglia パケットを読み取ります。
logstash-input-gelf
ネットワーク経由で GELF 形式のメッセージをイベントとして読み取ります。
logstash-input-generator
ランダムなログイベントを生成します。
logstash-input-graphite
Graphite ツールからメトリックを読み取ります。
logstash-input-heartbeat
ハートビートメッセージを生成します。
logstash-input-http
HTTP または HTTPS 経由で単一行または複数行のイベントを受信します。
logstash-input-http_poller
HTTP API を呼び出し、出力をイベントにデコードして、イベントを送信します。
logstash-input-imap
IMAP サーバーからメールを読み取ります。
logstash-input-jdbc
Java Database Connectivity (JDBC) インターフェースを介して、任意のデータベースから Logstash にデータを読み取ります。
logstash-input-kafka
Kafka トピックからイベントを読み取ります。
logstash-input-pipe
長時間実行されるパイプコマンドからイベントをストリーミングします。
logstash-input-rabbitmq
RabbitMQ キューからイベントを読み取ります。
logstash-input-redis
Redis インスタンスからイベントを読み取ります。
logstash-input-s3
S3 バケット内のファイルからイベントをストリーミングします。
logstash-input-snmp
Simple Network Management Protocol (SNMP) を使用してネットワークデバイスをポーリングし、デバイスの現在の運用状況に関する情報を取得します。
logstash-input-snmptrap
SNMP トラップメッセージをイベントとして読み取ります。
logstash-input-sqs
Amazon Simple Queue Service (SQS) のキューからイベントを読み取ります。
logstash-input-stdin
標準入力からイベントを読み取ります。
logstash-input-syslog
ネットワーク経由で syslog メッセージをイベントとして読み取ります。
logstash-input-tcp
TCP ソケット経由でイベントを読み取ります。
logstash-input-twitter
Twitter Streaming API からイベントを受信します。
logstash-input-udp
UDP を使用してネットワーク経由でメッセージをイベントとして読み取ります。
logstash-input-unix
UNIX ソケット経由でイベントを読み取ります。
出力
logstash-output-elasticsearch
Elasticsearch クラスターにデータを書き込みます。
logstash-output-kafka
Kafka トピックにイベントを書き込みます。
logstash-output-lumberjack
lumberjack プロトコルを使用してイベントを送信します。
logstash-output-nagios
Nagios コマンドファイルを介して、パッシブチェックの結果を Nagios に送信します。
logstash-output-pagerduty
事前に設定されたサービスとエスカレーションポリシーに基づいて通知を送信します。
logstash-output-pipe
イベントを別のプログラムの標準入力にパイプします。
logstash-output-rabbitmq
イベントを RabbitMQ エクスチェンジにプッシュします。
logstash-output-redis
RPUSH コマンドを使用して Redis キューにイベントを送信します。
logstash-output-s3
Logstash イベントをバッチで Amazon Simple Storage Service (Amazon S3) にアップロードします。
logstash-output-sns
マネージド pub/sub サービスである Amazon Simple Notification Service にイベントを送信します。
logstash-output-sqs
Amazon Web Services (AWS) SQS キューにイベントをプッシュします。
logstash-output-stdout
Logstash を実行しているシェルコマンドの標準出力にイベントを出力します。
logstash-output-tcp
TCP ソケット経由でイベントを書き込みます。
logstash-output-udp
UDP 経由でイベントを送信します。
logstash-output-webhdfs
WebHDFS REST API を介して、Logstash イベントを HDFS 内のファイルに送信します。
logstash-output-cloudwatch
メトリックデータを集約して AWS CloudWatch に送信します。
logstash-output-csv
イベントをカンマ区切り値 (CSV) またはその他の区切り形式でディスクに書き込みます。この出力は、ファイル出力と同じオプションを共有します。内部的には Ruby CSV ライブラリを使用します。
logstash-output-elastic_app_search
Elastic App Search ソリューションにイベントを送信します。
logstash-output-email
出力を受信するとメールを送信します。条件を使用して、メール出力を実行するかどうかを指定します。
logstash-output-file
イベントをディスク上のファイルに書き込みます。イベントのフィールドをファイル名やパスの一部として使用できます。
logstash-output-graphite
ログからメトリックデータを読み取り、Graphite ツールに送信します。Graphite はメトリックを保存しプロットするためのオープンソースツールです。
logstash-output-http
汎用的な HTTP または HTTPS エンドポイントにイベントを送信します。
フィルター
logstash-filter-aggregate
複数のイベント (通常はログレコード) からの情報を単一のタスク内で集約し、集約された情報を最終的なタスクイベントにプッシュします。
logstash-filter-anonymize
フィールドを匿名化するために、フィールド値を一貫したハッシュに置き換えます。
logstash-filter-cidr
イベント内の IP アドレスをネットワークブロックのリストと照合します。
logstash-filter-prune
フィールドのブラックリストまたはホワイトリストに基づいて、イベントデータからフィールドを除去します。
logstash-filter-clone
イベントのクローンを作成します。クローンリスト内の各タイプに対してクローンが作成されます。
logstash-filter-csv
CSV データを含むイベントフィールドをパースし、個別のフィールドとして保存します。フィールド名も指定できます。このフィルターは、カンマだけでなく、任意の区切り文字でもデータをパースできます。
logstash-filter-date
フィールドから日付をパースし、その日付またはタイムスタンプをイベントの Logstash タイムスタンプとして使用します。
logstash-filter-de_dot
ドット (.) 文字を別の区切り文字に置き換えることで、フィールド名を変更します。実際には、このフィルターはコストが高いです。ソースフィールドの内容を、名前にドットを含まない新しい宛先フィールドにコピーし、その後、対応するソースフィールドを削除する必要があります。
logstash-filter-dissect
Dissect フィルターは分割操作です。
logstash-filter-dns
reverse 配列内の各レコードまたは指定されたレコードに対して、DNS ルックアップ (A レコードまたは CNAME レコードのルックアップ、または PTR レコードの逆引き) を実行します。
logstash-filter-drop
このフィルターを満たすすべてのイベントを削除します。
logstash-filter-elasticsearch
Elasticsearch で過去のログイベントを検索し、一部のフィールドを現在のイベントにコピーします。
logstash-filter-fingerprint
1つ以上のフィールドの一貫したハッシュ (フィンガープリント) を作成し、結果を新しいフィールドに保存します。
logstash-filter-geoip
Maxmind GeoLite2 データベースのデータに基づいて、IP アドレスに関する地理位置情報を追加します。
logstash-filter-grok
任意の非構造化テキストをパースして構造化します。
logstash-filter-http
外部の Web サービスや複数の REST API を統合します。
logstash-filter-jdbc_static
リモートデータベースから事前にロードされたデータでイベントをエンリッチします。
logstash-filter-jdbc_streaming
SQL クエリを実行し、結果セットを宛先フィールドに保存します。結果を、有効期限付きのローカル LRU (Least Recently Used) キャッシュにキャッシュします。
logstash-filter-json
JSON を含む既存のフィールドを Logstash イベント内の実際のデータ構造に展開する JSON パースフィルターです。
logstash-filter-kv
様々な foo=bar 形式のメッセージや特定のイベントフィールドを自動的にパースします。
logstash-filter-memcached
Memcached に外部データを統合します。
logstash-filter-metrics
メトリックを集約します。
logstash-filter-mutate
フィールドに対して変換を実行します。イベント内のフィールドの名前変更、削除、置換、変更を行います。
logstash-filter-ruby
Ruby コードを実行します。このフィルターは、インラインの Ruby コードまたはファイルのどちらかを受け付けます。この2つのオプションは相互に排他的で、動作方法が若干異なります。
logstash-filter-sleep
指定された時間スリープします。スリープ期間中、Logstash は停止します。これはレート制限に役立ちます。
logstash-filter-split
イベント内のフィールドを分割し、結果の各値を元のイベントのクローンに埋め込むことで、イベントをクローンします。分割するフィールドには、文字列または文字列の配列を指定できます。
logstash-filter-syslog_pri
Syslog (RFC3164) メッセージの先頭にある PRI フィールドをパースします。優先度が設定されていない場合、RFC で定義されている通り、デフォルトで13が使用されます。
logstash-filter-throttle
イベント数を制限します。
logstash-filter-translate
設定されたハッシュまたはファイルに基づいて置換値を決定する、汎用的な検索置換ツールです。
logstash-filter-truncate
特定の長さを超えるフィールドを切り詰めます。
logstash-filter-urldecode
URL エンコードされたフィールドをデコードします。
logstash-filter-useragent
BrowserScope データに基づいて、ユーザーエージェント文字列を構造化データにパースします。
logstash-filter-xml
XML フィルターです。XML を含むフィールドを実際のデータ構造に展開します。
コーデック
logstash-codec-cef
『Implementing ArcSight Common Event Format』(改訂20、2013年6月5日) に従って、Logstash コーデックを使用して ArcSight Common Event Format (CEF) データを処理します。
logstash-codec-collectd
UDP を使用して、ネットワーク経由で collectd バイナリプロトコルからイベントを読み取ります。
logstash-codec-dots
このコーデックは、処理する各イベントを表すドット (.) を生成します。
logstash-codec-edn
EDN 形式のデータを読み取り、生成します。
logstash-codec-edn_lines
EDN 形式の改行区切りデータを読み取り、生成します。
logstash-codec-es_bulk
Elasticsearch バルク形式は個別のイベントに、メタデータは
@metadataフィールドにデコードされます。logstash-codec-fluent
fluentd msgpack 形式を処理します。
logstash-codec-graphite
Graphite 形式の行をエンコードおよびデコードします。
logstash-codec-json
完全な JSON メッセージをデコード (入力から) およびエンコード (出力へ) します。
logstash-codec-json_lines
改行区切りの JSON ストリームをデコードします。
logstash-codec-line
行指向のテキストデータを読み取ります。
logstash-codec-msgpack
MessagePack でエンコードされたコンテンツを読み取り、生成します。
logstash-codec-multiline
複数行のメッセージを単一のイベントにマージします。
logstash-codec-netflow
Netflow v5、v9、および v10 (IPFIX) データをデコードします。
logstash-codec-plain
イベント間に区切り文字のないプレーンテキストを処理します。
logstash-codec-rubydebug
Ruby の Awesome Print ライブラリを使用して Logstash イベントデータを出力します。