Logstash

Logstash は、複数のソースから同時にデータを収集し、データを変換し、指定された場所に保存できるオープンソースのサーバーサイドデータ処理パイプラインです。 Logstash は、次の方法でデータを処理します。

入力: さまざまな形式、サイズ、ソースのデータを収集します。実際のビジネスでは、データは複数のシステムにさまざまな形式で分散またはサイロ化されています。 Logstash は複数のデータ入力をサポートし、複数のデータソースから同時にデータを収集します。 Logstash は、ログ、Web アプリケーション、およびデータストレージから継続的なストリーミング方式でデータを収集できます。
フィルター: データをリアルタイムで解析および変換します。ソースから宛先ストレージへのデータ送信中に、Logstash フィルターは各イベントを解析し、名前付きフィールドを識別して構造を構築し、より強力な分析とビジネス価値のために共通の形式に収束するように変換します。
出力: データをエクスポートします。 Logstash は、さまざまなダウンストリームユースケースに柔軟に適応するために、複数の出力を提供します。

Logstash の詳細については、「Logstash Introduction」をご参照ください。

メリット

ApsaraMQ for Kafka を Logstash に接続する操作には、次のメリットがあります。

非同期処理: 操作効率を向上させ、バーストトラフィックがユーザーエクスペリエンスに影響を与えるのを防ぎます。
アプリケーションの分離: アップストリームアプリケーションまたはダウンストリームアプリケーションに例外が発生した場合でも、もう一方が正常に実行されるようにします。
オーバーヘッドの削減: Logstash のリソースオーバーヘッドを削減します。

ApsaraMQ for Kafka を Logstash に接続するには、次の方法を使用します。