E-MapReduce:Flume の概要

以下に例を示します：

--------------------------------
| ヘッダー (Map) | ボディ (byte[]) |
--------------------------------
               Flume Event

一般的なソースは、次のとおりです：

• Avro ソース： Avro ポートをリッスンして、Avro クライアントから送信されたイベントを受信します。Avro は、データシリアル化のために Hadoop によって提供されるプロトコルです。

• Exec ソース： tail -f /var/log/messages などのコマンドラインの出力をリッスンしてデータを取得します。

• NetCat TCP ソース： 指定された TCP ポートをリッスンしてデータを取得します。Netcat UDP ソースに似ています。

• Taildir ソース： ディレクトリ内の複数のファイルを監視し、オフセットを記録してデータ損失を防ぎます。このソースは一般的に使用されています。

一般的なチャネルは、次のとおりです：

• Memory チャネル： データをメモリにキャッシュします。高いパフォーマンスを提供し、一般的に使用されています。

• File チャネル： データをファイルにキャッシュします。チェックポイントファイルと DATA ファイルを記録し、高い信頼性を提供しますが、パフォーマンスは低くなります。

• JDBC チャネル： データをリレーショナルデータベースにキャッシュします。

• Kafka チャネル： Kafka を使用してデータをキャッシュします。

一般的なシンクは、次のとおりです：

• Logger シンク： テスト用です。

• Avro シンク： データを Avro イベントに変換します。主に複数の Flume エージェントを接続するために使用されています。

• HDFS シンク： HDFS にデータを書き込みます。このシンクは一般的に使用されています。

• Hive シンク： Hive テーブルまたはパーティションにデータを書き込みます。Hive トランザクションを使用してイベントを書き込みます。

• Kafka シンク： Kafka にデータを書き込みます。