このトピックでは、Taildir ソース、ファイルチャネル、および HDFS シンク設定の共通パラメーターチューニングについて説明します。
Taildir ソース
| パラメーター | 説明 |
| filegroups | フォルダーを複数のパートに分割して、ソースからの同時読み取りを増やします。 |
| batchSize | デフォルト値は 100 です。一度に読み取るデータ行数です。この値を大きくすると、スループットが向上します。 |
ファイルチャネル
| パラメーター | 説明 |
| checkpointInterval | デフォルト値は 30 秒 (s) です。この値を小さくすると、チェックポイントの書き込み間隔が短縮されます。 |
| useDualCheckpoints | デフォルト値は false です。このパラメーターを true に設定すると、再起動中にチェックポイントが失われた場合に、システムが最初からすべてのイベントを再読み取りするのを防ぎます。 |
| maxFileSize | デフォルト値は 2146435071 バイト (約 2 GB) です。単一のデータファイルのサイズです。 この値を小さくすると、ファイルチャネルは期限切れのファイルをより早く削除し、ディスク使用量を削減できます。 |
| capacity | デフォルト値は 1,000,000 です。チャネルが保持できるイベントの最大数です。 この値を大きくすると、スループットが最適化されます。また、この値に単一イベントのサイズを掛けることで、ディスク使用量を見積もることもできます。 |
| transactionCapacity | デフォルト値は 10,000 です。チャネルがサポートする単一トランザクションの最大容量です。 |
HDFS シンク
| パラメーター | 説明 |
| hdfs.batchSize | デフォルト値は 100 です。HDFS にコンテンツを書き込む際の各バッチ操作のイベント数です。 この値を大きくすると、スループットが向上します。 説明 このパラメーターは、ソース設定の batchSize パラメーターと同じ値に設定してください。この値は、チャネル設定の transactionCapacity パラメーターの値を超えてはなりません。 |
| hdfs.threadsPoolSize | デフォルト値は 10 です。HDFS I/O スレッドの数です。この値は、マシンの設定に基づいて調整してください。 |
| hdfs.useLocalTimeStamp | デフォルト値は false です。ローカルタイムスタンプを使用するかどうかを指定します。 このパラメーターを true に設定すると、イベントヘッダーにタイムスタンプが追加されます。 |
| hdfs.rollInterval | デフォルト値は 30 秒 (s) です。一時ファイルがオブジェクトファイルにロールオーバーされる間隔です。 このパラメーターを 0 に設定すると、時間ベースのロールオーバーが無効になります。 |
| hdfs.rollSize | デフォルト値は 1024 バイトです。一時ファイルがオブジェクトファイルにロールオーバーされるファイルサイズです。 このパラメーターを 0 に設定すると、サイズベースのロールオーバーが無効になります。 |
| hdfs.rollCount | デフォルト値は 0 です。一時ファイルがオブジェクトファイルにロールオーバーされるイベント数です。 このパラメーターを 0 に設定すると、イベント数ベースのロールオーバーが無効になります。 |
| hdfs.minBlockReplicas | デフォルト値は 1 です。HDFS ファイルブロックの最小レプリカ数です。 通常、ファイルが正しくロールオーバーされるように、このパラメーターは 1 に設定します。 |