Topik ini menjelaskan penyetelan parameter umum untuk konfigurasi Taildir Source, File Channel, dan HDFS Sink.
Taildir Source
| Parameter | Description |
| filegroups | Membagi sebuah folder menjadi beberapa bagian untuk meningkatkan pembacaan konkuren dari source. |
| batchSize | Nilai default-nya adalah 100. Jumlah baris data yang dibaca sekaligus. Tingkatkan nilai ini untuk meningkatkan throughput. |
File Channel
| Parameter | Description |
| checkpointInterval | Nilai default-nya adalah 30 detik (s). Kurangi nilai ini untuk memperpendek interval penulisan checkpoint. |
| useDualCheckpoints | Nilai default-nya adalah false. Atur parameter ini ke true untuk mencegah sistem membaca ulang semua event dari awal jika checkpoint hilang saat restart. |
| maxFileSize | Nilai default-nya adalah 1,6 GB. Ukuran satu file DATA. Kurangi nilai ini agar file channel dapat menghapus file yang telah kedaluwarsa lebih cepat dan mengurangi penggunaan disk. |
| capacity | Nilai default-nya adalah 1.000.000. Jumlah maksimum event yang dapat disimpan oleh channel. Tingkatkan nilai ini untuk mengoptimalkan throughput. Anda juga dapat mengalikan nilai ini dengan ukuran satu event untuk memperkirakan penggunaan disk. |
| transactionCapacity | Nilai default-nya adalah 10.000. Kapasitas maksimum satu transaksi yang didukung oleh channel. |
HDFS Sink
| Parameter | Description |
| hdfs.batchSize | Nilai default-nya adalah 100. Jumlah event dalam setiap operasi batch saat menulis konten ke HDFS. Tingkatkan nilai ini untuk meningkatkan throughput. Catatan Atur parameter ini dengan nilai yang sama seperti parameter batchSize pada konfigurasi Source. Nilainya tidak boleh melebihi nilai parameter transactionCapacity pada konfigurasi Channel. |
| hdfs.threadsPoolSize | Nilai default-nya adalah 10. Jumlah Thread I/O HDFS. Sesuaikan nilai ini berdasarkan konfigurasi mesin. |
| hdfs.useLocalTimeStamp | Nilai default-nya adalah false. Menentukan apakah akan menggunakan timestamp lokal. Atur parameter ini ke true untuk menambahkan timestamp ke Header event. |
| hdfs.rollInterval | Nilai default-nya adalah 30 detik (s). Interval di mana file temporary digulirkan menjadi file objek. Atur parameter ini ke 0 untuk menonaktifkan pengguliran berbasis waktu. |
| hdfs.rollSize | Nilai default-nya adalah 1024 byte. Ukuran file di mana file temporary digulirkan menjadi file objek. Atur parameter ini ke 0 untuk menonaktifkan pengguliran berbasis ukuran. |
| hdfs.rollCount | Nilai default-nya adalah 10 event. Jumlah event di mana file temporary digulirkan menjadi file objek. Atur parameter ini ke 0 untuk menonaktifkan pengguliran berbasis jumlah event. |
| hdfs.minBlockReplicas | Nilai default-nya adalah jumlah replika HDFS. Jumlah minimum replika untuk Blok file HDFS. Parameter ini biasanya diatur ke 1 untuk memastikan file digulirkan dengan benar. |