Layanan Kafka didukung di E-MapReduce (EMR) V3.4.0 dan versi lebih baru.
Buat klaster Kafka
Di konsol EMR, buat klaster Kafka. Untuk informasi lebih lanjut, lihat Buat klaster Dataflow Kafka.
Klaster Kafka dengan disk lokal
Saat menerapkan layanan Kafka pada instans dengan disk lokal, konfigurasikan parameter yang dijelaskan dalam tabel berikut di tab Configure layanan Kafka di konsol EMR.
Parameter | Deskripsi |
default.replication.factor | Nilainya tetap 3, yang menunjukkan bahwa setiap topik memiliki tiga replika. |
min.insync.replicas | Nilainya tetap 2, yang menunjukkan bahwa jumlah replika lebih besar dari atau sama dengan 2. Tulis dianggap berhasil hanya jika produser mengatur parameter request.required.acks ke all atau -1 dan jumlah replika yang mengakui tulis lebih besar dari atau sama dengan 2. |
Parameter
Konfigurasi layanan Kafka dapat dilihat di tab Configure layanan Kafka di konsol EMR.
Parameter | Deskripsi |
zookeeper.connect | Menentukan nama host dan port server ZooKeeper yang terhubung ke klaster Kafka. |
kafka.heap.opts | Ukuran memori heap broker Kafka. |
num.io.threads | Jumlah thread I/O broker Kafka. Nilai default adalah dua kali jumlah core CPU Node master. |
num.network.threads | Jumlah thread jaringan broker Kafka. Nilai default adalah jumlah core CPU Node master. |