Pelajari cara membuat kluster Kafka di E-MapReduce (EMR) dan mengonfigurasi parameter kunci untuk kluster yang menggunakan disk lokal.
Buat kluster Kafka
Untuk membuat kluster yang menyertakan Kafka, masuk ke Konsol E-MapReduce versi baru dan buat kluster Dataflow. Untuk informasi selengkapnya, lihat Buat kluster Dataflow Kafka.
Layanan Kafka tidak didukung di E-MapReduce (EMR) versi 5.18.0 dan yang lebih baru atau versi 3.52.0 dan yang lebih baru. Kami menyarankan Anda menggunakan ApsaraMQ for Kafka atau menginstal Kafka secara manual.
Kluster Kafka dengan disk lokal
Jika layanan Kafka berjalan pada instans dengan disk lokal, konfigurasikan parameter berikut pada halaman Configure di Konsol E-MapReduce.
|
Parameter |
Description |
|
default.replication.factor |
Ditetapkan pada nilai 3. Setiap topik memiliki tiga replika. |
|
min.insync.replicas |
Ditetapkan pada nilai 2. Minimal dua replika harus selalu dalam keadaan sinkron. Operasi penulisan berhasil hanya jika produsen mengatur request.required.acks ke all atau -1 dan minimal dua replika mengonfirmasi penulisan tersebut. |
Parameter
Lihat parameter layanan Kafka pada halaman Configure di Konsol E-MapReduce.
|
Parameter |
Description |
|
zookeeper.connect |
String koneksi ZooKeeper dari kluster. |
|
kafka.heap.opts |
Ukuran memori heap setiap broker Kafka. |
|
num.io.threads |
Jumlah thread I/O per broker Kafka. Nilai default-nya dua kali jumlah core CPU pada node master. |
|
num.network.threads |
Jumlah thread jaringan per broker Kafka. Nilai default-nya sama dengan jumlah core CPU pada node master. |