E-MapReduce:FAQ

Bagaimana cara membersihkan output log komponen Kafka?

Jika output log komponen Kafka menghabiskan terlalu banyak ruang disk, hapus file log tersebut langsung dari direktori log.

Komponen Kafka menyimpan log di bawah $LOG_DIR_ROOT (default: /mnt/disk1/log). Setiap komponen memiliki subdirektori tersendiri:

Buka direktori yang relevan dan hapus file log yang tidak lagi diperlukan.

Bagaimana cara membersihkan output log komponen Kafka Manager?

Buka $LOG_DIR_ROOT/kafka-manager (default: /mnt/disk1/log/kafka-manager) dan hapus file log tersebut.

Apakah saya dapat menghentikan komponen Kafka Manager?

Ya. Kafka tidak bergantung pada Kafka Manager untuk operasi baca dan tulis, sehingga menghentikannya tidak memengaruhi layanan Kafka Anda.

Jika Anda belum mengintegrasikan platform manajemen Kafka lainnya, biarkan Kafka Manager tetap berjalan—ini adalah satu-satunya antarmuka manajemen Anda. Jika Anda telah memiliki alternatif dan tidak lagi memerlukan Kafka Manager, hentikan komponen tersebut dari tab Services kluster Anda di Konsol EMR.

Bagaimana cara memperbaiki error "Replication factor: 1 larger than available brokers: 0"?

Error ini memiliki dua kemungkinan penyebab:

• Proses broker telah keluar. Periksa log broker untuk mengidentifikasi kegagalan dan restart proses broker tersebut.

• Konfigurasi host ZooKeeper salah. Di Konsol EMR, perbarui parameter Cluster Zookeeper Hosts agar sesuai dengan nilai kafka.manager.zookeeper.hosts.

Bagaimana cara memperbaiki error "java.net.BindException: Address already in use (Bind failed)"?

Port Java Management Extensions (JMX) sedang digunakan. Tentukan port JMX yang berbeda sebelum menjalankan perintah:

JMX_PORT=10101 kafka-topics.sh --bootstrap-server core-1-1:9092 --list

Bagaimana cara memperbaiki error "current leader's lastest offset xxxx is less than replica's lastest offset xxxxxx"?

Error ini berarti leader saat ini tertinggal dibandingkan replika, sehingga menghalangi pemilihan leader yang bersih.

Sebelum melanjutkan, pastikan bahwa semua data telah dikonsumsi atau kehilangan data dapat diterima. Kemudian:

1. Atur unclean.leader.election.enable menjadi true pada komponen broker Kafka.

2. Restart komponen broker Kafka.

3. Setelah restart, atur kembali unclean.leader.election.enable ke false.

Apa yang harus saya lakukan jika disk yang menyimpan data Kafka di direktori log penuh?

Saat disk direktori log penuh, direktori log tersebut menjadi offline. Ikuti langkah-langkah dalam Lakukan operasi O\&M saat disk space kluster EMR Kafka penuh untuk memulihkannya.

Bagaimana cara memperbaiki error "Too many open files"?

Error ini terjadi ketika jumlah deskriptor file yang terbuka melebihi batas sistem, biasanya disebabkan oleh jumlah partisi atau koneksi jaringan yang besar.

Tingkatkan batas deskriptor file di /etc/security/limits.conf. Tambahkan atau perbarui baris berikut di akhir file:

* soft nofile <new-limit>
* hard nofile <new-limit>

Ganti <new-limit> dengan nilai yang sesuai untuk beban kerja Anda. Setelah menyimpan file, restart komponen yang terdampak.

Bagaimana cara memperkirakan jumlah partisi yang diperlukan untuk topik Kafka?

Gunakan pendekatan berikut:

1. Ukur throughput produsen per partisi. Jalankan uji stres untuk mendapatkan throughput (dalam MB/s) yang dapat dipertahankan oleh satu partisi dalam latency target Anda.

2. Perkirakan traffic yang diharapkan. Tentukan laju ingest puncak yang perlu ditangani oleh topik Anda.

3. Hitung jumlah partisi yang diperlukan. Berdasarkan throughput per partisi yang telah diukur dan traffic bisnis yang diharapkan, hitung jumlah partisi yang dibutuhkan untuk topik tersebut.

4. Atur ulang untuk paralelisme konsumen. Lebih banyak partisi memungkinkan lebih banyak konsumen membaca secara paralel. Jika konsumen tertinggal, tingkatkan jumlah partisi untuk memenuhi target latency konsumsi Anda.