E-MapReduce：FAQ

Bagaimana cara membersihkan log keluaran dari komponen Kafka?

Jika log keluaran komponen Kafka terlalu besar dan memakan banyak ruang penyimpanan, Anda dapat menghapus file log dari direktori $LOG_DIR_ROOT. Direktori defaultnya adalah /mnt/disk1/log. File log berbagai komponen seperti kafka, cruise-control, kafka-schema-registry, dan kafka-rest-proxy dapat dihapus sesuai kebutuhan bisnis Anda.

Bagaimana cara membersihkan log keluaran dari komponen Kafka Manager?

Jika log keluaran komponen Kafka Manager terlalu besar dan memakan banyak ruang penyimpanan, Anda dapat menghapus file log dari direktori $LOG_DIR_ROOT/kafka-manager. Direktori defaultnya adalah /mnt/disk1/log/kafka-manager.

Apakah saya bisa menghentikan komponen Kafka Manager?

Kafka Manager adalah perangkat lunak manajemen untuk kluster Kafka. Kafka tidak bergantung pada Kafka Manager saat menyediakan layanan baca dan tulis eksternal. Jika tidak ada platform manajemen Kafka yang terintegrasi, disarankan untuk tetap menjalankan Kafka Manager. Namun, jika tidak diperlukan, Anda dapat menghentikannya melalui tab Services kluster di konsol E-MapReduce (EMR).

Bagaimana cara memperbaiki kesalahan "ERROR: While executing topic command: Replication factor: 1 larger than available brokers: 0"?

Bagaimana cara memperbaiki kesalahan "java.net.BindException: Address already in use (Bind failed)"?

JMX_PORT=10101 kafka-topics.sh --bootstrap-server core-1-1:9092 --list

Bagaimana cara memperbaiki kesalahan "current leader's lastest offset xxxx is less than replica's lastest offset xxxxxx"?

Jika Anda yakin bahwa semua data telah dikonsumsi atau kehilangan data diperbolehkan, ubah nilai parameter unclean.leader.election.enable komponen broker Kafka menjadi true dan mulai ulang komponen tersebut. Setelah itu, ubah nilai parameter unclean.leader.election.enable kembali menjadi false.

Apa yang harus saya lakukan jika disk yang menyimpan data Kafka di direktori log penuh?

Jika disk yang menyimpan data Kafka di direktori log penuh, direktori log akan offline. Masalah ini dapat diselesaikan dengan menggunakan metode yang dijelaskan di Melakukan operasi pemeliharaan saat ruang disk kluster EMR Kafka penuh.

Bagaimana cara memperbaiki kesalahan "Too many open files"?

Deskripsi masalah:

Terdapat sejumlah besar partisi atau koneksi jaringan yang berlebihan.

Solusi:

Modifikasi item konfigurasi ulimit open files di file konfigurasi sistem /etc/security/limits.conf. Ubah nilai parameter * soft nofile dan * hard nofile sesuai kebutuhan bisnis Anda. Kemudian, mulai ulang komponen yang bermasalah.

Bagaimana cara memperkirakan jumlah partisi yang diperlukan untuk topik Kafka?

Jumlah partisi yang diperlukan untuk topik Kafka bervariasi berdasarkan faktor tertentu. Sesuaikan jumlah partisi sesuai kebutuhan bisnis Anda. Pertama, lakukan uji stres untuk mendapatkan throughput per detik dari satu partisi untuk produsen kluster dalam latensi yang diharapkan. Selanjutnya, perkirakan lalu lintas bisnis yang diharapkan dari topik Kafka. Dengan demikian, Anda dapat memperkirakan jumlah partisi yang diperlukan untuk satu topik Kafka. Sesuaikan jumlah partisi berdasarkan kecepatan konsumsi konsumen agar latensi konsumsi memenuhi harapan. Secara umum, semakin banyak partisi menunjukkan paralelisme yang lebih tinggi untuk konsumen.