このトピックでは、Kafka に関するよくある質問への回答を提供します。
Kafka コンポーネントの出力ログをクリーンアップするにはどうすればよいですか？
Kafka コンポーネントの出力ログのサイズが大きすぎて、ストレージ容量を大量に占有している場合は、出力ログが格納されている $LOG_DIR_ROOT ディレクトリに移動し、Kafka コンポーネントのディレクトリからログファイルを削除します。デフォルトのストレージディレクトリは /mnt/disk1/log です。ビジネス要件に基づいて、kafka、cruise-control、kafka-schema-registry、kafka-rest-proxy など、さまざまな Kafka コンポーネントのログファイルを削除できます。
Kafka Manager コンポーネントの出力ログをクリーンアップするにはどうすればよいですか？
Kafka Manager コンポーネントの出力ログのサイズが大きすぎて、ストレージ容量を大量に占有している場合は、出力ログが格納されている $LOG_DIR_ROOT/kafka-manager ディレクトリに移動し、Kafka Manager コンポーネントのログディレクトリからログファイルを削除します。デフォルトのストレージディレクトリは /mnt/disk1/log/kafka-manager です。
Kafka Manager コンポーネントを停止できますか？
Kafka Manager は、Kafka クラスタの管理ソフトウェアです。Kafka が外部に読み取りおよび書き込みサービスを提供する場合、Kafka は Kafka Manager コンポーネントに依存しません。Kafka 管理プラットフォームが統合されていない場合は、Kafka Manager コンポーネントを保持することをお勧めします。 Kafka Manager コンポーネントが不要な場合は、E-MapReduce（EMR）コンソールのクラスタの [サービス] タブでコンポーネントを停止できます。
「ERROR: While executing topic command: Replication factor: 1 larger than available brokers: 0」エラーを修正するにはどうすればよいですか？
問題の説明：
Kafka サービスでエラーが発生します。クラスタのブローカープロセスが終了します。
Kafka クラスタの ZooKeeper ホストに関する情報が無効です。
解決策：
ログに基づいて問題を修正します。
EMR コンソールで、[クラスタ ZooKeeper ホスト] パラメータの値を Kafka クラスタの [kafka.manager.zookeeper.hosts] パラメータの値に変更します。
「java.net.BindException: Address already in use (Bind failed)」エラーを修正するにはどうすればよいですか？
Java Management Extensions（JMX）ポートが使用されています。コマンドを実行する前に、JMX ポートを指定します。サンプルコード：
JMX_PORT=10101 kafka-topics.sh --bootstrap-server core-1-1:9092 --list「current leader's lastest offset xxxx is less than replica's lastest offset xxxxxx」エラーを修正するにはどうすればよいですか？
すべてのデータが消費されているか、データ損失が許容されることを確認した場合は、Kafka ブローカーコンポーネントの unclean.leader.election.enable パラメータの値を true に変更し、Kafka ブローカーコンポーネントを再起動します。コンポーネントが再起動した後、unclean.leader.election.enable パラメータの値を false に戻すことができます。
ログディレクトリ内の Kafka データを格納するディスクがいっぱいになった場合はどうすればよいですか？
ログディレクトリ内の Kafka データを格納するディスクがいっぱいになると、ログディレクトリはオフラインになります。詳細については、「EMR Kafka クラスタのディスク容量がいっぱいになった場合の O&M 操作の実行」で提供されている方法を使用して、この問題を解決できます。
「Too many open files」エラーを修正するにはどうすればよいですか？
問題の説明：
パーティションまたはネットワーク接続の数が多すぎます。
解決策：
/etc/security/limits.conf システム設定ファイルの ulimit open files 設定項目を変更します。設定ファイルの最後にリストされている * soft nofile パラメータと * hard nofile パラメータの値を、ビジネス要件に基づいて変更します。次に、異常なコンポーネントを再起動します。
Kafka トピックに必要なパーティション数を推定するにはどうすればよいですか？
Kafka トピックに必要なパーティション数は、さまざまな要因によって異なります。ビジネス要件に基づいてパーティション数を調整できます。まず、ストレステストを実行して、予想されるレイテンシ内でクラスタのプロデューサの 1 秒あたりの単一パーティションのスループットを取得します。次に、Kafka トピックの予想されるビジネストラフィックを推定します。このようにして、単一の Kafka トピックに必要なパーティション数を推定できます。コンシューマの消費速度に基づいてパーティション数を調整し、消費レイテンシを期待どおりにすることができます。ほとんどの場合、パーティションが多いほど、コンシューマの並列処理能力が高くなります。