本ドキュメントでは、E-MapReduce (EMR) で Kafka クラスターを作成し、ローカルディスクを使用するクラスターの主要なパラメーターを設定する方法について説明します。
Kafka クラスターの作成
Kafka を含むクラスターを作成するには、新しい EMR コンソールにログインし、Dataflow クラスターを作成します。詳細については、「Dataflow Kafka クラスターの作成」をご参照ください。
E-MapReduce (EMR) バージョン 5.18.0 以降または 3.52.0 以降では、Kafka サービスはサポートされていません。 ApsaraMQ for Kafka を使用するか、手動で Kafka をインストールすることを推奨します。
ローカルディスクを使用する Kafka クラスター
Kafka サービスがローカルディスクを備えたインスタンスで実行されている場合は、EMR コンソールの Configure ページで次のパラメーターを設定してください。
|
パラメーター |
説明 |
|
default.replication.factor |
3 に固定されています。各トピックには 3 つのレプリカがあります。 |
|
min.insync.replicas |
2 に固定されています。常に少なくとも 2 つのレプリカが同期している必要があります。 プロデューサーが request.required.acks を all または -1 に設定し、かつ少なくとも 2 つのレプリカが書き込みを承認した場合にのみ、書き込みは成功します。 |
パラメーター
Kafka サービスのパラメーターは、EMR コンソールの Configure ページで確認できます。
|
パラメーター |
説明 |
|
zookeeper.connect |
クラスターの ZooKeeper 接続文字列です。 |
|
kafka.heap.opts |
各 Kafka ブローカーのヒープメモリサイズです。 |
|
num.io.threads |
Kafka ブローカーあたりの I/O スレッド数です。デフォルトでは、マスターノードの CPU コア数の 2 倍になります。 |
|
num.network.threads |
Kafka ブローカーあたりのネットワークスレッド数です。デフォルトでは、マスターノードの CPU コア数になります。 |