E-MapReduce (EMR) で Kafka クラスターを作成し、ローカルディスクを使用するクラスターの主要パラメーターを設定する方法を説明します。
Kafka クラスターの作成
Kafka を含むクラスターを作成するには、新しい E-MapReduce コンソールにログインし、Dataflow クラスターを作成します。詳細については、「Create a Dataflow Kafka cluster」をご参照ください。
Kafka は、E-MapReduce（EMR）V5.18.0、EMR V3.52.0、および EMR V5.18.0 または V3.52.0 より前のマイナーバージョンではサポートされなくなりました。 ApsaraMQ for Kafka を使用するか、Kafka を手動でインストールすることをお勧めします。
ローカルディスクを使用する Kafka クラスター
Kafka サービスをローカルディスクを備えたインスタンスで実行する場合は、E-MapReduce コンソールの Configure ページで次のパラメーターを設定します。
|
パラメーター |
説明 |
|
default.replication.factor |
3 に固定です。各トピックには 3 つのレプリカがあります。 |
|
min.insync.replicas |
2 に固定です。少なくとも 2 つのレプリカが常に同期している必要があります。 書き込みは、プロデューサーが request.required.acks を all または -1 に設定し、かつ少なくとも 2 つのレプリカが書き込みを確認応答した場合にのみ成功します。 |
パラメーター
E-MapReduce コンソールの Configure ページで Kafka サービスのパラメーターを確認できます。
|
パラメーター |
説明 |
|
zookeeper.connect |
クラスターの ZooKeeper 接続文字列。 |
|
kafka.heap.opts |
各 Kafka ブローカーのヒープメモリサイズ。 |
|
num.io.threads |
Kafka ブローカーあたりの I/O スレッド数。デフォルトは、マスターノードの CPU コア数の 2 倍です。 |
|
num.network.threads |
Kafka ブローカーあたりのネットワークスレッド数。デフォルトは、マスターノードの CPU コア数です。 |