Kafka サービスは、E-MapReduce (EMR) V3.4.0 以降でサポートされています。
Kafka クラスタの作成
EMR コンソールで、Kafka クラスタを作成します。詳細については、「Dataflow Kafka クラスタを作成する」をご参照ください。
ローカルディスクを使用する Kafka クラスタ
ローカルディスクを使用するインスタンスに Kafka サービスをデプロイする場合は、EMR コンソールの Kafka サービスの [構成] タブで、次の表に示すパラメーターを構成する必要があります。
パラメーター | 説明 |
default.replication.factor | 値は 3 に固定されています。これは、各トピックに 3 つのレプリカがあることを示します。 |
min.insync.replicas | 値は 2 に固定されています。これは、レプリカの数が 2 以上であることを示します。 プロデューサーが request.required.acks パラメーターを all または -1 に設定し、書き込みを承認するレプリカの数が 2 以上の場合にのみ、書き込みは成功します。 |
パラメーター
Kafka サービスの構成は、EMR コンソールの Kafka サービスの [構成] タブで表示できます。
パラメーター | 説明 |
zookeeper.connect | Kafka クラスタに接続されている ZooKeeper サーバーのホスト名とポートを指定します。 |
kafka.heap.opts | Kafka ブローカーのヒープメモリサイズ。 |
num.io.threads | Kafka ブローカーの I/O スレッドの数。デフォルト値は、マスターノードの CPU コア数の 2 倍です。 |
num.network.threads | Kafka ブローカーのネットワークスレッドの数。デフォルト値は、マスターノードの CPU コア数です。 |