EMR-3.4.0及后续版本支持Kafka服务。

创建Kafka集群

如果需要新建包含Kafka的集群,请登录E-MapReduce新版控制台创建DataFlow类型集群,创建集群详情请参见创建DataFlow Kafka集群

本地盘Kafka集群

当在本地盘上部署Kafka服务时,您需要在E-MapReduce控制台的配置页面,配置如下参数。
配置项 描述
default.replication.factor 固定值为3,表示Topic的副本数为3。
min.insync.replicas 固定值为2,表示副本数大于等于2。

当Producer设定request.required.acks为all或-1,且写入副本数大于等于2时,数据写入才能成功。

参数说明

您可以在E-MapReduce控制台的配置页面,查看Kafka的服务配置。
配置项 描述
zookeeper.connect Kafka集群Zookeeper的连接地址。
kafka.heap.opts Kafka Broker的堆内存大小。
num.io.threads Kafka Broker的IO线程数,默认为主节点CPU核数的2倍。
num.network.threads Kafka Broker的网络线程数,默认为主节点的CPU核数。