本文為您介紹在阿里雲E-MapReduce上建立及配置Kafka叢集的方法與相關注意事項。
建立Kafka叢集
如果需要建立包含Kafka的叢集，請登入E-MapReduce新版控制台建立DataFlow類型叢集，建立叢集詳情請參見建立DataFlow Kafka叢集。
說明
EMR-5.18.0及之後版本、EMR-3.52.0及之後版本將不再支援Kafka服務。建議使用阿里雲的雲訊息佇列 Kafka 版或自行進行安裝。
本地碟Kafka叢集
當在本地碟上部署Kafka服務時，您需要在E-MapReduce控制台的配置頁面，配置如下參數。
|
配置項 |
描述 |
|
default.replication.factor |
固定值為3，表示Topic的副本數為3。 |
|
min.insync.replicas |
固定值為2，表示副本數大於等於2。 當Producer設定request.required.acks為all或-1，且寫入副本數大於等於2時，資料寫入才能成功。 |
參數說明
您可以在E-MapReduce控制台的配置頁面，查看Kafka的服務配置。
|
配置項 |
描述 |
|
zookeeper.connect |
Kafka叢集Zookeeper的串連地址。 |
|
kafka.heap.opts |
Kafka Broker的堆記憶體大小。 |
|
num.io.threads |
Kafka Broker的IO線程數，預設為主節點CPU核心數的2倍。 |
|
num.network.threads |
Kafka Broker的網路線程數，預設為主節點的CPU核心數。 |