Saiba como criar um cluster Kafka no E-MapReduce (EMR) e configurar os principais parâmetros para clusters com discos locais.
Criar um cluster Kafka
Para criar um cluster com Kafka, acesse o novo console do E-MapReduce e crie um cluster Dataflow. Para mais informações, consulte Criar um cluster Dataflow Kafka.
O serviço Kafka não é compatível com as versões 5.18.0 ou posteriores e 3.52.0 ou posteriores do E-MapReduce (EMR). Recomendamos usar o ApsaraMQ for Kafka ou instale o Kafka manualmente.
Clusters Kafka com discos locais
Se o serviço Kafka executar em instâncias com discos locais, configure os seguintes parâmetros na página Configure do console E-MapReduce.
|
Parâmetro |
Descrição |
|
default.replication.factor |
Fixo em 3. Cada tópico tem três réplicas. |
|
min.insync.replicas |
Fixo em 2. Pelo menos duas réplicas devem permanecer sincronizadas continuamente. A gravação só terá êxito se o produtor definir request.required.acks como all ou -1 e pelo menos duas réplicas confirmarem a operação. |
Parâmetros
Visualize os parâmetros do serviço Kafka na página Configure do console E-MapReduce.
|
Parâmetro |
Descrição |
|
zookeeper.connect |
String de conexão do ZooKeeper do cluster. |
|
kafka.heap.opts |
Tamanho da memória heap de cada broker Kafka. |
|
num.io.threads |
Número de threads de I/O por broker Kafka. O padrão é o dobro de núcleos de CPU no nó mestre. |
|
num.network.threads |
Número de threads de rede por broker Kafka. O padrão equivale à quantidade de núcleos de CPU no nó mestre. |