Saiba como criar um cluster Kafka no E-MapReduce (EMR) e configurar os principais parâmetros para clusters com discos locais.
Criar um cluster Kafka
Para criar um cluster que inclua o Kafka, faça login no novo console do E-MapReduce e crie um cluster Dataflow. Para mais informações, consulte Crie um cluster Dataflow Kafka.
O service Kafka não é compatível com as versões 5.18.0 ou posteriores e 3.52.0 ou posteriores do E-MapReduce (EMR). Recomendamos o uso do ApsaraMQ for Kafka ou a instalação manual do Kafka.
Clusters Kafka com discos locais
Se o service Kafka for executado em instâncias com discos locais, configure os seguintes parâmetros na página Configure do console do E-MapReduce.
|
Parâmetro |
Descrição |
|
default.replication.factor |
Fixo em 3. Cada tópico tem três réplicas. |
|
min.insync.replicas |
Fixo em 2. Pelo menos duas réplicas devem permanecer sincronizadas constantemente. A gravação só é bem-sucedida se o produtor definir request.required.acks como all ou -1 e pelo menos duas réplicas confirmarem a operação. |
Parâmetros
Visualize os parâmetros do service Kafka na página Configure do console do E-MapReduce.
|
Parâmetro |
Descrição |
|
zookeeper.connect |
String de conexão do ZooKeeper do cluster. |
|
kafka.heap.opts |
Tamanho da memória heap de cada broker Kafka. |
|
num.io.threads |
Número de threads de I/O por broker Kafka. O padrão é o dobro de núcleos de CPU no nó mestre. |
|
num.network.threads |
Número de threads de rede por broker Kafka. O padrão equivale à quantidade de núcleos de CPU no nó mestre. |