Découvrez comment créer un cluster Kafka dans E-MapReduce (EMR) et configurer les paramètres clés des clusters utilisant des disques locaux.
Créer un cluster Kafka
Pour créer un cluster incluant Kafka, connectez-vous à la nouvelle console E-MapReduce et créez un cluster Dataflow. Pour plus d'informations, consultez la rubrique Créer un cluster Dataflow Kafka.
Le service Kafka n'est pas pris en charge dans les versions 5.18.0 et ultérieures, ni dans les versions 3.52.0 et ultérieures d'E-MapReduce (EMR). Nous vous recommandons d'utiliser ApsaraMQ for Kafka ou d'installer Kafka manuellement.
Clusters Kafka avec disques locaux
Si le service Kafka s'exécute sur des instances dotées de disques locaux, configurez les paramètres suivants sur la page Configure de la console E-MapReduce.
|
Parameter |
Description |
|
default.replication.factor |
Fixé à 3. Chaque topic dispose de trois réplicas. |
|
min.insync.replicas |
Fixé à 2. Au moins deux réplicas doivent être synchronisés en permanence. L'écriture réussit uniquement si le producteur définit le paramètre request.required.acks sur |
Paramètres
Consultez les paramètres du service Kafka sur la page Configure de la console E-MapReduce.
|
Parameter |
Description |
|
zookeeper.connect |
Chaîne de connexion ZooKeeper du cluster. |
|
kafka.heap.opts |
Taille de la mémoire heap de chaque broker Kafka. |
|
num.io.threads |
Nombre de threads d'E/S par broker Kafka. La valeur par défaut correspond au double du nombre de cœurs CPU du nœud maître. |
|
num.network.threads |
Nombre de threads réseau par broker Kafka. La valeur par défaut correspond au nombre de cœurs CPU du nœud maître. |