E-MapReduce:Kafka Manager

Prérequis

Vous avez créé un cluster Dataflow avec le service Kafka activé. Pour plus d'informations, consultez la rubrique Créer un cluster.

Notes d'utilisation

La version actuelle de Kafka Manager ne prend pas en charge la limitation du débit (throttling) pour les réaffectations de partitions. Pour configurer cette limitation, utilisez le script kafka-configs.sh. Pour en savoir plus, consultez la rubrique Limiter le trafic des opérations de maintenance Kafka.

Procédure

1. Accédez à l'interface web via un tunnel SSH. Pour plus de détails, consultez la rubrique Utiliser un tunnel SSH pour accéder aux interfaces web des composants open source.

   Remarque

   • Modifiez le mot de passe par défaut lors de votre première utilisation de Kafka Manager.

   • Pour éviter d'exposer le port 8085, accédez à l'interface web via un tunnel SSH. Si vous accédez à l'interface web à l'adresse http://localhost:8085, vous devez configurer une liste d'autorisation d'adresses IP pour prévenir les fuites de données.

2. Sur la page de connexion, saisissez votre nom d'utilisateur et votre mot de passe.

   Procédez comme suit pour obtenir le nom d'utilisateur, le mot de passe et l'adresse ZooKeeper :

   1. Connectez-vous à la console E-MapReduce.

   2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources.

   3. Sur la page EMR on ECS, localisez le cluster cible et cliquez sur Services dans la colonne Actions.

   4. Récupérez les informations de configuration suivantes :

      • Obtenez le nom d'utilisateur et le mot de passe :

        1. Sur la page Services , localisez le service Kafka Manager et cliquez sur Configure.

        2. Sur la page Configure , consultez les valeurs des paramètres suivants :

           • kafka.manager.authentication.username : nom d'utilisateur pour se connecter à l'interface web de Kafka Manager.

           • kafka.manager.authentication.password : mot de passe pour se connecter à l'interface web de Kafka Manager.

      • Obtenez l'adresse ZooKeeper du cluster :

        1. Sur la page Services , localisez le service Kafka et cliquez sur Configure.

        2. Sur la page Configure , cliquez sur l'onglet server.properties et recherchez la valeur du paramètre zookeeper.connect. Il s'agit de l'adresse ZooKeeper du cluster.

3. Sur la page Kafka Manager, choisissez Cluster > Add Cluster.

4. Sur la page Add Cluster, configurez les paramètres suivants et cliquez sur Save.

   Paramètre	Description
   Nom du cluster	Nom du cluster.
   Hôtes ZooKeeper du cluster	Adresse ZooKeeper du cluster. Saisissez la valeur zookeeper.connect obtenue à l'étape 2.
   Version de Kafka	Sélectionnez la version de Kafka correspondant à votre cluster. Remarque Kafka Manager peut ne pas prendre en charge les versions les plus récentes de Kafka. Sélectionnez la version disponible la plus proche.
   Activer l'interrogation JMX (définir la variable d'environnement JMX_PORT avant de démarrer le serveur Kafka)	Active Java Management Extensions (JMX). Dans cet exemple, JMX est activé.
   brokerViewThreadPoolSize	Taille du pool de threads utilisé pour récupérer les données. Important Saisissez une valeur supérieure à 2.

   Une fois le cluster ajouté, vous pouvez le gérer à l'aide des fonctionnalités Kafka standard. Pour vérifier la configuration, cliquez sur Brokers afin d'afficher les détails des brokers tels que Id, Host, Port, JMX Port, Bytes In et Bytes Out. Consultez les Combined Metrics (Messages in/sec, Bytes in/sec, Bytes out/sec) pour confirmer que tous les brokers sont opérationnels et collectent les données JMX.