E-MapReduce:Kafka Manager

Pré-requisitos

Você criou um cluster Dataflow com o service Kafka ativado. Para instruções, consulte Create a cluster.

Observações de uso

A versão atual do Kafka Manager não oferece suporte a throttling para reatribuição de partições. Para configurar o throttling, utilize o script kafka-configs.sh. Para mais informações, consulte Limit the traffic for Kafka maintenance operations.

Procedimento

1. Use um túnel SSH para acessar a interface web. Para mais detalhes, consulte Use an SSH tunnel to access the web UIs of open-source components.

   Nota

   • Altere a senha padrão no primeiro acesso ao Kafka Manager.

   • Para evitar expor a porta 8085, acesse a interface web por meio de um túnel SSH. Caso acesse via http://localhost:8085, configure uma lista de permissões de endereços IP para prevenir vazamentos de dados.

2. Na página de login, insira seu nome de usuário e senha.

   Obtenha o nome de usuário, a senha e o endereço do ZooKeeper conforme descrito a seguir:

   1. Faça login no E-MapReduce console.

   2. Na barra de navegação superior, selecione uma região e resource group.

   3. Na página EMR on ECS, localize o cluster desejado e clique em Services na coluna Actions.

   4. Obtenha as seguintes configurações:

      • Para obter o nome de usuário e a senha:

        1. Na página Services, localize o service Kafka Manager e clique em Configure.

        2. Na página Configure, visualize os valores dos seguintes parâmetros:

           • kafka.manager.authentication.username: Nome de usuário para acesso à interface web do Kafka Manager.

           • kafka.manager.authentication.password: Senha para acesso à interface web do Kafka Manager.

      • Para obter o endereço ZooKeeper do cluster:

        1. Na página Services, localize o service Kafka e clique em Configure.

        2. Na página Configure, clique na aba server.properties e localize o valor do parâmetro zookeeper.connect. Esse é o endereço ZooKeeper do cluster.

3. Na página do Kafka Manager, escolha Cluster > Add Cluster.

4. Na página Add Cluster, configure os parâmetros a seguir e clique em Save.

   Parameter	Description
   Cluster name	Nome do cluster.
   Cluster ZooKeeper hosts	Endereço ZooKeeper do cluster. Insira o valor de zookeeper.connect obtido em Step 2.
   Kafka version	Selecione a versão do Kafka utilizada pelo cluster. Nota O Kafka Manager pode não oferecer suporte a versões mais recentes do Kafka. Selecione a versão disponível mais próxima.
   Enable JMX polling (Set JMX_PORT env variable before starting kafka server)	Ativa o Java Management Extensions (JMX). Neste exemplo, o JMX está ativado.
   brokerViewThreadPoolSize	Tamanho do pool de threads utilizado para buscar dados. Importante Insira um valor maior que 2.

   Após adicionar o cluster, gerencie-o com os recursos padrão do Kafka. Para verificar a configuração, clique em Brokers e visualize os detalhes dos brokers, como ID, Host, Port, JMX Port, Bytes In e Bytes Out. Confira as Combined Metrics (Messages in/sec, Bytes in/sec, Bytes out/sec) para confirmar que todos os brokers estão em execução e coletando dados JMX.