全部产品
Search
文档中心

开源大数据平台E-MapReduce:Kafka Manager

更新时间:Feb 27, 2024

Kafka Manager是专为Kafka设计的集群管理工具,提供了WebUI界面,允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI,并将集群添加至Kafka Manager的WebUI界面。

前提条件

已创建选择了Kafka服务的DataFlow集群,创建详情请参见创建集群

说明

当选择了Kafka服务,系统将默认安装Kafka Manager软件服务,并开启Kafka Manager的认证功能。

注意事项

使用Kafka Manager进行partition reassign功能时,当前版本的Kafka Manager是没有提供限流功能的。如果需要限流,您可以通过kafka-configs.sh手工配置限流参数,具体限流方式请参见限制Kafka服务端运维流量

操作步骤

  1. 使用SSH隧道方式访问Web页面,详情请参见通过SSH隧道方式访问开源组件Web UI

    说明
    • 建议您首次使用Kafka Manager时修改默认密码。

    • 为了防止8085端口暴露,建议使用SSH隧道方式来访问Web界面。如果使用http://localhost:8085方式访问Web界面,请做好IP白名单保护,避免数据泄露。

  2. 在登录页面,输入用户名和密码。

    用户名、密码和Zookeeper地址,您可以通过以下步骤获取:

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 在EMR on ECS页面,单击目标集群操作列的集群服务

    4. 获取以下配置信息。

      • 获取用户名和密码:

        1. 集群服务页面,单击Kafka Manager服务区域的配置

        2. 配置页面,查看以下参数的值:

          • kafka.manager.authentication.username:登录Kafka Manager页面的用户名。

          • kafka.manager.authentication.password:登录Kafka Manager页面的密码。

      • 获取集群的Zookeeper地址:

        1. 集群服务页面,单击Kafka服务区域的配置

        2. 配置页面,查看server.properties页签下的zookeeper.connect的参数值,即集群的Zookeeper地址。

  3. 在Kafka Manager页面,选择Cluster > Add Cluster

  4. Add Cluster页面,配置以下参数,单击Save

    Add Kafka

    参数

    描述

    Cluster Name

    集群名称。

    Cluster Zookeeper Hosts

    集群的Zookeeper地址。

    填写在步骤2中获取到的zookeeper.connect的值。

    Kafka Version

    选择对应的Kafka版本。

    说明

    由于Kafka Manager可能不支持高版本的Kafka,所以此参数值选择最接近的版本即可。

    Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)

    是否开启JMX功能。

    本示例开启了JMX功能。

    brokerViewThreadPoolSize

    获取数据时的线程池大小。

    重要

    修改参数值大于2。

    创建好之后即可使用常见的Kafka功能。Kafka