全部產品
Search
文件中心

E-MapReduce:Kafka Manager

更新時間:Jul 01, 2024

Kafka Manager是專為Kafka設計的叢集管理工具,提供了WebUI介面,允許使用者通過圖形化介面便捷地管理Kafka叢集。本文為您介紹如何訪問Kafka Manager的WebUI,並將叢集添加至Kafka Manager的WebUI介面。

前提條件

已建立選擇了Kafka服務的DataFlow叢集,建立詳情請參見建立叢集

說明

當選擇了Kafka服務,系統將預設安裝Kafka Manager軟體服務,並開啟Kafka Manager的認證功能。

注意事項

使用Kafka Manager進行partition reassign功能時,目前的版本的Kafka Manager是沒有提供限流功能的。如果需要限流,您可以通過kafka-configs.sh手工配置限流參數,具體限流方式請參見限制Kafka服務端營運流量

操作步驟

  1. 使用SSH隧道方式訪問Web頁面,詳情請參見通過SSH隧道方式訪問開源組件Web UI

    說明
    • 建議您首次使用Kafka Manager時修改預設密碼。

    • 為了防止8085連接埠暴露,建議使用SSH隧道方式來訪問Web介面。如果使用http://localhost:8085方式訪問Web介面,請做好IP白名單保護,避免資料泄露。

  2. 在登入頁面,輸入使用者名稱和密碼。

    使用者名稱、密碼和Zookeeper地址,您可以通過以下步驟擷取:

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 在EMR on ECS頁面,單擊目的地組群操作列的叢集服務

    4. 擷取以下配置資訊。

      • 擷取使用者名稱和密碼:

        1. 叢集服務頁面,單擊Kafka Manager服務地區的配置

        2. 配置頁面,查看以下參數的值:

          • kafka.manager.authentication.username:登入Kafka Manager頁面的使用者名稱。

          • kafka.manager.authentication.password:登入Kafka Manager頁面的密碼。

      • 擷取叢集的Zookeeper地址:

        1. 叢集服務頁面,單擊Kafka服務地區的配置

        2. 配置頁面,查看server.properties頁簽下的zookeeper.connect的參數值,即叢集的Zookeeper地址。

  3. 在Kafka Manager頁面,選擇Cluster > Add Cluster

  4. Add Cluster頁面,配置以下參數,單擊Save

    Add Kafka

    參數

    描述

    Cluster Name

    叢集名稱。

    Cluster Zookeeper Hosts

    叢集的Zookeeper地址。

    填寫在步驟2中擷取到的zookeeper.connect的值。

    Kafka Version

    選擇對應的Kafka版本。

    說明

    由於Kafka Manager可能不支援高版本的Kafka,所以此參數值選擇最接近的版本即可。

    Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)

    是否開啟JMX功能。

    本樣本開啟了JMX功能。

    brokerViewThreadPoolSize

    擷取資料時的線程池大小。

    重要

    修改參數值大於2。

    建立好之後即可使用常見的Kafka功能。Kafka