Kafka Manager は、Kafka クラスターを管理するためのウェブ UI を提供します。このトピックでは、UI へのアクセス方法とクラスターの追加方法について説明します。
前提条件
Kafka サービスが有効な Dataflow クラスターが作成されている必要があります。手順については、「クラスターの作成」をご参照ください。
Kafka サービスを選択すると、デフォルトで Kafka Manager がインストールされ、その認証機能が有効になります。
注意事項
現在のバージョンの Kafka Manager は、パーティションの再割り当てに対する速度制限をサポートしていません。速度制限が必要な場合は、kafka-configs.sh スクリプトを使用して手動でパラメーターを設定する必要があります。詳細については、「Kafka のメンテナンス操作におけるトラフィックの制限」をご参照ください。
操作手順
SSH トンネルを使用してウェブ UI にアクセスします。詳細については、「SSH トンネルを使用したオープンソースコンポーネントのウェブ UI へのアクセス」をご参照ください。
説明Kafka Manager を初めて使用する際に、デフォルトのパスワードを変更してください。
ポート 8085 が公開されるのを避けるため、SSH トンネル経由でウェブ UI にアクセスしてください。
http://localhost:8085でウェブ UI にアクセスする場合は、データ漏えいを防ぐために IP アドレスホワイトリストを設定する必要があります。
ログインページで、ユーザー名とパスワードを入力します。
ユーザー名、パスワード、ZooKeeper アドレスは、次の手順で取得します。
-
E-MapReduce コンソールにログインします。
上部のナビゲーションバーで、リージョンとリソースグループを選択します。
EMR on ECS ページで、対象のクラスターを見つけ、[操作] 列の Services をクリックします。
次の設定を取得します。
ユーザー名とパスワードの取得:
Services ページで、Kafka Manager サービスを見つけ、Configure をクリックします。
Configure ページで、次のパラメーターの値を確認します:
kafka.manager.authentication.username:Kafka Manager のウェブ UI にログインするためのユーザー名。
kafka.manager.authentication.password:Kafka Manager のウェブ UI にログインするためのパスワード。
クラスターの ZooKeeper アドレスの取得:
Services ページで、Kafka サービスを見つけ、Configure をクリックします。
Configure ページで、server.properties タブをクリックし、zookeeper.connect パラメーターの値を見つけます。 これがクラスターの ZooKeeper アドレスです。
-
Kafka Manager ページで、[Cluster] > [Add Cluster] を選択します。
[クラスターの追加] ページで、次のパラメーターを設定し、[保存] をクリックします。
パラメーター
説明
Cluster name
クラスターの名前。
Cluster ZooKeeper hosts
クラスターの ZooKeeper アドレス。
ステップ 2 で取得した zookeeper.connect の値を入力します。
Kafka version
ご利用のクラスターの Kafka バージョンを選択します。
説明Kafka Manager は新しいバージョンの Kafka をサポートしていない場合があります。利用可能な最も近いバージョンを選択してください。
Enable JMX polling (Set JMX_PORT env variable before starting kafka server)
Java Management Extensions (JMX) を有効にします。
この例では、JMX は有効になっています。
brokerViewThreadPoolSize
データをフェッチするために使用されるスレッドプールのサイズ。
重要2 より大きい値を入力してください。
クラスターを追加すると、標準の Kafka 機能を使用できます。設定を検証するには、Kafka Manager の [Brokers] メニューをクリックしてブローカーのリストと、Id、Host、Port、JMX Port、Bytes In、Bytes Out などの詳細情報を表示します。また、[Combined Metrics] の下にある Messages in/sec、Bytes in/sec、Bytes out/sec などのレートメトリックを確認し、すべてのブローカーが正常に実行され、JMX データを収集していることを確認します。