E-MapReduce:Kafka Manager

注意事項

Kafka Manager を使用してパーティションを再割り当てする場合、現行バージョンの Kafka Manager はスロットリングをサポートしていません。スロットリングを有効にする場合は、kafka-configs.sh コマンドを実行して、スロットリング関連のパラメータを設定できます。詳細については、「Kafka ブローカーの O&M トラフィックを調整する」をご参照ください。

手順

1. SSH モードで Kafka Manager の Web UI にアクセスします。詳細については、「SSH トンネルを作成してオープンソースコンポーネントの Web UI にアクセスする」をご参照ください。

   説明

   • Kafka Manager を初めて使用する場合は、パスワードを変更することをお勧めします。

   • ポート 8085 が公開されないようにするために、SSH モードで Kafka Manager の Web UI にアクセスすることをお勧めします。http://localhost:8085 にアクセスして Web UI にアクセスする場合は、データリークを防ぐために IP アドレスホワイトリストを設定する必要があります。

2. ログオンページで、Kafka Manager に設定されているユーザー名とパスワードを入力します。

   次の手順を実行して、ユーザー名、パスワード、および ZooKeeper のアドレスを取得できます。

   1. EMR コンソール にログオンします。左側のナビゲーションペインで、[EMR on ECS] をクリックします。

   2. 上部のナビゲーションバーで、クラスタが存在するリージョンを選択し、ビジネス要件に基づいてリソースグループを選択します。

   3. [EMR on ECS] ページで、目的のクラスタを見つけ、[アクション] 列の サービス をクリックします。

   4. 必要な情報を取得します。

      • ユーザー名とパスワード

        1. サービス タブで、[Kafka Manager] を見つけて、設定 をクリックします。

        2. 設定 タブで、次のパラメータの値を確認します。

           • kafka.manager.authentication.username: Kafka Manager の Web UI にアクセスするために使用されるユーザー名。

           • kafka.manager.authentication.password: Kafka Manager の Web UI にアクセスするために使用されるパスワード。

      • ZooKeeper のアドレス

        1. サービス タブで、[Kafka] を見つけて、設定 をクリックします。

        2. 設定 タブで、server.properties タブをクリックし、zookeeper.connect パラメータの値を確認します。

3. Kafka Manager の Web UI で、クラスタ > クラスタの追加 を選択します。

4. クラスタの追加 ページで、次の表に示すパラメータを設定し、保存 をクリックします。

   

   パラメータ	説明
   クラスタ名	Dataflow クラスタの名前。
   クラスタ Zookeeper ホスト	ZooKeeper のアドレス。 手順 2 で取得した zookeeper.connect パラメータの値をフィールドに入力します。
   Kafka バージョン	Dataflow クラスタにデプロイされている Kafka のバージョン。 説明 Kafka Manager は、新しいバージョンの Kafka を含む Dataflow クラスタをサポートしていない場合があります。 Kafka Manager でサポートされている最新バージョンを選択できます。
   JMX ポーリングを有効にする (kafka サーバーを起動する前に JMX_PORT 環境変数を設定します)	Java Management Extensions (JMX) 機能を有効にするかどうかを指定します。 この例では、JMX 機能は有効になっています。
   brokerViewThreadPoolSize	データを取得するためのスレッドプールのサイズ。 重要 パラメータを 2 より大きい値に設定します。

   Dataflow クラスタを追加した後、Kafka の一般的な機能を使用できます。