Kafka Manager は、Kafka クラスターを管理するための Web ベースのクラスター管理ツールです。E-MapReduce (EMR) 上で実行される Dataflow Kafka クラスターを、便利に管理するためにご利用ください。
前提条件
開始する前に、以下の条件を満たしていることを確認してください。
-
クラスター作成時に Kafka を選択した Dataflow クラスターが存在すること。詳細については、「クラスターの作成」をご参照ください。
クラスター作成時に Kafka を選択すると、認証機能が有効化された状態で Kafka Manager が自動的にインストールされます。
開始する前に、EMR コンソールから次の値を取得してください。 EMR コンソールで、[EMR on ECS] に移動し、対象のクラスターを見つけ、[アクション] 列の [サービス] をクリックします。
| 値 | 取得場所 |
|---|---|
kafka.manager.authentication.username |
[サービス] タブ → Kafka Manager を見つけます → [設定] → [設定] タブ |
kafka.manager.authentication.password |
[サービス] タブ → Kafka Manager を見つけます → [設定] → [設定] タブ |
zookeeper.connect |
[サービス] タブ → Kafka を見つけます → [設定] → [設定] タブ → server.properties タブ |
制限事項
Kafka Manager では、パーティションの再割り当て時に速度制限をサポートしていません。速度制限を有効にするには、kafka-configs.sh スクリプトを実行して、速度制限に関連するパラメーターを設定してください。詳細については、「Kafka ブローカーの O&M トラフィックの速度制限」をご参照ください。
Kafka Manager へのアクセスおよびクラスターの追加
-
クラスターに対して SSH トンネルを開き、ブラウザで
http://localhost:8085にアクセスします。手順については、「オープンソースコンポーネントの Web UI へアクセスするための SSH トンネルの作成」をご参照ください。重要ポート 8085 を直接公開するのではなく、SSH トンネルをご利用ください。やむを得ずパブリックアドレス経由で Kafka Manager にアクセスする場合は、データ漏えいを防ぐため、IP アドレスホワイトリストを設定してください。
説明初回ログイン時には、デフォルトのパスワードを変更してください。
-
ログインページで、前提条件で収集した
kafka.manager.authentication.usernameおよびkafka.manager.authentication.passwordの値を入力します。 -
[クラスター] > [クラスターの追加] を選択します。
-
[クラスターの追加] ページで、次のパラメーターを設定し、[保存]をクリックします。
パラメーター 説明 クラスター名 Dataflow クラスターの名前です。 クラスタ Zookeeper ホスト 前提条件で収集した zookeeper.connectの値です。Kafka バージョン Dataflow クラスターにデプロイされた Kafka のバージョンです。Kafka Manager がご使用のクラスターの Kafka バージョンをサポートしていない場合は、Kafka Manager がサポートする最新のバージョンを選択してください。 JMX ポーリングの有効化 (Kafka サーバー起動前に JMX_PORT 環境変数を設定) Java Management Extensions (JMX) モニタリングを有効化します。 brokerViewThreadPoolSize ブローカーのデータ取得に使用するスレッド数です。2 より大きい値を指定してください。 
クラスターを追加した後、Kafka の一般的な機能をご利用になれます。
次のステップ
Dataflow クラスターに対して、Kafka Manager を使用してトピックの管理、パーティションの再割り当て、およびブローカーメトリックのモニタリングを行ってください。