:セルフマネージドKafkaクラスターとApsaraMQ for Kafkaインスタンスを監視するためのManaged Service for Prometheusの使用

セルフマネージドPrometheusサービスを使用してApsaraMQ for KafkaインスタンスとセルフマネージドKafkaクラスターを監視する場合の課題

セルフマネージドPrometheusサービスを使用してApsaraMQ for KafkaインスタンスとセルフマネージドKafkaクラスターを監視する場合、以下の課題に対処する必要がある場合があります。

1. セキュリティを確保し、組織管理を容易にするために、ビジネスを個別の仮想プライベートクラウド（VPC）にデプロイする可能性があります。セルフマネージドPrometheusサービスを使用してビジネスを監視する場合、各VPCにPrometheusサービスをデプロイする必要があります。これにより、デプロイコストとO&Mコストが増加します。

2. 独立したセルフマネージド監視システムごとにPrometheus、Grafana、およびAlertmanagerを設定する必要があります。これは複雑であり、完了までに長い時間がかかります。

3. 場合によっては、オープンソースのApache KafkaのJMXエージェントが大量のCPUリソースを消費します。これは、セルフマネージドKafkaクラスターにいくつかの影響を与えます。

4. セルフマネージドPrometheusサービスを使用してApsaraMQ for Kafkaインスタンスを監視することはできません。その結果、メッセージングクラスターを一元的に監視することはできません。

5. セルフマネージドKafkaクラスターがElastic Compute Service（ECS）インスタンスにデプロイされている場合、セルフマネージドPrometheusサービスは、サービスディスカバリーメカニズムがないため、ECSタグに基づいてターゲットを柔軟に定義およびキャプチャできません。同様のメカニズムを実装するには、Golangでコードを記述してAlibaba Cloud ECSのPOP APIを呼び出し、オープンソースのPrometheusサービスを統合する必要があります。次に、コードをコンパイルしてパッケージ化し、オープンソースのPrometheusサービスをデプロイする必要があります。このプロセスは複雑であり、バージョンのアップグレードに大きな問題を引き起こします。

6. 一般的に使用されるオープンソースのGrafanaダッシュボードでは、Apache Kafkaの原則とベストプラクティスに基づいて監視メトリックをカスタマイズすることはできません。

7. Apache Kafkaを監視するためのアラートテンプレートはありません。アラートルールを自分で設定する必要があります。このプロセスには人手が必要であり、高い技術的要件があります。

セルフマネージドPrometheusサービスとManaged Service for Prometheusの比較

次の表は、ApsaraMQ for KafkaインスタンスとセルフマネージドKafkaクラスターの監視におけるセルフマネージドPrometheusサービスとManaged Service for Prometheusを比較したものです。

Managed Service for Prometheusを使用してApsaraMQ for Kafkaを監視する

ApsaraMQ for Kafkaダッシュボードを表示する

ApsaraMQ for Kafkaは、インスタンス、グループ、およびトピックの3つの監視ダッシュボードを提供します。ダッシュボードのデータを表示して、メッセージの生成と消費を理解し、問題を迅速に特定できます。

インスタンスダッシュボード

1. ApsaraMQ for Kafkaコンソールにログオンします。左側のナビゲーションペインで、インスタンスリストをクリックします。

2. 表示するApsaraMQ for Kafkaインスタンスの名前をクリックします。左側のナビゲーションペインで、Prometheusモニタリングをクリックして、インスタンスの監視データを表示します。

コンシューマーグループダッシュボード

1. ApsaraMQ for Kafkaコンソールにログオンします。左側のナビゲーションペインで、インスタンスリストをクリックします。

2. 表示するApsaraMQ for Kafkaインスタンスの名前をクリックします。左側のナビゲーションペインで、グループをクリックします。表示されるページで、表示するグループのIDをクリックし、Prometheusモニタリングタブをクリックして、グループの監視データを表示します。

トピックダッシュボード

1. ApsaraMQ for Kafkaコンソールにログオンします。左側のナビゲーションペインで、インスタンスリストをクリックします。

2. 表示するApsaraMQ for Kafkaインスタンスの名前をクリックします。左側のナビゲーションペインで、トピックをクリックします。表示されるページで、表示するトピックの名前をクリックし、Prometheusモニタリングタブをクリックして、トピックの監視データを表示します。

Managed Service for Prometheusを使用してApsaraMQ for Kafkaのアラートルールを設定する

1. Managed Service for Prometheusコンソールにログオンします。

2. 左側のナビゲーションペインで、インスタンスをクリックします。

3. 管理するPrometheusインスタンスインスタンスの名前をクリックして、統合センターページに移動します。

4. インストール済みセクションのApsaraMQ for Kafkaカードをクリックします。表示されるパネルで、アラートタブをクリックして、ApsaraMQ for KafkaのPrometheusアラートを表示します。Managed Service for Prometheusは、ApsaraMQ for Kafkaのインスタンス、グループ、およびトピックの主要なアラートメトリックを提供します。ビジネス要件に基づいてアラートルールを追加できます。詳細については、Prometheusインスタンスのアラートルールを作成するを参照してください。

Managed Service for Prometheusを使用してセルフマネージドKafkaクラスターを監視する

Managed Service for Prometheusを使用してセルフマネージドKafkaクラスターを監視する場合は、内部O&Mメトリックにも焦点を当てる必要があります。

セルフマネージドKafkaクラスターのKafkaアプリケーションコンポーネントをデプロイする

1. Managed Service for Prometheusコンソールにログオンします。

2. 左側のナビゲーションペインで、統合センターを選択し、右側のKafkaカードをクリックします。

3. プロンプトに従ってパラメータ値を設定し、OKをクリックします。次の表に、主要なパラメータを示します。

   ACK

   パラメータ	説明
   Podラベルセレクター	Kafka JMXエージェントのデプロイ時にポッドに設定されたタグとタグ値。Managed Service for Prometheusは、このタグをサービスディスカバリーに使用します。詳細については、Kafka JMXエージェントをデプロイおよび設定するにはどうすればよいですか？を参照してください。
   メトリック収集間隔	サービスが監視データを収集する間隔。

   

   ECS(VPC)

   パラメータ	説明
   Kafkaクラスター名	Kafkaクラスター名。一意である必要があります。名前が重複している場合、同じメトリックが繰り返し収集され、ダッシュボードエラーが発生する可能性があります。
   サービスアドレス	セルフマネージドKafkaブローカーのエンドポイント。IPアドレスまたはドメインネームシステム（DNS）アドレスを指定できます。複数のブローカーアドレスはコンマ（,）またはセミコロン（;）で区切ります。
   SASLを有効にする	Apache KafkaブローカーでSimple Authentication and Security Layer（SASL）機能を有効にするかどうかを指定します。
   TLSを有効にする	Apache KafkaブローカーでTransport Layer Security（TLS）機能を有効にするかどうかを指定します。
   メトリック収集間隔（単位/秒）	サービスが監視データを収集する間隔。

   

セルフマネージドKafkaクラスターのダッシュボードを表示する

1. Managed Service for Prometheusコンソールにログオンします。

2. 左側のナビゲーションペインで、インスタンスをクリックします。

3. 管理するPrometheusインスタンスインスタンスの名前をクリックして、統合センターページに移動します。

4. Kafka カードを インストール済み セクションでクリックします。表示されるパネルで、ダッシュボード タブをクリックし、表示する Grafana ダッシュボードの図をクリックします。

   Kafkaアプリケーションコンポーネントのダッシュボードには、次の情報が表示されます。

   • Kafkaブローカーの数。

   • 各トピックのパーティションの数。

   • 各トピックの受信メッセージ、送信メッセージ、および累積メッセージの数。

   • 各トピックの同期レプリカ（ISR）の数。

セルフマネージドKafkaクラスターのアラートルールを設定する