ApsaraMQ for Kafka は、インスタンスのヘルス状態、トピックのスループット、コンシューマーグループのラグを表示する組み込みのダッシュボードを提供します。このダッシュボードは、Managed Service for Prometheus と Grafana のメトリックストレージおよび表示機能によって実現されています。ダッシュボードは、ApsaraMQ for Kafka コンソールで直接表示することも、Managed Service for Grafana ワークスペースで表示することもできます。
前提条件
開始する前に、以下が完了していることを確認してください：
次の構成を持つサービスリンクロール。詳細については、「サービスリンクロール」をご参照ください。
項目 値 ロール名 AliyunServiceRoleForAlikafka ポリシー名 AliyunServiceRolePolicyForAlikafka 権限 ApsaraMQ for Kafka がお客様に代わって CloudMonitor や ARMS などのサービスにアクセスすることを許可します。CloudMonitor およびダッシュボード機能に必要です。
課金
ApsaraMQ for Kafka のダッシュボードメトリックは、Managed Service for Prometheus の基本メトリックとして分類され、無料です。ダッシュボード機能の使用に追加料金はかかりません。
ApsaraMQ for Kafka コンソールでのダッシュボードの表示
ApsaraMQ for Kafka コンソールにログインします。[概要] ページの [リソース配布] セクションで、ご利用のインスタンスが存在するリージョンを選択します。
[インスタンス] ページで、ターゲットインスタンスの名前をクリックします。
左側のナビゲーションウィンドウで、 を選択します。
[ダッシュボード] ページで、右上の隅で時間範囲を設定し、インスタンスのストレージサイズ、パーティション数、接続数、インバウンドおよびアウトバウンドトラフィックなどのメトリックを表示します。
トピックおよびコンシューマーグループのダッシュボード
[トピック詳細] ページで、[ダッシュボード] タブをクリックして、トピックの本番メトリックとプロデューサークライアントメトリックを表示します。
[グループ詳細] ページで、[ダッシュボード] タブをクリックして、コンシューマーグループの消費メトリックとコンシューマークライアントメトリックを表示します。
Managed Service for Grafana でのダッシュボードの表示
Managed Service for Grafana コンソールにログインします。左側のナビゲーションウィンドウで、[ワークスペース管理] をクリックします。
[ワークスペース管理] ページで、開きたいワークスペースの [エンドポイント] 列にある URL をクリックします。
ご利用の Grafana のバージョンに応じた手順に従ってください：
Grafana 9.x
左側のナビゲーションウィンドウで、
アイコンをクリックし、次に [参照] をクリックします。[参照] タブで、ターゲットフォルダ内のダッシュボードを開きます。たとえば、中国 (杭州) リージョンのインスタンス監視データを表示するには、
cloud-product-prometheus_cn-hangzhouで始まるフォルダ内の kafka-dashboard-v3 を開きます。次に、インスタンス ID を入力してダッシュボードをフィルターします。
Grafana 10.x
左上の隅にある
アイコンをクリックします。左側のナビゲーションウィンドウで、[ダッシュボード] を選択します。ターゲットフォルダ内のダッシュボードを開きます。たとえば、中国 (杭州) リージョンのインスタンス監視データを表示するには、
cloud-product-prometheus_cn-hangzhouで始まるフォルダ内の kafka-dashboard-v3 を開きます。次に、インスタンス ID を入力してダッシュボードをフィルターします。
メトリックリファレンス
各メトリックには、タイプ、名前、説明、および 1 つ以上のラベルがあります。以下のセクションでは、インスタンス、トピック、コンシューマーグループの範囲ごとに利用可能なすべてのメトリックをリストします。
メトリックタイプ
| タイプ | 動作 | 例 |
|---|---|---|
| カウンター | 増加のみの累積値。 | プロデューサーリクエストの合計 |
| ゲージ | 増減可能な特定の時点での値。 | インスタンス送信の予約仕様 |
| サマリー | ヒストグラムに似ています。観測値の統計的分布を測定します。 | リクエスト本文のサイズ |
ラベル
ラベルを使用すると、メトリックをフィルターおよび集計できます。以下のラベルは、すべてのメトリックで利用可能です：
| ラベル | 説明 |
|---|---|
tenant_userid | ご利用の Alibaba Cloud アカウント ID |
instance_id | ApsaraMQ for Kafka インスタンス ID |
instance_name | ApsaraMQ for Kafka インスタンス名 |
topic | トピック名 |
partition | パーティション番号 |
group_id | コンシューマーグループ ID |
authentication_type | 接続認証方式：VPC_PLAINTEXT、PUB_SASL_SSL、VPC_SASL_PLAINTEXT、または VPC_SASL_SSL |
インスタンスメトリック
| タイプ | メトリック名 | 説明 | ラベル |
|---|---|---|---|
| ゲージ | kafka_disk_log_size | インスタンスのストレージサイズ (バイト単位)。 | tenant_userid、instance_id、instance_name |
| ゲージ | kafka_server_cloudenhancedreplicamanager_allreplicascount | すべてのレプリカにわたる合計パーティション数。 | tenant_userid、instance_id、instance_name |
| ゲージ | kafka_server_socket_server_metrics_connection_count | 接続数。 | tenant_userid、instance_id、instance_name、authentication_type |
| ゲージ | kafka_instance_io_spec_write | インスタンス送信の予約仕様。 | tenant_userid、instance_id、instance_name |
| ゲージ | kafka_instance_io_spec_read | インスタンス消費の予約仕様。 | tenant_userid、instance_id、instance_name |
| カウンター | kafka_server_brokertopicmetrics_bytesin_total | 本番トラフィック (jmx-exporter)、バイト単位。 | tenant_userid、instance_id、instance_name、authentication_type |
| カウンター | kafka_server_brokertopicmetrics_bytesout_total | 消費トラフィック (jmx-exporter)、バイト単位。 | tenant_userid、instance_id、instance_name、authentication_type |
| カウンター | kafka_server_brokertopicmetrics_failedproducerequests_total | 失敗したプロデューサーリクエストの数。 | tenant_userid、instance_id、instance_name |
| カウンター | kafka_server_brokertopicmetrics_totalproducerequests_total | プロデューサーリクエストの総数。 | tenant_userid、instance_id、instance_name、authentication_type |
| カウンター | kafka_server_brokertopicmetrics_failedfetchrequests_total | 失敗したコンシューマーリクエストの数。 | tenant_userid、instance_id、instance_name、authentication_type |
| カウンター | kafka_server_brokertopicmetrics_totalfetchrequests_total | コンシューマーリクエストの総数。 | tenant_userid、instance_id、instance_name、authentication_type |
| ゲージ | kafka_network_socketserver_expiredconnectionskilledcount | 期限切れの接続数。 | tenant_userid、instance_id、instance_name |
| サマリー | kafka_network_requestmetrics_requestbytes | リクエスト本文サイズの分布。 | tenant_userid、instance_id、instance_name |
| カウンター | kafka_server_brokertopicmetrics_bytesrejected_total | レコードバッチサイズが max.message.bytes を超えた場合に各トピックによって拒否されたトラフィック (バイト単位)。 | tenant_userid、instance_id、instance_name |
| カウンター | kafka_server_brokertopicmetrics_nokeycompactedtopicrecords_total | キーがない圧縮トピック内のレコード数。 | tenant_userid、instance_id、instance_name |
| カウンター | kafka_server_brokertopicmetrics_invalidmessagecrcrecords_total | 巡回冗長検査 (CRC) の失敗数。 | tenant_userid、instance_id、instance_name |
| カウンター | kafka_server_brokertopicmetrics_invalidmagicnumberrecords_total | メッセージバージョンの検証失敗数。 | tenant_userid、instance_id、instance_name |
| カウンター | kafka_server_brokertopicmetrics_invalidoffsetorsequencerecords_total | 不連続なオフセットまたはシーケンス番号によるメッセージ認証の失敗数。 | tenant_userid、instance_id、instance_name |
トピックメトリック
| タイプ | メトリック名 | 説明 | ラベル |
|---|---|---|---|
| ゲージ | kafka_log_log_size | トピックパーティションのストレージサイズ。 | tenant_userid、instance_id、instance_name、topic、partition |
| ゲージ | kafka_topic_partition_current_offset | パーティションの最大オフセット。 | tenant_userid、instance_id、instance_name、topic、partition |
| ゲージ | kafka_topic_partition_oldest_offset | パーティションの最小オフセット。 | tenant_userid、instance_id、instance_name、topic、partition |
| ゲージ | kafka_consumergroup_lag | トピックのメッセージ蓄積量。持続的な増加は、コンシューマーがプロデューサーに追いついていないことを示している可能性があります。 | tenant_userid、instance_id、instance_name、topic |
| カウンター | kafka_server_brokertopicmetrics_totalfetchrequests_total | トピックのフェッチリクエストの総数。 | tenant_userid、instance_id、instance_name、topic、authentication_type |
| カウンター | kafka_server_brokertopicmetrics_bytesin_total | トピックの本番トラフィック (jmx-exporter)、バイト単位。 | tenant_userid、instance_id、instance_name、authentication_type |
| カウンター | kafka_server_brokertopicmetrics_bytesout_total | トピックのアウトバウンドトラフィック (バイト単位)。 | tenant_userid、instance_id、instance_name、topic、authentication_type |
| カウンター | kafka_server_brokertopicmetrics_messagesin_total | トピックのインバウンドメッセージ数。単位：メッセージ。 | tenant_userid、instance_id、instance_name、topic、authentication_type |
コンシューマーグループメトリック
| タイプ | メトリック名 | 説明 | ラベル |
|---|---|---|---|
| ゲージ | kafka_consumergroup_lag | コンシューマーグループのメッセージ蓄積総量。ラグが着実に増加している場合、コンシューマーの処理が遅すぎる可能性があります。 | tenant_userid、instance_id、instance_name、topic、group_id |
| カウンター | kafka_consumergroup_current_offset | グループの現在のコンシューマーオフセット。 | tenant_userid、instance_id、instance_name、topic、partition、group_id |
よくある質問
ダッシュボードのメトリックデータを取得する方法
ARMS インテグレーションセンターを通じて、ApsaraMQ for Kafka を Managed Service for Prometheus と統合します。
ご利用の Alibaba Cloud アカウントで ARMS コンソールにログインします。
左側のナビゲーションウィンドウで、[インテグレーションセンター] をクリックします。
Kafkaを検索し、[Alibaba Cloud Kafka Message Queue Service] を選択します。詳細については、「ステップ 1: Alibaba Cloud サービスのモニタリングデータを統合する」をご参照ください。説明ApsaraMQ for Kafka Serverless インスタンスのメトリックデータを収集するには、統合中に [設定情報] セクションの [高度なモニタリングメトリック] スイッチをオンにします。この設定がない場合、メトリックデータは非 Serverless インスタンスに対してのみ収集されます。
統合が成功したら、左側のナビゲーションウィンドウで [統合管理] をクリックします。
[クラウドサービスリージョン環境] タブをクリックします。
ターゲット環境の名前をクリックして、その詳細ページを開きます。
「[コンポーネント管理]」タブの「[基本情報]」セクションで、「[Prometheus インスタンス]」の領域をクリックします。
[設定] タブで、利用可能なデータアクセス方法を表示します。
ダッシュボードのメトリックデータをセルフマネージド Grafana インスタンスに接続する方法
すべての ApsaraMQ for Kafka メトリックデータは、ご利用の Managed Service for Prometheus インスタンスに保存されます。Managed Service for Prometheus が提供する API を使用して、ダッシュボードのメトリックデータをセルフマネージド Grafana インスタンスに接続できます。
詳細については、「HTTP API エンドポイントを使用して Prometheus データを Grafana インスタンスに接続する」をご参照ください。
接続する前に、ご利用の ApsaraMQ for Kafka インスタンスが存在するリージョンの Managed Service for Prometheus が Alibaba Cloud Kafka Message Queue Service と統合されていることを確認してください。