ApsaraMQ for Kafka は、Alibaba Cloud ARMS Prometheus Service と Grafana のメトリックストレージおよび表示機能を利用したダッシュボード機能を提供します。この機能は、メトリックを監視し、メトリックデータを収集するための包括的で一元的な方法を提供し、ビジネスの状況を迅速に理解するのに役立ちます。
前提条件
サービスリンクロールが作成されます。
ロール名: [AliyunServiceRoleForAlikafka]
ポリシー名: [AliyunServiceRolePolicyForAlikafka]
権限: ApsaraMQ for Kafka がこのロールを使用して、CloudMonitor や ARMS などの他の Alibaba Cloud サービスにアクセスすることを許可します。このアクセスは、CloudMonitor とダッシュボード機能を有効にするために必要です。
詳細については、「サービスリンクロール」をご参照ください。
課金
ApsaraMQ for Kafka のメトリックは、Managed Service for Prometheus の基本メトリックと見なされ、無料です。ダッシュボード機能の使用に対しては課金されません。
メトリックの詳細
次の表に、メトリックのフィールドを示します。
フィールド | 値 |
メトリックタイプ |
|
ラベル |
|
インスタンスメトリック
メトリックタイプ | メトリック名 | 説明 | ラベル |
Gauge | kafka_disk_log_size | インスタンスのストレージサイズ。単位: バイト。 |
|
Gauge | kafka_server_cloudenhancedreplicamanager_allreplicascount | すべてのレプリカのパーティションの総数。 |
|
Gauge | kafka_server_socket_server_metrics_connection_count | 接続数。 |
|
Gauge | kafka_instance_io_spec_write | インスタンス送信の予約済み仕様。 |
|
Gauge | kafka_instance_io_spec_read | インスタンス消費の予約済み仕様。 |
|
Counter | kafka_server_brokertopicmetrics_bytesin_total | 本番トラフィック (jmx-exporter メトリック)。 |
|
Counter | kafka_server_brokertopicmetrics_bytesout_total | 消費トラフィック (jmx-exporter メトリック)。 |
|
Counter | kafka_server_brokertopicmetrics_failedproducerequests_total | 失敗したプロデューサーリクエストの数。 |
|
Counter | kafka_server_brokertopicmetrics_totalproducerequests_total | プロデューサーリクエストの総数。 |
|
Counter | kafka_server_brokertopicmetrics_failedfetchrequests_total | 失敗したコンシューマーリクエストの数。 |
|
Counter | kafka_server_brokertopicmetrics_totalfetchrequests_total | コンシューマーリクエストの総数。 |
|
Gauge | kafka_network_socketserver_expiredconnectionskilledcount | 期限切れの接続数。 |
|
Summary | kafka_network_requestmetrics_requestbytes | リクエストボディのサイズ。 |
|
Counter | kafka_server_brokertopicmetrics_bytesrejected_total | レコードバッチサイズが max.message.bytes 構成より大きい場合に各 Topic によって拒否されたトラフィック。単位: バイト。 |
|
Counter | kafka_server_brokertopicmetrics_nokeycompactedtopicrecords_total | キーを持たない圧縮 Topic 内のレコード数。 |
|
Counter | kafka_server_brokertopicmetrics_invalidmessagecrcrecords_total | 巡回冗長検査 (CRC) の失敗数。 |
|
Counter | kafka_server_brokertopicmetrics_invalidmagicnumberrecords_total | メッセージバージョンの検証失敗数。 |
|
Counter | kafka_server_brokertopicmetrics_invalidoffsetorsequencerecords_total | 不連続なオフセットまたはシーケンス番号によって引き起こされたメッセージ認証の失敗数。 |
|
Topic メトリック
メトリックタイプ | メトリック名 | 説明 | ラベル |
Gauge | kafka_log_log_size | Topic パーティションのストレージサイズ。 |
|
Gauge | kafka_topic_partition_current_offset | パーティションの最大オフセット。 |
|
Gauge | kafka_topic_partition_oldest_offset | パーティションの最小オフセット。 |
|
Gauge | kafka_consumergroup_lag | メッセージの蓄積量。 |
|
Counter | kafka_server_brokertopicmetrics_totalfetchrequests_total | リクエスト数。 |
|
Counter | kafka_server_brokertopicmetrics_bytesin_total | 本番トラフィック (jmx-exporter メトリック)。 |
|
Counter | kafka_server_brokertopicmetrics_bytesout_total | アウトバウンドトラフィック。単位: バイト。 |
|
Counter | kafka_server_brokertopicmetrics_messagesin_total | インバウンドメッセージの数。単位: メッセージ。 |
|
グループメトリック
メトリックタイプ | メトリック名 | 説明 | ラベル |
Gauge | kafka_consumergroup_lag | メッセージの総蓄積量。 |
|
Counter | kafka_consumergroup_current_offset | グループのコンシューマオフセット。 |
|
ApsaraMQ for Kafka コンソールでダッシュボードを表示する
ApsaraMQ for Kafka コンソールにログインします。リソースの分布 セクションの 概要 ページで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。
インスタンスリスト ページで、管理するインスタンスの名前をクリックします。
左側のナビゲーションウィンドウで、 をクリックします。
[ダッシュボード] ページで、右上隅で時間範囲を設定して、インスタンスのストレージサイズ、パーティション数、接続数、インバウンドおよびアウトバウンドトラフィックなどのメトリックを表示します。
Topic とグループのダッシュボードモニタリングデータを表示するには、特定の Topic またはグループの詳細ページに移動し、[ダッシュボード] タブをクリックします。
[Topic の詳細] ページでは、特定の Topic の本番関連メトリックとプロデューサークライアントメトリックを表示できます。
[グループの詳細] ページでは、特定のグループの消費関連メトリックとコンシューマークライアントメトリックを表示できます。
Managed Service for Grafana コンソールでダッシュボードを表示する
Managed Service for Grafana コンソールにログインします。左側のナビゲーションウィンドウで、[ワークスペース管理] をクリックします。
[ワークスペース管理] ページで、対象のワークスペースの [エンドポイント] 列の URL をクリックして Grafana を開きます。
Grafana のバージョンに基づいてダッシュボードを表示します。
Grafana 9.x
Grafana の左側のナビゲーションウィンドウで、
アイコンをクリックし、[参照] をクリックします。[参照] タブで、ターゲットフォルダ内のダッシュボードをクリックして、ダッシュボード上のすべてのモニタリングチャートを表示します。
たとえば、中国 (杭州) リージョンのインスタンスのダッシュボードデータを表示するには、
cloud-product-prometheus_cn-hangzhouで始まるフォルダ内の [kafka-dashboard-v3] をクリックします。次に、ダッシュボードページでインスタンス ID を入力して、インスタンスのモニタリングデータを表示します。
Grafana 10.x
Grafana のホームページで、左上隅の
アイコンをクリックします。Grafana の左側のナビゲーションウィンドウで、[ダッシュボード] を選択します。ターゲットフォルダ内のダッシュボードをクリックして、ダッシュボード上のすべてのモニタリングチャートを表示します。
たとえば、中国 (杭州) リージョンのインスタンスのダッシュボードデータを表示するには、
cloud-product-prometheus_cn-hangzhouで始まるフォルダ内の [kafka-dashboard-v3] をクリックします。次に、ダッシュボードページでインスタンス ID を入力して、インスタンスのモニタリングデータを表示します。
よくある質問
ダッシュボードのメトリックデータを取得するにはどうすればよいですか？
Alibaba Cloud アカウントで ARMS コンソールにログインします。
左側のナビゲーションウィンドウで、[統合センター] をクリックします。
[統合センター] ページで、検索ボックスに
Kafkaと入力し、検索アイコンをクリックします。検索結果で、[Alibaba Cloud Kafka Message Queue Service] など、統合したい Alibaba Cloud サービスを選択します。詳細については、「手順 1: Alibaba Cloud サービスのモニタリングデータを統合する」をご参照ください。
説明ApsaraMQ for Kafka Serverless インスタンスのメトリックデータを取得するには、統合中に [構成情報] セクションの [高度なモニタリングメトリック] スイッチをオンにします。そうしないと、Serverless 以外のインスタンスのメトリックデータしか取得できません。
統合が成功したら、左側のナビゲーションウィンドウで [統合管理] をクリックします。
[統合管理] ページで、[クラウドサービスリージョン環境] タブをクリックします。
[クラウドサービスリージョン環境] リストで、ターゲット環境の名前をクリックして環境詳細ページを開きます。
[コンポーネント管理] タブの [基本情報] セクションで、[Prometheus インスタンス] のリージョンをクリックします。
[設定] タブで、利用可能なデータアクセス方法を表示できます。
ダッシュボードのメトリックデータをセルフマネージド Grafana インスタンスに接続するにはどうすればよいですか？
ApsaraMQ for Kafka のすべてのメトリックデータは、お客様の Managed Service for Prometheus インスタンスに保存されます。Managed Service for Prometheus が提供する API を使用して、ApsaraMQ for Kafka のダッシュボードメトリックデータをお客様のセルフマネージド Grafana インスタンスに接続できます。
詳細については、「HTTP API エンドポイントを使用して Prometheus データを Grafana インスタンスまたはセルフマネージドアプリケーションに接続する」をご参照ください。
データを接続する前に、お客様の ApsaraMQ for Kafka インスタンスが存在するリージョンの Managed Service for Prometheus が Alibaba Cloud Kafka Message Queue Service と統合されていることを確認してください。