通過儀錶盤統計和觀測kafka重點指標項 - ApsaraMQ for Kafka

藉助於阿里雲ARMS Prometheus監控服務和Grafana的指標儲存和展示能力，ApsaraMQ for Kafka提供儀錶盤功能。該功能可協助您一站式、全方位、多維度地統計和觀測指標，進而快速瞭解業務的運行狀態。

前提條件

開通ARMS Prometheus監控服務
建立服務關聯角色
- 角色名稱：AliyunServiceRoleForAlikafka
- 角色策略名稱稱：AliyunServiceRolePolicyForAlikafka
- 許可權說明：允許ApsaraMQ for Kafka使用該角色訪問您的服務（CloudMonitor和ARMS服務）以完成CloudMonitor和儀錶盤相關功能。
- 具體文檔說明：服務關聯角色。

計費說明

ApsaraMQ for Kafka指標在阿里雲ARMS Prometheus監控服務中屬於基礎指標，基礎指標免費使用，因此使用Prometheus大盤功能不收取費用。

Metrics指標詳情

Metrics指標中欄位說明如下：

欄位	取值
Metrics類型	Counter：累計型的度量指標，其數值只增不減。例如，生產者總請求量。 Gauge：一種既可以增加又可以減少的度量指標，其數值表示統計對象的瞬間值。例如，執行個體發送預留規格。 Summary：類似於長條圖，用於度量指標值的分布區間。例如，請求體的大小。
Label	tenant_userid：阿里雲主帳號ID。 instance_id：ApsaraMQ for Kafka執行個體的ID。 instance_name：ApsaraMQ for Kafka執行個體名稱。 topic：ApsaraMQ for Kafka的主題。 partition：分區。 group_id：消費組。 authentication_type： VPC_PLAINTEXT PUB_SASL_SSL VPC_SASL_PLAINTEXT VPC_SASL_SSL

執行個體Metrics指標

Metrics類型	Metrics名稱	描述	Labels
Gauge	kafka_disk_log_size	執行個體儲存大小。單位：Byte。	tenant_userid instance_id instance_name
Gauge	kafka_server_cloudenhancedreplicamanager_allreplicascount	所有副本的總分區數。	tenant_userid instance_id instance_name
Gauge	kafka_server_socket_server_metrics_connection_count	串連數。	tenant_userid instance_id instance_name authentication_type
Gauge	kafka_instance_io_spec_write	執行個體發送預留規格。	tenant_userid instance_id instance_name
Gauge	kafka_instance_io_spec_read	執行個體消費預留規格。	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_bytesin_total	生產流量（jmx-exporter指標）。	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_bytesout_total	消費流量（jmx-exporter指標）。	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_failedproducerequests_total	生產者失敗請求量。	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_totalproducerequests_total	生產者總請求量。	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_failedfetchrequests_total	消費者失敗請求量。	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_totalfetchrequests_total	消費者總請求量。	tenant_userid instance_id instance_name authentication_type
Gauge	kafka_network_socketserver_expiredconnectionskilledcount	到期串連數。	tenant_userid instance_id instance_name
Summary	kafka_network_requestmetrics_requestbytes	請求體的大小。	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_bytesrejected_total	當記錄批處理大小大於max.message.bytes配置時，每個Topic被拒絕的流量，單位：Byte。	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_nokeycompactedtopicrecords_total	Compact Topic沒有設定key的記錄數。	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_invalidmessagecrcrecords_total	CRC校正失敗次數。	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_invalidmagicnumberrecords_total	訊息版本校正失敗次數。	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_invalidoffsetorsequencerecords_total	不連續Offset或Sequence Number導致的訊息驗證失敗次數。	tenant_userid instance_id instance_name

Topic Metrics指標

Metrics類型	Metrics名稱	描述	Labels
Gauge	kafka_log_log_size	Topic分區儲存大小。	tenant_userid instance_id instance_name topic partition
Gauge	kafka_topic_partition_current_offset	分區最大Offset。	tenant_userid instance_id instance_name topic partition
Gauge	kafka_topic_partition_oldest_offset	分區最小Offset。	tenant_userid instance_id instance_name topic partition
Gauge	kafka_consumergroup_lag	訊息堆積量。	tenant_userid instance_id instance_name topic
Counter	kafka_server_brokertopicmetrics_totalfetchrequests_total	請求次數。	tenant_userid instance_id instance_name topic authentication_type
Counter	kafka_server_brokertopicmetrics_bytesin_total	生產流量（jmx-exporter指標）。	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_bytesout_total	流出流量，單位：Byte。	tenant_userid instance_id instance_name topic authentication_type
Counter	kafka_server_brokertopicmetrics_messagesin_total	訊息流程入量，單位：message。	tenant_userid instance_id instance_name topic authentication_type

Group Metrics指標

Metrics類型	Metrics名稱	描述	Labels
Gauge	kafka_consumergroup_lag	訊息堆積總量。	tenant_userid instance_id instance_name topic group_id
Counter	kafka_consumergroup_current_offset	Group消費位點。	tenant_userid instance_id instance_name topic partition group_id

在Kafka控制台查看儀錶盤

登入雲訊息佇列 Kafka 版控制台，在概览頁面的资源分布地區，選擇地區。
在实例列表頁面，單擊目標執行個體名稱。
在左側導覽列，單擊可观测 > 儀錶盤。
在儀錶盤頁面右上方設定時間範圍，查看執行個體的儲存大小、分區數、串連數、流量流入流出等相關指標。
如需查看Topic和Group的儀錶盤監控資料，請在Topic和Group的詳情頁面的儀錶盤頁簽查看。
- Topic詳情頁面：可查看指定Topic的生產相關指標以及生產者用戶端相關指標。
- Group 詳情頁面：可查看指定Group的消費堆積相關指標以及消費者用戶端相關指標。

在Grafana控制台查看儀錶盤

登入可觀測可視化 Grafana 版控制台，在左側導覽列單擊工作區管理。
在工作區管理頁面，單擊目標工作區右側的訪問地址URL連結進入Grafana。
根據不同版本的Grafana查看儀錶盤。
Grafana 9.x版本
1. 在Grafana左側導覽列，單擊表徵圖，然後單擊Browse。
2. 在Browse頁簽，單擊目標目錄下的監控大盤，即可查看目標大盤上的所有監控圖表。
  例如，需要查看華東1（杭州）地區下某個執行個體的大盤資料，在cloud-product-prometheus_cn-hangzhou為首碼的目錄下單擊kafka-dashboard-v3，然後在大盤頁面輸入該執行個體ID，即可查看該執行個體的監控資料。
Grafana 10.x版本
1. 在Grafana首頁，單擊頁面左上方的表徵圖。
2. 在Grafana左側導覽列，選擇儀表板，單擊目標目錄下的監控大盤，即可查看目標大盤上的所有監控圖表。
  例如，需要查看華東1（杭州）地區下某個執行個體的大盤資料，在cloud-product-prometheus_cn-hangzhou為首碼的目錄下單擊kafka-dashboard-v3，然後在大盤頁面輸入該執行個體ID，即可查看該執行個體的監控資料。

常見問題

如何擷取儀錶盤指標資料？

使用主帳號登入ARMS控制台。
在左側導覽列單擊接入中心。
在接入中心頁面的搜尋文字框輸入Kafka，並單擊搜尋表徵圖。
在搜尋的結果中，選擇需要接入的雲端服務（如阿里雲 Kafka 訊息佇列服務）。接入的具體操作，請參見步驟一：接入雲端服務監控資料。
說明
若需擷取雲訊息佇列 Kafka 版Serverless 執行個體的指標資料，則必須在接入時，在配置資訊中開啟進階監控指標開關。否則，僅能擷取非 Serverless 執行個體的指標資料。
接入成功後，在左側導覽列單擊接入管理。
在接入管理頁面，單擊雲端服務地區環境頁簽。
在雲端服務地區環境列表中，單擊目標環境名稱進入雲端服務環境詳情頁面。
在組件管理頁簽的基本資料地區，單擊Prometheus 執行個體後的雲端服務地區。
在設定頁簽上，可以擷取不同的資料訪問方式。

如何將儀錶盤的指標資料接入自建Grafana?

ApsaraMQ for Kafka的所有指標資料已儲存到您的阿里雲可觀測監控 Prometheus 版中，您可以通過Managed Service for Prometheus提供的API將ApsaraMQ for Kafka的儀錶盤的指標資料接入到本地自建Grafana中。

具體操作，請參見使用HTTP API地址對接Grafana或自建應用中接入Prometheus資料。

說明

在接入前，請確保可觀測監控 Prometheus 版在當前ApsaraMQ for Kafka執行個體所在地區已成功接入阿里雲 Kafka 訊息佇列服務。