ApsaraMQ for Kafka menyediakan dasbor bawaan yang menampilkan kesehatan instans, throughput topik, dan lag kelompok konsumen. Dasbor ini didukung oleh kemampuan penyimpanan dan visualisasi metrik dari Managed Service for Prometheus dan Grafana. Anda dapat melihat dasbor langsung di Konsol ApsaraMQ for Kafka atau di ruang kerja Managed Service for Grafana.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Memiliki peran terkait layanan dengan konfigurasi berikut. Untuk detailnya, lihat Service-linked role.
Item Nilai Nama peran AliyunServiceRoleForAlikafka Nama kebijakan AliyunServiceRolePolicyForAlikafka Izin Mengizinkan ApsaraMQ for Kafka mengakses layanan seperti CloudMonitor dan ARMS atas nama Anda. Diperlukan untuk fitur CloudMonitor dan dasbor.
Penagihan
Metrik dasbor untuk ApsaraMQ for Kafka diklasifikasikan sebagai metrik dasar dalam Managed Service for Prometheus dan tidak dikenai biaya. Tidak ada biaya tambahan untuk menggunakan fitur dasbor.
Untuk detailnya, lihat Deskripsi metrik dan Pay-as-you-go.
Lihat dasbor di Konsol ApsaraMQ for Kafka
Masuk ke Konsol ApsaraMQ for Kafka. Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instans Anda berada.
Pada halaman Instances, klik nama instans target.
Di panel navigasi sebelah kiri, pilih .
Pada halaman Dashboard, atur rentang waktu di pojok kanan atas untuk melihat metrik seperti ukuran penyimpanan instans, jumlah partisi, jumlah koneksi, serta lalu lintas inbound dan outbound.
Dasbor topik dan kelompok konsumen
Pada halaman Topic Details, klik tab Dashboard untuk melihat metrik produksi dan metrik klien produsen untuk topik tersebut.
Pada halaman Group Details, klik tab Dashboard untuk melihat metrik konsumsi dan metrik klien konsumen untuk kelompok konsumen tersebut.
Lihat dasbor di Managed Service for Grafana
Masuk ke Konsol Managed Service for Grafana. Di panel navigasi sebelah kiri, klik Workspace Management.
Pada halaman Workspace Management, klik URL di kolom Endpoint dari ruang kerja yang ingin Anda buka.
Ikuti petunjuk sesuai versi Grafana Anda:
Grafana 9.x
Di panel navigasi sebelah kiri, klik ikon
, lalu klik Browse.Pada tab Browse, buka dasbor di folder target. Misalnya, untuk melihat data pemantauan instans di wilayah China (Hangzhou), buka kafka-dashboard-v3 di folder yang dimulai dengan
cloud-product-prometheus_cn-hangzhou. Kemudian masukkan ID instans untuk memfilter dasbor.
Grafana 10.x
Klik ikon
di pojok kiri atas.Di panel navigasi sebelah kiri, pilih Dashboards. Buka dasbor di folder target. Misalnya, untuk melihat data pemantauan instans di wilayah China (Hangzhou), buka kafka-dashboard-v3 di folder yang dimulai dengan
cloud-product-prometheus_cn-hangzhou. Kemudian masukkan ID instans untuk memfilter dasbor.
Referensi metrik
Setiap metrik memiliki tipe, nama, deskripsi, dan satu atau beberapa label. Bagian berikut mencantumkan semua metrik yang tersedia berdasarkan cakupan: instans, topik, dan kelompok konsumen.
Tipe metrik
| Tipe | Perilaku | Contoh |
|---|---|---|
| Counter | Nilai kumulatif yang hanya meningkat. | Total permintaan produsen |
| Gauge | Nilai pada titik waktu tertentu yang dapat naik atau turun. | Spesifikasi cadangan untuk pengiriman instans |
| Summary | Mirip histogram. Mengukur distribusi statistik nilai yang diamati. | Ukuran isi permintaan |
Label
Label memungkinkan Anda memfilter dan mengagregasi metrik. Label berikut tersedia di seluruh metrik:
| Label | Deskripsi |
|---|---|
tenant_userid | ID akun Alibaba Cloud Anda |
instance_id | ID instans ApsaraMQ for Kafka |
instance_name | Nama instans ApsaraMQ for Kafka |
topic | Nama topik |
partition | Nomor partisi |
group_id | ID kelompok konsumen |
authentication_type | Metode autentikasi koneksi: VPC_PLAINTEXT, PUB_SASL_SSL, VPC_SASL_PLAINTEXT, atau VPC_SASL_SSL |
Metrik instans
| Tipe | Nama metrik | Deskripsi | Label |
|---|---|---|---|
| Gauge | kafka_disk_log_size | Ukuran penyimpanan instans, dalam byte. | tenant_userid, instance_id, instance_name |
| Gauge | kafka_server_cloudenhancedreplicamanager_allreplicascount | Jumlah total partisi di seluruh replika. | tenant_userid, instance_id, instance_name |
| Gauge | kafka_server_socket_server_metrics_connection_count | Jumlah koneksi. | tenant_userid, instance_id, instance_name, authentication_type |
| Gauge | kafka_instance_io_spec_write | Spesifikasi cadangan untuk pengiriman instans. | tenant_userid, instance_id, instance_name |
| Gauge | kafka_instance_io_spec_read | Spesifikasi cadangan untuk konsumsi instance. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_bytesin_total | Lalu lintas produksi (jmx-exporter), dalam byte. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_bytesout_total | Lalu lintas konsumsi (jmx-exporter), dalam byte. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_failedproducerequests_total | Jumlah permintaan produsen yang gagal. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_totalproducerequests_total | Total jumlah permintaan produsen. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_failedfetchrequests_total | Jumlah permintaan konsumen yang gagal. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_totalfetchrequests_total | Total jumlah permintaan konsumen. | tenant_userid, instance_id, instance_name, authentication_type |
| Gauge | kafka_network_socketserver_expiredconnectionskilledcount | Jumlah koneksi yang kedaluwarsa. | tenant_userid, instance_id, instance_name |
| Summary | kafka_network_requestmetrics_requestbytes | Distribusi ukuran isi permintaan. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_bytesrejected_total | Lalu lintas yang ditolak oleh setiap topik ketika ukuran batch record melebihi max.message.bytes, dalam byte. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_nokeycompactedtopicrecords_total | Jumlah record dalam topik compacted yang tidak memiliki kunci. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_invalidmessagecrcrecords_total | Jumlah kegagalan Pemeriksaan redundansi siklik (CRC). | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_invalidmagicnumberrecords_total | Jumlah kegagalan verifikasi versi pesan. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_invalidoffsetorsequencerecords_total | Jumlah kegagalan autentikasi pesan yang disebabkan oleh offset atau nomor urut yang tidak kontinu. | tenant_userid, instance_id, instance_name |
Metrik topik
| Tipe | Nama metrik | Deskripsi | Label |
|---|---|---|---|
| Gauge | kafka_log_log_size | Ukuran penyimpanan partisi topik. | tenant_userid, instance_id, instance_name, topic, partition |
| Gauge | kafka_topic_partition_current_offset | Offset maksimum partisi. | tenant_userid, instance_id, instance_name, topic, partition |
| Gauge | kafka_topic_partition_oldest_offset | Offset minimum partisi. | tenant_userid, instance_id, instance_name, topic, partition |
| Gauge | kafka_consumergroup_lag | Akumulasi pesan untuk topik. Peningkatan yang berkelanjutan mungkin menunjukkan bahwa konsumen tidak mampu mengimbangi produsen. | tenant_userid, instance_id, instance_name, topic |
| Counter | kafka_server_brokertopicmetrics_totalfetchrequests_total | Total jumlah permintaan fetch untuk topik. | tenant_userid, instance_id, instance_name, topic, authentication_type |
| Counter | kafka_server_brokertopicmetrics_bytesin_total | Lalu lintas produksi untuk topik (jmx-exporter), dalam byte. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_bytesout_total | Lalu lintas outbound untuk topik, dalam byte. | tenant_userid, instance_id, instance_name, topic, authentication_type |
| Counter | kafka_server_brokertopicmetrics_messagesin_total | Jumlah pesan inbound untuk topik. Satuan: pesan. | tenant_userid, instance_id, instance_name, topic, authentication_type |
Metrik kelompok konsumen
| Tipe | Nama metrik | Deskripsi | Label |
|---|---|---|---|
| Gauge | kafka_consumergroup_lag | Jumlah total akumulasi pesan untuk kelompok konsumen. Lag yang terus meningkat mungkin menunjukkan bahwa konsumen memproses terlalu lambat. | tenant_userid, instance_id, instance_name, topic, group_id |
| Counter | kafka_consumergroup_current_offset | Offset konsumen saat ini dari kelompok tersebut. | tenant_userid, instance_id, instance_name, topic, partition, group_id |
FAQ
Bagaimana cara mendapatkan data metrik dasbor?
Integrasikan ApsaraMQ for Kafka dengan Managed Service for Prometheus melalui Pusat Integrasi ARMS.
Masuk ke Konsol ARMS dengan akun Alibaba Cloud Anda.
Di panel navigasi sebelah kiri, klik Integration Center.
Cari
Kafka, lalu pilih Alibaba Cloud Kafka Message Queue Service. Untuk detailnya, lihat Langkah 1: Integrasikan data pemantauan layanan Alibaba Cloud.CatatanUntuk mengumpulkan data metrik ApsaraMQ for Kafka instans Serverless, aktifkan sakelar Advanced Monitoring Metrics di bagian Configuration Information selama integrasi. Tanpa pengaturan ini, data metrik hanya dikumpulkan untuk instans non-Serverless.
Setelah integrasi berhasil, klik Integration Management di panel navigasi sebelah kiri.
Klik tab Cloud Service Region Environment.
Klik nama lingkungan target untuk membuka halaman detailnya.
Pada tab Component Management, di bagian Basic Information, klik wilayah instance Prometheus Instance.
Pada tab Settings, lihat metode akses data yang tersedia.
Bagaimana cara menghubungkan data metrik dasbor ke instans Grafana yang dikelola sendiri?
Semua data metrik ApsaraMQ for Kafka disimpan di instans Managed Service for Prometheus Anda. Anda dapat menggunakan API yang disediakan oleh Managed Service for Prometheus untuk menghubungkan data metrik dasbor ke instans Grafana yang dikelola sendiri.
Untuk detailnya, lihat Hubungkan data Prometheus ke instans Grafana menggunakan titik akhir API HTTP.
Sebelum menghubungkan, pastikan Managed Service for Prometheus di wilayah tempat instans ApsaraMQ for Kafka Anda berada telah diintegrasikan dengan Alibaba Cloud Kafka Message Queue Service.