Gunakan dasbor untuk mengumpulkan dan mengamati metrik Kafka utama - ApsaraMQ for Kafka

ApsaraMQ for Kafka menyediakan fitur Dasbor yang didukung oleh kemampuan penyimpanan dan visualisasi metrik dari Managed Service for Prometheus ARMS dan Grafana. Fitur ini menawarkan cara terpusat dan komprehensif untuk memantau serta mengumpulkan data metrik, sehingga membantu Anda memahami status bisnis secara cepat.

Prasyarat

Aktifkan Managed Service for Prometheus.
Peran terkait layanan telah dibuat.
- Nama Peran: AliyunServiceRoleForAlikafka
- Nama Kebijakan: AliyunServiceRolePolicyForAlikafka
- Izin: Mengizinkan ApsaraMQ for Kafka menggunakan peran ini untuk mengakses layanan Alibaba Cloud lainnya, seperti CloudMonitor dan ARMS. Akses ini diperlukan untuk mengaktifkan fitur CloudMonitor dan Dasbor.
- Untuk informasi selengkapnya, lihat Peran Terkait Layanan.

Penagihan

Metrik untuk ApsaraMQ for Kafka dianggap sebagai metrik dasar dalam Managed Service for Prometheus dan tidak dikenai biaya. Anda tidak dikenai biaya untuk menggunakan fitur Dasbor.

Untuk informasi selengkapnya, lihat Deskripsi metrik dan Bayar sesuai pemakaian.

Detail metrik

Tabel berikut menjelaskan bidang-bidang dalam metrik.

Bidang	Nilai
Jenis metrik	Counter: Metrik kumulatif yang nilainya hanya meningkat. Misalnya, jumlah total permintaan produsen. Gauge: Metrik yang dapat meningkat atau menurun. Nilainya merepresentasikan pengukuran instan. Misalnya, spesifikasi cadangan untuk pengiriman instans. Summary: Mirip histogram. Mengukur distribusi nilai metrik. Misalnya, ukuran badan permintaan.
Label	tenant_userid: ID Akun Alibaba Cloud Anda. instance_id: ID instans ApsaraMQ for Kafka. instance_name: Nama instans ApsaraMQ for Kafka. topic: Topik di ApsaraMQ for Kafka. partition: Partisi. group_id: Kelompok konsumen. authentication_type: VPC_PLAINTEXT PUB_SASL_SSL VPC_SASL_PLAINTEXT VPC_SASL_SSL

Metrik instans

Jenis metrik	Nama metrik	Deskripsi	Label
Gauge	kafka_disk_log_size	Ukuran penyimpanan instans. Satuan: byte.	tenant_userid instance_id instance_name
Gauge	kafka_server_cloudenhancedreplicamanager_allreplicascount	Jumlah total partisi untuk semua replika.	tenant_userid instance_id instance_name
Gauge	kafka_server_socket_server_metrics_connection_count	Jumlah koneksi.	tenant_userid instance_id instance_name authentication_type
Gauge	kafka_instance_io_spec_write	Spesifikasi cadangan untuk pengiriman instans.	tenant_userid instance_id instance_name
Gauge	kafka_instance_io_spec_read	Spesifikasi cadangan untuk konsumsi instans.	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_bytesin_total	Lalu lintas produksi (metrik jmx-exporter).	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_bytesout_total	Lalu lintas konsumsi (metrik jmx-exporter).	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_failedproducerequests_total	Jumlah permintaan produsen yang gagal.	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_totalproducerequests_total	Jumlah total permintaan produsen.	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_failedfetchrequests_total	Jumlah permintaan konsumen yang gagal.	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_totalfetchrequests_total	Jumlah total permintaan konsumen.	tenant_userid instance_id instance_name authentication_type
Gauge	kafka_network_socketserver_expiredconnectionskilledcount	Jumlah koneksi yang kedaluwarsa.	tenant_userid instance_id instance_name
Summary	kafka_network_requestmetrics_requestbytes	Ukuran badan permintaan.	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_bytesrejected_total	Lalu lintas yang ditolak oleh setiap topik ketika ukuran batch catatan lebih besar daripada konfigurasi max.message.bytes. Satuan: byte.	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_nokeycompactedtopicrecords_total	Jumlah catatan dalam topik compacted yang tidak memiliki kunci.	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_invalidmessagecrcrecords_total	Jumlah kegagalan Pemeriksaan redundansi siklik (CRC).	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_invalidmagicnumberrecords_total	Jumlah kegagalan verifikasi versi pesan.	tenant_userid instance_id instance_name
Counter	kafka_server_brokertopicmetrics_invalidoffsetorsequencerecords_total	Jumlah kegagalan autentikasi pesan yang disebabkan oleh offset atau nomor urut yang tidak kontinu.	tenant_userid instance_id instance_name

Metrik topik

Jenis metrik	Nama metrik	Deskripsi	Label
Gauge	kafka_log_log_size	Ukuran penyimpanan partisi topik.	tenant_userid instance_id instance_name topic partition
Gauge	kafka_topic_partition_current_offset	Offset maksimum partisi.	tenant_userid instance_id instance_name topic partition
Gauge	kafka_topic_partition_oldest_offset	Offset minimum partisi.	tenant_userid instance_id instance_name topic partition
Gauge	kafka_consumergroup_lag	Jumlah akumulasi pesan.	tenant_userid instance_id instance_name topic
Counter	kafka_server_brokertopicmetrics_totalfetchrequests_total	Jumlah permintaan.	tenant_userid instance_id instance_name topic authentication_type
Counter	kafka_server_brokertopicmetrics_bytesin_total	Lalu lintas produksi (metrik jmx-exporter).	tenant_userid instance_id instance_name authentication_type
Counter	kafka_server_brokertopicmetrics_bytesout_total	Lalu lintas keluar. Satuan: byte.	tenant_userid instance_id instance_name topic authentication_type
Counter	kafka_server_brokertopicmetrics_messagesin_total	Jumlah pesan arah masuk. Satuan: pesan.	tenant_userid instance_id instance_name topic authentication_type

Metrik kelompok

Jenis metrik	Nama metrik	Deskripsi	Label
Gauge	kafka_consumergroup_lag	Jumlah total akumulasi pesan.	tenant_userid instance_id instance_name topic group_id
Counter	kafka_consumergroup_current_offset	Offset konsumen kelompok tersebut.	tenant_userid instance_id instance_name topic partition group_id

Lihat dasbor di konsol ApsaraMQ for Kafka

Masuk ke Konsol ApsaraMQ for Kafka. Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instans ApsaraMQ for Kafka yang ingin Anda kelola berada.
Pada halaman Instances, klik nama instans yang ingin Anda kelola.
Di panel navigasi sebelah kiri, klik Observability > Dashboard.
Pada halaman Dashboard, atur rentang waktu di pojok kanan atas untuk melihat metrik seperti ukuran penyimpanan instans, jumlah partisi, jumlah koneksi, serta lalu lintas arah masuk dan keluar.
Untuk melihat data pemantauan Dasbor untuk topik dan kelompok, buka halaman detail topik atau kelompok tertentu, lalu klik tab Dashboard.
- Pada halaman Topic Details, Anda dapat melihat metrik terkait produksi dan metrik klien produsen untuk topik tertentu.
- Pada halaman Group Details, Anda dapat melihat metrik terkait konsumsi dan metrik klien konsumen untuk kelompok tertentu.

Lihat dasbor di konsol Managed Service for Grafana

Masuk ke Konsol Managed Service for Grafana. Di panel navigasi sebelah kiri, klik Workspace Management.
Pada halaman Workspace Management, klik URL di kolom Endpoint ruang kerja target untuk membuka Grafana.
Lihat dasbor berdasarkan versi Grafana Anda.
Grafana 9.x
1. Di panel navigasi sebelah kiri Grafana, klik ikon lalu klik Browse.
2. Pada tab Browse, klik dasbor di folder target untuk melihat semua grafik pemantauan pada dasbor tersebut.
  Sebagai contoh, untuk melihat data dasbor instans di wilayah Tiongkok (Hangzhou), klik kafka-dashboard-v3 di folder yang dimulai dengan cloud-product-prometheus_cn-hangzhou. Kemudian, masukkan ID instans pada halaman dasbor untuk melihat data pemantauan instans tersebut.
Grafana 10.x
1. Pada halaman utama Grafana, klik ikon di pojok kiri atas.
2. Di panel navigasi sebelah kiri Grafana, pilih Dashboards. Klik dasbor di folder target untuk melihat semua grafik pemantauan pada dasbor tersebut.
  Sebagai contoh, untuk melihat data dasbor instans di wilayah Tiongkok (Hangzhou), klik kafka-dashboard-v3 di folder yang dimulai dengan cloud-product-prometheus_cn-hangzhou. Kemudian, masukkan ID instans pada halaman dasbor untuk melihat data pemantauan instans tersebut.

FAQ

Bagaimana cara mendapatkan data metrik dasbor?

Masuk ke Konsol ARMS dengan Akun Alibaba Cloud Anda.
Di panel navigasi sebelah kiri, klik Integration Center.
Pada halaman Integration Center, masukkan Kafka di kotak pencarian dan klik ikon pencarian.
Dalam hasil pencarian, pilih layanan Alibaba Cloud yang ingin Anda integrasikan, seperti Alibaba Cloud Kafka Message Queue Service. Untuk informasi selengkapnya, lihat Langkah 1: Integrasikan data pemantauan layanan Alibaba Cloud.
Catatan
Untuk mendapatkan data metrik instans ApsaraMQ for Kafka Serverless, aktifkan sakelar Advanced Monitoring Metrics di bagian Configuration Information selama integrasi. Jika tidak, Anda hanya dapat memperoleh data metrik untuk instans non-Serverless.
Setelah integrasi berhasil, klik Integration Management di panel navigasi sebelah kiri.
Pada halaman Integration Management, klik tab Cloud Service Region Environment.
Dalam daftar Cloud Service Region Environment, klik nama lingkungan target untuk membuka halaman detail lingkungan.
Pada tab Component Management, di bagian Basic Information, klik wilayah Prometheus Instance.
Pada tab Settings, Anda dapat melihat metode akses data yang tersedia.

Bagaimana cara menghubungkan data metrik dasbor ke instans Grafana yang dikelola sendiri?

Semua data metrik untuk ApsaraMQ for Kafka disimpan di instans Managed Service for Prometheus Anda. Anda dapat menggunakan API yang disediakan oleh Managed Service for Prometheus untuk menghubungkan data metrik Dasbor dari ApsaraMQ for Kafka ke instans Grafana yang Anda kelola sendiri.

Untuk informasi selengkapnya, lihat Gunakan titik akhir API HTTP untuk menghubungkan data Prometheus ke instans Grafana atau aplikasi yang dikelola sendiri.

Catatan

Sebelum menghubungkan data, pastikan bahwa Managed Service for Prometheus di wilayah tempat instans ApsaraMQ for Kafka Anda berada telah diintegrasikan dengan Layanan Antrian Pesan Kafka Alibaba Cloud.