Topik ini menjelaskan cara menggunakan Managed Service for Prometheus untuk memantau instance ApsaraMQ for Kafka dan kluster Kafka yang dikelola sendiri.
Tantangan menggunakan layanan Prometheus yang dikelola sendiri untuk memantau instance ApsaraMQ for Kafka dan kluster Kafka yang dikelola sendiri
Jika Anda menggunakan layanan Prometheus yang dikelola sendiri untuk memantau instance ApsaraMQ for Kafka dan kluster Kafka yang dikelola sendiri, Anda mungkin menghadapi tantangan berikut:
Untuk memastikan keamanan dan memudahkan pengelolaan organisasi, kemungkinan besar Anda menerapkan bisnis di beberapa virtual private cloud (VPC) terpisah. Jika ingin menggunakan layanan Prometheus yang dikelola sendiri untuk memantau bisnis tersebut, Anda harus menerapkan layanan Prometheus di setiap VPC. Hal ini meningkatkan biaya penerapan serta biaya operasional & pemeliharaan (O&M).
Anda harus mengonfigurasi Prometheus, Grafana, dan Alertmanager di setiap sistem pemantauan mandiri, yang kompleks dan memerlukan waktu lama untuk diselesaikan.
Dalam beberapa kasus, Agen JMX Apache Kafka sumber terbuka mengonsumsi sejumlah besar sumber daya CPU, yang dapat memengaruhi kinerja kluster Kafka yang dikelola sendiri.
Anda tidak dapat menggunakan layanan Prometheus yang dikelola sendiri untuk memantau instance ApsaraMQ for Kafka. Akibatnya, Anda tidak dapat memantau kluster pesan secara terpusat dalam satu tempat.
Jika kluster Kafka yang dikelola sendiri Anda diterapkan pada Instance ECS (Elastic Compute Service), layanan Prometheus yang dikelola sendiri tidak dapat mendefinisikan dan menangkap target secara fleksibel berdasarkan tag ECS karena kurangnya mekanisme penemuan layanan. Untuk mengimplementasikan mekanisme serupa, Anda harus menulis kode dalam Golang untuk memanggil POP API Alibaba Cloud ECS guna mengintegrasikan layanan Prometheus sumber terbuka. Kemudian, Anda harus mengompilasi dan mengemas kode tersebut, lalu menerapkan layanan Prometheus sumber terbuka. Proses ini kompleks dan menyebabkan banyak kesulitan dalam pemutakhiran versi.
Dasbor Grafana sumber terbuka umumnya tidak dapat menyesuaikan metrik pemantauan berdasarkan prinsip dan praktik terbaik Apache Kafka.
Tidak ada template peringatan yang tersedia untuk memantau Apache Kafka. Anda harus mengonfigurasi aturan peringatan sendiri, yang membutuhkan tenaga kerja dengan persyaratan teknis tinggi.
Perbandingan antara layanan Prometheus yang dikelola sendiri dan Managed Service for Prometheus
Tabel berikut membandingkan layanan Prometheus yang dikelola sendiri dengan Managed Service for Prometheus dalam memantau instance ApsaraMQ for Kafka dan kluster Kafka yang dikelola sendiri.
Item | Layanan Prometheus yang Dikelola Sendiri | Managed Service for Prometheus |
Biaya Penerapan dan O&M | Anda harus membeli instance ECS untuk menerapkan Prometheus, Grafana, dan Alertmanager di beberapa VPC, yang mengakibatkan biaya O&M tinggi. | Managed Service for Prometheus adalah layanan terkelola sepenuhnya yang disediakan untuk penggunaan langsung dan mengintegrasikan Prometheus, Grafana, dan Alertmanager. |
Ketersediaan, Kinerja, dan Kapasitas Penyimpanan | Kinerja keseluruhan dan performa ketersediaan tinggi buruk, serta kapasitas penyimpanan kecil. | Kinerja keseluruhan dan performa ketersediaan tinggi sangat baik, serta kapasitas penyimpanan besar. |
Kinerja Exporter | Dalam beberapa kasus, agen JMX dari Apache Kafka sumber terbuka mengonsumsi sejumlah besar sumber daya CPU, yang dapat memengaruhi kluster Kafka yang dikelola sendiri. | Managed Service for Prometheus secara terus-menerus mengoptimalkan kinerja dan meningkatkan stabilitas agen JMX dari Apache Kafka sumber terbuka. |
Penemuan Layanan | Penemuan layanan instance ECS dilakukan menggunakan konfigurasi statis sumber terbuka atau registri layanan pihak ketiga. Proses ini kompleks dan memiliki biaya O&M tinggi. | Managed Service for Prometheus kompatibel dengan fitur penemuan layanan sumber terbuka dan menyediakan aliyun_sd_configs. Mirip dengan LabelSelector untuk penemuan layanan Kubernetes, Anda dapat menggunakan tag ECS untuk mengidentifikasi instance ECS target. Hal ini menyederhanakan konfigurasi dan O&M penemuan layanan. |
Dasbor Grafana | Dasbor Grafana hanya menampilkan metrik yang dikumpulkan. Anda tidak dapat menyesuaikan metrik pemantauan berdasarkan prinsip dan praktik terbaik Apache Kafka. | Managed Service for Prometheus menyediakan template dasbor profesional untuk memantau Apache Kafka. Anda dapat menggunakan dasbor untuk dengan cepat dan akurat memahami status proses Apache Kafka secara keseluruhan dan menyelesaikan masalah. |
Aturan Peringatan | Tidak ada template peringatan yang tersedia untuk memantau Apache Kafka. Anda harus mengonfigurasi aturan peringatan sendiri. | Managed Service for Prometheus menyediakan template metrik peringatan profesional dan fleksibel berdasarkan praktik terbaik untuk memantau Apache Kafka. Anda dapat mengonfigurasi aturan peringatan melalui GUI. |
Layanan Terpadu | Layanan Prometheus yang dikelola sendiri diterapkan di beberapa VPC dan tidak dapat digunakan untuk memantau instance ApsaraMQ for Kafka. Akibatnya, Anda tidak dapat memantau kluster pesan secara terpusat dalam satu tempat. | Managed Service for Prometheus adalah layanan terkelola sepenuhnya yang terintegrasi ke dalam ApsaraMQ for Kafka. ApsaraMQ for Kafka menyediakan sistem pemantauan keseluruhan asli. |
Gunakan Managed Service for Prometheus untuk memantau ApsaraMQ for Kafka
Managed Service for Prometheus terintegrasi ke dalam ApsaraMQ for Kafka. Metrik utama meliputi:
Traffic instance, grup, dan topik
Akumulasi pesan grup dan topik
Penggunaan disk instance
Metrik rebalance grup
Lihat dasbor ApsaraMQ for Kafka
ApsaraMQ for Kafka menyediakan tiga dasbor pemantauan untuk instance, grup, dan topik. Anda dapat melihat data pada dasbor untuk memahami produksi dan konsumsi pesan serta dengan cepat mengidentifikasi masalah.
Dasbor Instance
Masuk ke Konsol ApsaraMQ for Kafka. Di panel navigasi di sebelah kiri, klik Instances.
Klik nama instance ApsaraMQ for Kafka yang ingin Anda lihat. Di panel navigasi di sebelah kiri, klik Prometheus Monitoring untuk melihat data pemantauan instance.
Dasbor Grup Konsumen
Masuk ke Konsol ApsaraMQ for Kafka. Di panel navigasi di sebelah kiri, klik Instances.
Klik nama instance ApsaraMQ for Kafka yang ingin Anda lihat. Di panel navigasi di sebelah kiri, klik Groups. Pada halaman yang muncul, klik ID grup yang ingin Anda lihat dan klik tab Prometheus Monitoring untuk melihat data pemantauan grup.
Dasbor Topik
Masuk ke Konsol ApsaraMQ for Kafka. Di panel navigasi di sebelah kiri, klik Instances.
Klik nama instance ApsaraMQ for Kafka yang ingin Anda lihat. Di panel navigasi di sebelah kiri, klik Topics. Pada halaman yang muncul, klik nama topik yang ingin Anda lihat dan klik tab Prometheus Monitoring untuk melihat data pemantauan topik.
Gunakan Managed Service for Prometheus untuk mengonfigurasi aturan peringatan untuk ApsaraMQ for Kafka
Masuk ke Konsol ARMS.
Di panel navigasi di sebelah kiri, pilih .
Klik nama instance Managed Service for Prometheus yang ingin Anda kelola untuk pergi ke halaman Pusat Integrasi.
Klik kartu ApsaraMQ for Kafka di bagian Installed. Di panel yang muncul, klik tab Alerts untuk melihat peringatan Prometheus untuk ApsaraMQ for Kafka. Managed Service for Prometheus menyediakan metrik peringatan utama untuk instance, grup, dan topik ApsaraMQ for Kafka. Anda dapat menambahkan aturan peringatan sesuai kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Buat Aturan Peringatan untuk Instance Prometheus.
Gunakan Managed Service for Prometheus untuk memantau kluster Kafka yang dikelola sendiri
Anda juga dapat menggunakan Managed Service for Prometheus untuk memantau kluster Kafka yang dikelola sendiri yang diterapkan di lingkungan ECS atau layanan kontainer seperti Container Service for Kubernetes (ACK), Serverless Kubernetes (ASK), dan kluster terdaftar. Metrik dasar seperti jumlah broker, partisi topik, dan lag grup pesan dikumpulkan. Untuk menggunakan Managed Service for Prometheus, Anda tidak perlu mengonfigurasi atau memulai ulang broker Kafka.
Saat menggunakan Managed Service for Prometheus untuk memantau kluster Kafka yang dikelola sendiri, fokuskan juga pada metrik O&M internal.
Terapkan komponen aplikasi Kafka untuk kluster Kafka yang dikelola sendiri
Masuk ke Konsol ARMS.
Di panel navigasi di sebelah kiri, pilih Integration Center, dan klik kartu Kafka di sebelah kanan.
Atur nilai parameter sesuai petunjuk, dan klik OK. Tabel berikut menjelaskan parameter utama.
ACK
Parameter
Deskripsi
Pod Label Selector
Tag dan nilai tag yang dikonfigurasikan untuk pod saat agen JMX Kafka diterapkan. Managed Service for Prometheus menggunakan tag ini untuk penemuan layanan. Untuk informasi lebih lanjut, lihat Bagaimana cara menerapkan dan mengonfigurasi agen JMX Kafka?
Interval Pengumpulan Metrik
Interval waktu Anda ingin layanan mengumpulkan data pemantauan.
ECS(VPC)
Parameter
Deskripsi
Nama kluster Kafka
Nama kluster Kafka, yang harus unik. Jika nama duplikat, metrik yang sama mungkin dikumpulkan berulang kali, menyebabkan kesalahan pada dasbor.
Alamat layanan
Titik akhir broker Kafka yang dikelola sendiri, yang bisa berupa alamat IP atau alamat sistem nama domain (DNS). Pisahkan beberapa alamat broker dengan koma (,) atau titik koma (;).
Aktifkan SASL
Menentukan apakah akan mengaktifkan fitur Simple Authentication and Security Layer (SASL) pada broker Apache Kafka.
Aktifkan TLS
Menentukan apakah akan mengaktifkan fitur Transport Layer Security (TLS) pada broker Apache Kafka.
Interval pengumpulan metrik (unit/detik)
Interval waktu Anda ingin layanan mengumpulkan data pemantauan.
Lihat dasbor kluster Kafka yang dikelola sendiri
Masuk ke Konsol ARMS.
Di panel navigasi di sebelah kiri, pilih .
Klik nama instance Managed Service for Prometheus yang ingin Anda kelola untuk pergi ke halaman Pusat Integrasi.
Klik kartu Kafka di bagian Installed. Di panel yang muncul, klik tab Dashboards dan klik diagram dasbor Grafana yang ingin Anda lihat.
Dasbor komponen aplikasi Kafka menampilkan informasi berikut:
Jumlah broker Kafka.
Jumlah partisi di setiap topik.
Jumlah pesan masuk, pesan keluar, dan pesan terakumulasi di setiap topik.
Jumlah replika sinkron (ISR) di setiap topik.
Konfigurasikan aturan peringatan untuk kluster Kafka yang dikelola sendiri
Di halaman Integration Center yang muncul di konsol Managed Service for Prometheus, klik kartu Kafka di bagian Installed. Di panel yang muncul, klik tab Alerts untuk melihat peringatan Prometheus.
Managed Service for Prometheus menyediakan empat metrik peringatan utama: Number of active brokers decrease, Number of Under Replicated partitions, Number of partitions, dan Consumer topic lag. Anda juga dapat menambahkan aturan peringatan sesuai kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Buat Aturan Peringatan untuk Instance Prometheus.