Simple Log Service：Kumpulkan data metrik dari server Kafka

Batasan

Hanya Linux Logtail versi V0.16.48 atau lebih baru yang dapat mengumpulkan data metrik Kafka. Jika versi Logtail yang lebih lama terinstal di server Anda, Anda harus memperbarui Logtail ke versi yang didukung. Untuk informasi lebih lanjut, lihat Perbarui Logtail secara online.

Langkah 1: Buat konfigurasi Logtail

1. Masuk ke Konsol Simple Log Service.

2. Pada tab Monitoring Data di bagian Import Data, klik Kafka Monitoring Data.

3. Pilih proyek dan penyimpanan metrik, lalu klik Next.

4. Buat grup mesin.

   • Jika grup mesin sudah tersedia, klik Use Existing Machine Groups.

   • Jika tidak ada grup mesin yang tersedia, ikuti langkah-langkah berikut untuk membuat grup mesin. Dalam contoh ini, Instance ECS digunakan.

     1. Pada tab ECS Instances, pilih Pilih Instance Secara Manual. Lalu, pilih instance ECS yang ingin Anda gunakan dan klik Create.

        Untuk informasi lebih lanjut, lihat Instal Logtail pada Instance ECS.

        Penting

        Jika Anda ingin mengumpulkan log dari instance ECS yang dimiliki oleh akun Alibaba Cloud yang berbeda dari Simple Log Service, server di pusat data, atau server dari penyedia layanan cloud pihak ketiga, Anda harus menginstal Logtail secara manual. Untuk informasi lebih lanjut, lihat Instal Logtail pada Server Linux. Setelah Anda menginstal Logtail secara manual, Anda harus mengonfigurasi pengenal pengguna untuk server tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan Pengenal Pengguna.

     2. Setelah Logtail diinstal, klik Complete Installation.

     3. Pada langkah Create Machine Group, konfigurasikan parameter Name dan klik Next.

        Simple Log Service memungkinkan Anda membuat grup mesin berbasis alamat IP dan grup mesin berbasis pengenal kustom. Untuk informasi lebih lanjut, lihat Buat Grup Mesin Berbasis Alamat IP dan Buat Grup Mesin Berbasis Pengenal Kustom.

5. Pastikan grup mesin ditampilkan di bagian Applied Server Groups dan klik Next.

   Penting

   Jika Anda menerapkan grup mesin segera setelah membuatnya, status detak jantung grup mesin mungkin menunjukkan FAIL. Masalah ini terjadi karena grup mesin belum terhubung ke Simple Log Service. Untuk menyelesaikan masalah ini, Anda dapat mengklik Automatic Retry. Jika masalah tetap ada, lihat Apa yang harus saya lakukan jika tidak ada koneksi detak jantung yang terdeteksi pada Logtail?

6. Pada langkah Specify Data Source, konfigurasikan parameter-parameter berikut. Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi
   Configuration Name	Nama konfigurasi Logtail. Anda dapat memasukkan nama kustom.
   Cluster Name	Nama kluster Kafka. Anda dapat memasukkan nama kustom. Setelah Anda mengonfigurasi parameter ini, Simple Log Service menambahkan tag cluster=<Nama Kluster> ke data pemantauan Kafka yang dikumpulkan menggunakan konfigurasi Logtail. Penting Pastikan bahwa nama kluster unik. Jika tidak, konflik data mungkin terjadi.
   Server List	Informasi tentang server Kafka. Informasi tersebut mencakup item konfigurasi berikut: Address: alamat server Kafka. Anda dapat memasukkan alamat IP, nama host, atau nama domain server. Port: nomor port server Kafka. Nilai default: 7777. Anda dapat menambahkan informasi tentang beberapa server Kafka sesuai dengan kebutuhan bisnis Anda.
   Custom Tags	Tag kustom yang ditambahkan ke data pemantauan Kafka yang dikumpulkan. Tag tersebut adalah pasangan nilai-kunci. Setelah Anda mengonfigurasi parameter ini, Simple Log Service menambahkan tag kustom ke data pemantauan Kafka yang dikumpulkan menggunakan konfigurasi Logtail.

Langkah 2: Konfigurasikan JavaAgent

Setelah konfigurasi Logtail dibuat, Anda harus mengaktifkan akses ke data JMX melalui HTTP. Simple Log Service memungkinkan Anda menggunakan Jolokia untuk mengakses data JMX melalui HTTP. Anda dapat mengunduh dan memuat Jolokia. Jika Anda memerlukan bantuan, Anda dapat merujuk ke dokumentasi resmi Jolokia. Anda juga dapat menggunakan Jolokia JavaAgent yang disediakan oleh Logtail. Jolokia JavaAgent disimpan di /etc/ilogtail/telegraf/javaagent/jolokia-jvm.jar.

-javaagent:/tmp/jolokia-jvm.jar=port=7777,host=0.0.0.0

java -jar /etc/ilogtail/telegraf/javaagent/jolokia-jvm.jar --port 7777 start PID

Jolokia is already attached to PID 752
http://127.0.0.1:7777/jolokia/

curl http://127.0.0.1:7777/jolokia/
# Contoh respons
{"request":{"type":"version"},"value":{"agent":"1.6.2","protocol":"7.2","config":{"listenForHttpService":"true","maxCollectionSize":"0","authIgnoreCerts":"false","agentId":"30.**.**.186-752-5b091b5d-jvm","debug":"false","agentType":"jvm","policyLocation":"classpath:\/jolokia-access.xml","agentContext":"\/jolokia","serializeException":"false","mimeType":"text\/plain","maxDepth":"15","authMode":"basic","authMatch":"any","discoveryEnabled":"true","streaming":"true","canonicalNaming":"true","historyMaxEntries":"10","allowErrorDetails":"true","allowDnsReverseLookup":"true","realm":"jolokia","includeStackTrace":"true","maxObjects":"0","useRestrictorService":"false","debugMaxEntries":"100"},"info":{"product":"tomcat","vendor":"Apache","version":"8.5.57"}},"timestamp":1602663330,"status":200}⏎

Tanya Jawab Umum

Bagaimana cara memeriksa apakah Telegraf mengumpulkan data sesuai harapan?

Anda dapat memeriksa file log /etc/ilogtail/telegraf/telegraf.log di server Anda. Anda juga dapat mengumpulkan file log ini ke Layanan Log dan mencari informasi yang diperlukan.