Gunakan Alibaba Cloud Elasticsearch dan Rsbeat untuk Menganalisis Log Lambat Redis secara Real-Time - Elasticsearch

Redis adalah database key-value yang banyak digunakan dengan performa tinggi. Redis bersifat single-threaded, sehingga penggunaan yang tidak tepat dapat menyebabkan query lambat. Query lambat yang berlebihan atau memakan waktu lama, seperti 20 detik, dapat memblokir antrian operasi atau menyebabkan layanan menjadi tidak tersedia. Dalam situasi ini, Anda perlu mengumpulkan dan menganalisis log lambat Redis secara real-time untuk mendeteksi dan menangani pengecualian. Topik ini menjelaskan cara menggunakan Alibaba Cloud Elasticsearch dan Rsbeat untuk menganalisis log lambat Redis secara real-time.

Informasi latar belakang

Anda dapat menggunakan Rsbeat untuk mengumpulkan dan mengirim log lambat Redis ke Elasticsearch. Kemudian, gunakan grafik di konsol Kibana untuk menganalisis log tersebut. Berikut adalah deskripsi istilah terkait:

Elasticsearch: Mesin pencari dan analitik berbasis Lucene, terdistribusi, dan real-time. Ini adalah produk open source yang dirilis di bawah Lisensi Apache. Elasticsearch merupakan mesin pencari populer bagi perusahaan, menyediakan sistem terdistribusi untuk menyimpan, menanyakan, dan menganalisis sejumlah besar dataset dalam waktu hampir real-time. Elasticsearch sering digunakan sebagai teknologi dasar untuk mendukung query kompleks dan aplikasi berperforma tinggi.
Alibaba Cloud Elasticsearch kompatibel dengan fitur open source Elasticsearch, seperti Keamanan, Pembelajaran Mesin, Graf, dan Pemantauan Kinerja Aplikasi (APM). Produk ini tersedia dalam versi seperti 5.5.3, 6.3.2, 6.7.0, 6.8.0, dan 7.4.0, serta mendukung plugin komersial X-Pack. Solusi ini ideal untuk skenario yang melibatkan analitik data dan pencarian. Alibaba Cloud Elasticsearch juga mengimplementasikan fitur tambahan seperti manajemen izin tingkat perusahaan, pemantauan keamanan dan peringatan, serta pelaporan otomatis. Dalam contoh ini, Alibaba Cloud Elasticsearch digunakan. Untuk informasi lebih lanjut, lihat Apa itu Alibaba Cloud Elasticsearch?
Rsbeat: Pengirim data yang digunakan untuk mengumpulkan dan menganalisis log lambat Redis. Untuk informasi lebih lanjut, lihat Dokumentasi Resmi Rsbeat.
Redis: Penyimpan struktur data in-memory open source yang dapat digunakan sebagai database, cache, dan middleware pesan. Untuk informasi lebih lanjut, lihat Dokumentasi Resmi Redis.
ApsaraDB for Redis adalah layanan database yang kompatibel dengan protokol Redis asli. Layanan ini mendukung penyimpanan hybrid memori dan hard disk serta menyediakan arsitektur hot standby yang sangat tersedia. ApsaraDB for Redis dapat diskalakan untuk memenuhi persyaratan operasi baca/tulis berperforma tinggi. Dalam contoh ini, ApsaraDB for Redis digunakan. Untuk informasi lebih lanjut, lihat Apa itu ApsaraDB for Redis?

Prosedur

Lakukan Persiapan
Buat cluster Alibaba Cloud Elasticsearch, instance ApsaraDB for Redis, dan instance Elastic Compute Service (ECS) di virtual private cloud (VPC) yang sama.
Langkah 1: Konfigurasikan Parameter Query Lambat untuk Instance ApsaraDB for Redis
Konfigurasikan kondisi untuk menghasilkan log lambat Redis dan tentukan jumlah maksimum log lambat yang dapat direkam sesuai kebutuhan Anda.
Langkah 2: Instal dan Konfigurasikan Rsbeat
Instal Rsbeat pada instance ECS dan tentukan instance ApsaraDB for Redis serta cluster Alibaba Cloud Elasticsearch dalam file konfigurasi Rsbeat.
Langkah 3: Analisis Log Lambat Redis di Konsol Kibana Menggunakan Grafik
Lihat detail log lambat Redis di konsol Kibana cluster Alibaba Cloud Elasticsearch dan analisis log berdasarkan kebutuhan bisnis Anda.

Lakukan persiapan

Buat cluster Alibaba Cloud Elasticsearch dan aktifkan fitur Auto Indexing untuk cluster tersebut.
Untuk informasi lebih lanjut, lihat Buat Cluster Alibaba Cloud Elasticsearch dan Konfigurasikan File YML. Dalam contoh ini, cluster Elasticsearch V6.7 Edisi Standar digunakan.
Buat instance ApsaraDB for Redis.
Untuk informasi lebih lanjut, lihat Langkah 1: Buat Instance ApsaraDB for Redis. Dalam contoh ini, instance ApsaraDB for Redis V5.0 Edisi Komunitas digunakan. Instance ini berada di VPC yang sama dengan cluster Alibaba Cloud Elasticsearch, memungkinkan akses ke cluster Elasticsearch melalui jaringan internal.
Buat instance ECS.
Untuk informasi lebih lanjut, lihat Buat Instance Menggunakan Wizard. Dalam contoh ini, instance ECS yang menjalankan image CentOS 7.6 64-bit digunakan. Instance ini berada di VPC yang sama dengan instance ApsaraDB for Redis dan cluster Alibaba Cloud Elasticsearch.
Konfigurasikan daftar putih alamat IP untuk akses ke instance ApsaraDB for Redis.
Tambahkan alamat IP pribadi instance ECS ke daftar putih alamat IP instance ApsaraDB for Redis. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih.

Langkah 1: Konfigurasikan parameter query lambat untuk instance ApsaraDB for Redis

Masuk ke Konsol ApsaraDB for Redis.
Di bilah navigasi atas, pilih wilayah.
Pada halaman Instances, temukan instance ApsaraDB for Redis dan klik ID-nya.
Di panel navigasi sisi kiri, klik System Parameters.

Pada tab System Parameters, temukan parameter slowlog-log-slower-than dan slowlog-max-len. Kemudian, modifikasi parameter ini sesuai kebutuhan Anda.

Parameter	Deskripsi	Contoh
slowlog-log-slower-than	Jika runtime suatu perintah melebihi nilai parameter ini, perintah tersebut didefinisikan sebagai query lambat dan dicatat sebagai log lambat. Runtime tidak termasuk waktu yang dihabiskan dalam antrian. Unit: mikrodetik. Nilai default: 10000 (10 milidetik). Penting Jika Anda mengatur parameter ini ke angka negatif, ApsaraDB for Redis tidak akan mencatat query lambat sebagai log lambat. Jika Anda mengatur parameter ini ke 0, ApsaraDB for Redis akan mencatat semua perintah.	Dalam contoh ini, parameter ini diatur ke 20000. Nilai ini menunjukkan bahwa perintah yang runtime-nya melebihi 20 milidetik dicatat sebagai log lambat.
slowlog-max-len	Jumlah maksimum perintah query lambat yang dapat dicatat sebagai log lambat. Jika jumlah perintah yang dicatat melebihi nilai parameter ini, ApsaraDB for Redis akan menghapus log lambat yang paling awal.	Dalam contoh ini, parameter ini diatur ke 100. Nilai ini menunjukkan bahwa ApsaraDB for Redis mencatat 100 perintah query lambat terbaru sebagai log lambat.

Langkah 2: Instal dan konfigurasikan Rsbeat

Hubungkan ke instance ECS.
Untuk informasi lebih lanjut, lihat Hubungkan ke Instance ECS.

Unduh dan ekstrak paket Rsbeat.

Dalam contoh ini, Rsbeat 5.3.2 digunakan.

wget https://github.com/Yourdream/rsbeat/archive/master.zip
unzip master.zip

Modifikasi konfigurasi Rsbeat.

Jalankan perintah berikut untuk membuka file rsbeat.yml:
```
cd rsbeat-master
vim rsbeat.yml
```

Modifikasi konfigurasi di bagian rsbeat dan output.elasticsearch berdasarkan instruksi berikut dan simpan modifikasi tersebut.

rebeat.yml参数配置

Tabel 1. Konfigurasi di Bagian rsbeat
Parameter	Deskripsi
period	Interval di mana Rsbeat mengirim log lambat Redis ke cluster Elasticsearch.
redis	Titik akhir yang digunakan untuk terhubung ke instance ApsaraDB for Redis. Untuk informasi lebih lanjut, lihat Lihat titik akhir. Penting Kata sandi yang digunakan untuk mengakses instance ApsaraDB for Redis tidak ditentukan dalam file konfigurasi Rsbeat. Untuk memungkinkan Rsbeat mengakses instance ApsaraDB for Redis, Anda harus mengaktifkan akses tanpa kata sandi setelah Anda mendapatkan titik akhir. Untuk informasi lebih lanjut, lihat Aktifkan akses tanpa kata sandi.
slowerThan	Waktu yang diperlukan untuk mengirim perintah `config set slowlog-log-slower-than` ke server Redis. Unit: mikrodetik.

Tabel 2. Konfigurasi di Bagian output.elasticsearch
Parameter	Deskripsi
hosts	Titik akhir yang digunakan untuk mengakses cluster Elasticsearch. Anda dapat memperoleh titik akhir di halaman Informasi Dasar cluster Elasticsearch. Untuk informasi lebih lanjut, lihat Lihat informasi dasar cluster.
username	Nama pengguna yang digunakan untuk mengakses cluster Elasticsearch. Nama pengguna default adalah elastic.
password	Kata sandi yang digunakan untuk mengakses cluster Elasticsearch. Kata sandi ditentukan saat Anda membuat cluster Elasticsearch. Jika Anda lupa kata sandi, Anda dapat menyetel ulang. Untuk informasi lebih lanjut tentang tindakan pencegahan dan prosedur untuk menyetel ulang kata sandi, lihat Setel ulang kata sandi akses untuk cluster Elasticsearch.
template.overwrite	Menentukan apakah template indeks yang dibuat oleh Rsbeat dengan nama yang sama dengan template indeks cluster Elasticsearch menimpa template indeks cluster Elasticsearch. Nilai default: true.

Mulai layanan Rsbeat.

./rsbeat.linux.amd64 -c rsbeat.yml -e -d "*"

Langkah 3: Analisis log lambat Redis di konsol Kibana menggunakan grafik

Masuk ke konsol Kibana cluster Elasticsearch.
Untuk informasi lebih lanjut, lihat Masuk ke Konsol Kibana.
Buat pola indeks.
1. Di panel navigasi sisi kiri, klik Management.
2. Di bagian Kibana, klik Index Patterns.
3. Klik Create index pattern.
4. Di bagian yang muncul, masukkan nama pola indeks di bidang Index pattern dan klik Next step.
5. Tentukan Time Filter field name. Dalam topik ini, parameter ini diatur ke @timestamp.
6. Klik Create index pattern.
Lihat detail log lambat Redis.
1. Di panel navigasi sisi kiri, klik Discover.
2. Di bagian kiri halaman Discover, pilih rsbeat-* dari daftar drop-down di bawah Add a filter.
3. Di sudut kanan atas halaman, pilih rentang waktu dan lihat detail log lambat Redis selama rentang waktu tersebut.
Catat 10 kunci teratas dengan jumlah log lambat Redis terbesar dan atur dalam urutan menurun.
1. Di panel navigasi sisi kiri, klik Visualize.
2. Pada halaman Visualize, klik ikon .
3. Dalam kotak dialog New Visualization, klik Pie.
4. Di bagian From a New Search, Select Index, klik rsbeat-*.
5. Konfigurasikan parameter di bagian Metrics dan Buckets berdasarkan gambar berikut.
6. Klik ikon untuk melihat hasilnya.
  Catatan
  Untuk informasi lebih lanjut tentang catatan penggunaan konsol Kibana, lihat Panduan Pengguna Kibana.