Elasticsearch:Gunakan Alibaba Cloud Elasticsearch dan Rsbeat untuk menganalisis log lambat Redis secara real time

Lakukan persiapan

Langkah 1: Konfigurasikan parameter kueri lambat untuk instans ApsaraDB for Redis

Langkah 2: Instal dan konfigurasikan Rsbeat

Langkah 3: Analisis log lambat Redis di Konsol Kibana menggunakan grafik

Buat kluster Alibaba Cloud Elasticsearch dan aktifkan fitur Auto Indexing untuk kluster tersebut.

Buat instans ApsaraDB for Redis.

Buat instans ECS.

Konfigurasikan daftar putih alamat IP untuk akses ke instans ApsaraDB for Redis.

Masuk ke Konsol ApsaraDB for Redis.

Di bilah navigasi atas, pilih wilayah.

Pada halaman Clusters, klik ID instans target.

Di panel navigasi sebelah kiri, klik Parameters.

Pada tab System Parameters, temukan parameter slowlog-log-slower-than dan slowlog-max-len, lalu ubah parameter tersebut sesuai kebutuhan Anda.

Hubungkan ke instans ECS.

Unduh dan ekstrak paket Rsbeat.

wget https://github.com/Yourdream/rsbeat/archive/master.zip
unzip master.zip

Ubah konfigurasi Rsbeat.

1. Jalankan perintah berikut untuk membuka file rsbeat.yml:

   cd rsbeat-master
   vim rsbeat.yml

2. Ubah konfigurasi pada bagian rsbeat dan output.elasticsearch sesuai petunjuk berikut, lalu simpan perubahan tersebut.

   Berikut contoh konfigurasi rsbeat.yml:

   ################################ Rsbeat ######################################
   
   rsbeat:
     # Defines how often an event is sent to the output
     period: 1s
     redis: ["r-xxx.redis.rds.aliyuncs.com:6379"]
     slowerThan: 100
   
   #================================ General =====================================
   
   # The name of the shipper that publishes the network data. It can be used to group
   # all the transactions sent by a single shipper in the web interface.
   #name:
   
   # The tags of the shipper are included in their own field with each
   # transaction published.
   #tags: ["service-X", "web-tier"]
   
   # Optional fields that you can specify to add additional information to the
   # output.
   #fields:
   #  env: staging
   
   #============================== Outputs =======================================
   
   # Configure what outputs to use when sending the data collected by the beat.
   # Multiple outputs may be used.
   
   #-------------------------- Elasticsearch output ------------------------------
   output.elasticsearch:
     # Array of hosts to connect to.
     hosts: ["es-cn-xxx.elasticsearch.aliyuncs.com:9200"]
   
     # Optional protocol and basic auth credentials.
     #protocol: "https"
     username: "elastic"
     password: "xxx"
   
     # Overwrite existing template
     template.overwrite: true

   Tabel 1. Konfigurasi pada bagian rsbeat

   Parameter	Deskripsi
   period	Interval pengiriman log lambat Redis oleh Rsbeat ke kluster Elasticsearch.
   redis	Titik akhir untuk menghubungkan ke instans ApsaraDB for Redis. Untuk informasi selengkapnya, lihat Lihat titik akhir. Penting Sandi akses ke instans ApsaraDB for Redis tidak ditentukan dalam file konfigurasi Rsbeat. Agar Rsbeat dapat mengakses instans ApsaraDB for Redis, Anda harus mengaktifkan akses tanpa sandi setelah memperoleh titik akhir. Untuk informasi selengkapnya, lihat Aktifkan akses tanpa sandi.
   slowerThan	Waktu yang diperlukan untuk mengirim perintah config set slowlog-log-slower-than ke server Redis. Satuan: mikrodetik.

   Tabel 2. Konfigurasi pada bagian output.elasticsearch

   Parameter	Deskripsi
   hosts	Titik akhir untuk mengakses kluster Elasticsearch. Anda dapat memperoleh titik akhir tersebut di halaman Informasi Dasar kluster Elasticsearch. Untuk informasi selengkapnya, lihat Lihat informasi dasar kluster.
   username	Username untuk mengakses kluster Elasticsearch. Username default adalah elastic.
   password	Sandi untuk mengakses kluster Elasticsearch. Sandi ini ditentukan saat Anda membuat kluster Elasticsearch. Jika Anda lupa sandi tersebut, Anda dapat mengatur ulang. Untuk informasi tentang tindakan pencegahan dan prosedur pengaturan ulang sandi, lihat Atur ulang sandi akses kluster Elasticsearch.
   template.overwrite	Menentukan apakah templat indeks yang dibuat oleh Rsbeat dengan nama yang sama dengan templat indeks kluster Elasticsearch akan menimpa templat indeks kluster Elasticsearch. Nilai default: true.

Jalankan layanan Rsbeat.

./rsbeat.linux.amd64 -c rsbeat.yml -e -d "*"

Masuk ke Konsol Kibana kluster Elasticsearch.

Buat pola indeks.

1. Di panel navigasi sebelah kiri, klik Management.
2. Di bagian Kibana, klik Index Patterns.
3. Klik Create index pattern.

4. Pada bagian yang muncul, masukkan nama pola indeks di kolom Index pattern dan klik Next step.

5. Tentukan Time Filter field name. Dalam topik ini, parameter ini diatur ke @timestamp.
6. Klik Create index pattern.

Lihat detail log lambat Redis.

1. Di panel navigasi sebelah kiri, klik Discover.

2. Di bagian kiri halaman Discover, pilih rsbeat-* dari daftar drop-down di bawah Add a filter.

3. Di pojok kanan atas halaman, pilih rentang waktu dan lihat detail log lambat Redis selama rentang waktu tersebut.

   Di halaman Discover, pilih rsbeat-* sebagai pola indeks dan atur rentang waktu ke Last 24 hours untuk melihat catatan log lambat dalam periode tersebut. Halaman ini menampilkan jumlah hasil yang cocok, histogram distribusi waktu, serta daftar entri log yang berisi bidang seperti cmd, ipPort, slowId, key, dan duration.

Catat 10 kunci teratas dengan jumlah log lambat Redis terbanyak dan urutkan secara menurun.

1. Di panel navigasi sebelah kiri, klik Visualize.

2. Di halaman Visualize, klik ikon .

3. Di kotak dialog New Visualization, klik Pie.

4. Di bagian From a New Search, Select Index, klik rsbeat-*.

5. Konfigurasikan parameter pada bagian Metrics dan Buckets.

   Konfigurasi Metrics:

   • Slice Size: Atur Aggregation ke Count, dan atur Custom Label ke slowlog count.

   Konfigurasi Buckets:

   • Split Slices: Atur Aggregation ke Terms, atur Field ke key, atur Order By ke metric: slowlog count, atur Order ke Descend, dan atur Size ke 10.

6. Klik ikon untuk melihat hasilnya.

   

   Catatan

   Untuk informasi selengkapnya tentang catatan penggunaan Konsol Kibana, lihat Kibana User Guide.