Cara mengatur peringatan berbasis kata kunci - Simple Log Service

Setelah mengumpulkan log di Simple Log Service, Anda dapat membuat peringatan berbasis kata kunci.

Informasi latar belakang

Log mencatat operasi dan pengecualian sistem, seperti log peringatan, log error, error panic dalam Go, error java.lang.StackOverflowError dalam Java, serta log status sistem untuk event seperti kegagalan pembayaran. Mencari kata kunci, memantau, dan membuat peringatan merupakan kebutuhan umum dalam pemeliharaan sistem. Anda dapat mencari kata kunci dalam log dan mengatur peringatan untuk mendeteksi serta melokalisasi masalah secara cepat. Simple Log Service menyediakan solusi alerting yang fleksibel, berkinerja tinggi, dan bebas pemeliharaan untuk membantu Anda membuat peringatan berbasis kata kunci.

Kasus penggunaan 1: Peringatan saat kata kunci muncul

Jika Anda ingin memicu peringatan setiap kali kata kunci tertentu muncul dalam log, ikuti kasus penggunaan ini untuk mengonfigurasi pernyataan kueri dan aturan pemantauan peringatan.

Pernyataan kueri

Atur rentang waktu kueri ke 15 Minutes (Relative), lalu jalankan pernyataan berikut untuk mengkueri log yang berisi kata kunci ERROR. Untuk informasi selengkapnya, lihat Kueri dan analisis log.
```
ERROR
```
Hasil kueri

Hasil kueri menunjukkan bahwa kata kunci ERROR muncul dua kali dalam 15 menit terakhir.

Hasil kueri menampilkan dua log yang cocok. Detail log tersebut mengungkapkan error Python Traceback yang dihasilkan selama tugas ETL, di mana bidang levelname memiliki nilai ERROR.
Konfigurasi aturan pemantauan peringatan
Buat aturan pemantauan peringatan berdasarkan hasil kueri. Untuk informasi selengkapnya, lihat Buat aturan pemantauan peringatan. Parameter konfigurasi utama adalah sebagai berikut:
- Atur Trigger Condition ke data is returned. Ini akan memicu peringatan ketika kata kunci ERROR muncul dalam log.
- Pada bagian Annotations, atur Description ke ${logging} dan Alert Template ke SLS Built-in Content Template. Notifikasi peringatan kemudian akan menyertakan konten dari bidang logging pada log mentah.
Atur Rule Name ke Error-level event detected, Check Frequency ke interval tetap 15 menit, dan Severity ke Medium. Untuk Alert Policy, pilih Simple Mode. Pada Action Policy, tambahkan DingTalk sebagai saluran notifikasi, pilih Webhook sample, dan atur Send Period ke Any.
Notifikasi peringatan

Setelah membuat aturan pemantauan peringatan, Anda akan menerima notifikasi peringatan di grup DingTalk setiap kali kata kunci ERROR muncul dalam log. Anda juga dapat mengklik Details untuk melihat log yang memicu peringatan dan melacak masalah tersebut.

Kasus penggunaan 2: Peringatan berdasarkan jumlah kemunculan kata kunci

Jika Anda ingin memicu peringatan hanya ketika jumlah kemunculan kata kunci mencapai ambang batas tertentu dalam periode waktu tertentu, ikuti kasus penggunaan ini untuk mengonfigurasi kueri analitis dan aturan pemantauan peringatan.

Kueri analitis

Atur rentang waktu kueri ke 1 Jam (Relatif) dan jalankan pernyataan berikut untuk menghitung jumlah kemunculan kata kunci ERROR dalam satu jam. Untuk informasi selengkapnya, lihat Kueri dan analisis log.
```
ERROR | SELECT count(*) AS cnt
```
Hasil kueri analitis

Hasil kueri analitis menunjukkan bahwa kata kunci ERROR muncul 11 kali dalam satu jam terakhir.

Kueri analitisnya adalah ERROR | SELECT count(*) AS cnt, dan hasilnya menunjukkan nilai 11 pada kolom cnt.
Konfigurasi aturan pemantauan peringatan
Buat aturan pemantauan peringatan berdasarkan hasil kueri analitis. Untuk informasi selengkapnya, lihat Buat aturan pemantauan peringatan. Parameter konfigurasi utama adalah sebagai berikut:
- Atur Trigger Condition ke data is returned, and cnt > 5. Ini akan memicu peringatan jika kata kunci ERROR muncul lebih dari 5 kali dalam satu jam.
- Pada bagian Annotations, atur Description ke ERROR occurred ${cnt} times in the last hour dan Alert Template ke SLS Built-in Content Template. Notifikasi peringatan akan menampilkan jumlah kemunculan kata kunci ERROR selama satu jam terakhir.
Atur Rule Name ke High volume of ERROR messages, Check Frequency ke interval tetap 1 jam, Group Evaluation ke Disabled, dan Severity ke Medium. Untuk Alert Policy, pilih Simple Mode. Pilih DingTalk sebagai saluran notifikasi, pilih Webhook sample, atur Reminders ke Disabled, dan atur Send Period ke Any.
Notifikasi peringatan

Setelah membuat aturan pemantauan peringatan, Anda akan menerima notifikasi peringatan di grup DingTalk jika kata kunci ERROR muncul lebih dari 5 kali dalam satu jam terakhir. Anda juga dapat mengklik Details untuk melihat log yang memicu peringatan dan melacak masalah tersebut.

Kasus penggunaan 3: Peringatan berdasarkan perbandingan hari-ke-hari

Jika frekuensi kata kunci dalam log mengikuti siklus harian—lebih sering di siang hari dan lebih jarang di malam hari—menggunakan jumlah absolut mungkin tidak cocok untuk mendeteksi anomali. Anda dapat menggunakan fungsi perbandingan bernilai-interval dan bernilai-periodisitas untuk menghitung rasio kemunculan kata kunci antara periode waktu yang sama pada hari berbeda, lalu mengonfigurasi peringatan berdasarkan rasio tersebut.

Kueri analitis

Atur rentang waktu kueri ke 1 Jam (Relatif) dan jalankan pernyataan berikut untuk menghitung rasio kemunculan kata kunci ERROR antara jam saat ini dan jam yang sama kemarin. Untuk informasi selengkapnya, lihat Kueri dan analisis log. Untuk informasi selengkapnya tentang fungsi compare, lihat Fungsi perbandingan bernilai-interval dan bernilai-periodisitas.
```
ERROR |
SELECT
  diff [1] AS today,
  diff [2] AS yesterday,
  round((diff [3]-1) * 100, 2) AS ratio
FROM  (
    SELECT
      compare(cnt, 86400) AS diff
    FROM      (
        SELECT
          COUNT(*) AS cnt
        FROM          log
      )
  )
```
Hasil kueri analitis

Hasil kueri analitis menunjukkan bahwa kata kunci ERROR muncul 11 kali dalam satu jam terakhir dan 6 kali pada periode yang sama kemarin, yang merepresentasikan tingkat pertumbuhan sebesar 83,33%.
Konfigurasi aturan pemantauan peringatan
Buat aturan pemantauan peringatan berdasarkan hasil kueri analitis. Untuk informasi selengkapnya, lihat Buat aturan pemantauan peringatan. Parameter konfigurasi utama adalah sebagai berikut:
- Atur Trigger Condition ke data is returned, and ratio > 10. Ini akan memicu peringatan jika rasio kemunculan kata kunci ERROR antara jam saat ini dan jam yang sama kemarin melebihi 10%.
- Pada bagian Annotations, atur Description ke Error count in the last hour: ${today}. Same period yesterday: ${yesterday}. Day-over-day growth: ${ratio}%. dan Alert Template ke SLS Built-in Content Template. Notifikasi peringatan akan menampilkan jumlah kemunculan kata kunci ERROR untuk jam saat ini dan jam yang sama kemarin, beserta laju perubahannya.
Atur Rule Name ke Spike in ERROR messages, Check Frequency ke interval tetap 15 menit, Group Evaluation ke Disabled, dan Severity ke Medium. Untuk Alert Policy, pilih Simple Mode. Pilih DingTalk sebagai saluran notifikasi, pilih Webhook sample, atur Reminders ke Disabled, atur Send Period ke Any, dan atur Repeat Interval ke 1 menit.
Notifikasi peringatan

Setelah membuat aturan pemantauan peringatan, Anda akan menerima notifikasi peringatan di grup DingTalk jika rasio kemunculan kata kunci ERROR antara jam saat ini dan jam yang sama kemarin melebihi 10%. Anda juga dapat mengklik Details untuk melihat log yang memicu peringatan dan melacak masalah tersebut.

Kasus penggunaan 4: Peringatan anomali berbasis pembelajaran mesin

Kasus penggunaan sebelumnya mencakup skenario dasar. Untuk situasi yang lebih kompleks, Anda dapat menggunakan algoritma pembelajaran mesin dari Simple Log Service. Misalnya, frekuensi kata kunci target mungkin stabil sepanjang hari tetapi tiba-tiba melonjak atau turun drastis, dan Anda ingin segera diberi tahu tentang perubahan ini. Untuk skenario ini, Anda dapat menggunakan algoritma pembelajaran mesin di Simple Log Service untuk melakukan peramalan deret waktu dan deteksi anomali. Untuk informasi selengkapnya tentang algoritma pembelajaran mesin, lihat Fungsi pembelajaran mesin.

Kueri analitis

Atur rentang waktu kueri ke 4 Jam (Relatif) dan jalankan pernyataan berikut untuk menghitung jumlah anomali dalam jumlah ERROR selama 4 jam terakhir. Untuk informasi selengkapnya, lihat Kueri dan analisis log. Untuk informasi selengkapnya tentang fungsi ts_predicate_simple, lihat ts_predicate_simple.
```
ERROR |
SELECT
  ts_predicate_simple(stamp, value, 6)
FROM  (
    select
      __time__-__time__ % 30 AS stamp,
      count(1) AS value
    FROM      log
    GROUP BY
      stamp
    ORDER BY
      stamp
  )
```
Hasil kueri analitis

Kueri mengembalikan kolom seperti src, predict, upper, lower, dan anomaly_prob. Nilai lebih besar dari 0 pada kolom anomaly_prob menunjukkan adanya anomali. Jumlah total anomali adalah jumlah baris di mana anomaly_prob lebih besar dari 0. Anda dapat menggunakan jumlah ini untuk mengonfigurasi peringatan. Tabel hasil berisi enam bidang: unixtime (timestamp Unix), src (nilai asli), predict (nilai prediksi), upper (batas atas prediksi), lower (batas bawah prediksi), dan anomaly_prob (probabilitas anomali, di mana 0,0 berarti normal dan 1,0 menunjukkan anomali).

Anda juga dapat menampilkan hasil kueri analitis sebagai grafik deret waktu untuk memvisualisasikan penurunan data yang tiba-tiba. Lingkaran merah kecil pada grafik merepresentasikan titik anomali. Dalam contoh ini, grafik menunjukkan bahwa terdapat 15 titik anomali selama periode waktu tersebut.
Konfigurasi aturan pemantauan peringatan
Buat aturan pemantauan peringatan berdasarkan hasil kueri analitis. Untuk informasi selengkapnya, lihat Buat aturan pemantauan peringatan. Parameter konfigurasi utama adalah sebagai berikut:
- Atur Trigger Condition ke Number of matching rows > 5, where the condition is anomaly_prob > 0. Ini akan memicu peringatan jika lebih dari 5 anomali terdeteksi dalam 4 jam terakhir.
- Pada bagian Annotations, atur Description ke More than 5 anomalies detected in ERROR count in the last 4 hours dan Alert Template ke SLS Built-in Content Template. Notifikasi peringatan akan menampilkan jumlah titik anomali yang terjadi dalam 4 jam terakhir.
Atur Rule Name ke Anomaly in ERROR message count dan Check Frequency ke interval tetap 15 menit. Pada bagian Query Statistics, masukkan pernyataan kueri ERROR. Atur Group Evaluation ke Disabled dan Severity ke Medium. Untuk Alert Policy, pilih Simple Mode, dan untuk Action Policy, pilih Error-level event detected-Action Policy. Pilih DingTalk sebagai saluran notifikasi, pilih Webhook sample, atur Reminders ke Disabled, atur Send Period ke Any, dan atur Repeat Interval ke 1 menit.
Notifikasi peringatan

Setelah membuat aturan pemantauan peringatan, Anda akan menerima notifikasi peringatan di grup DingTalk jika lebih dari 5 anomali terdeteksi dalam 4 jam terakhir. Anda juga dapat mengklik Details untuk melihat log yang memicu peringatan dan melacak masalah tersebut.