Simple Log Service:LogReduce

Manfaat

• Mendukung log dalam format apa pun, seperti Log4j, JSON, dan log satu baris.

• Memproses ratusan juta entri log dan mengembalikan hasil dalam hitungan detik.

• Mengelompokkan data log berdasarkan pola apa pun.

• Mencari log mentah menggunakan signature suatu pola.

• Membandingkan pola pada periode waktu yang berbeda.

• Menyesuaikan presisi pengelompokan secara dinamis.

Trafik indeks

Aktifkan LogReduce

1. Masuk ke Konsol Simple Log Service.

2. Pada bagian Projects, klik proyek yang diinginkan.

   

3. Pada tab Log Storage > Logstores, klik logstore yang diinginkan.

   

4. Aktifkan fitur LogReduce.

   1. Klik Index Attributes > Attributes.

      Jika Anda belum mengaktifkan fitur indeks, klik Enable Index.

   2. Pada panel Query and Analysis, aktifkan sakelar LogReduce.

   3. Opsi: Konfigurasikan daftar putih atau blacklist untuk bidang yang ingin disertakan atau dikecualikan dari proses pengelompokan.

      Catatan

      Anda tidak dapat mengonfigurasi daftar putih dan blacklist secara bersamaan.

      Filter LogReduce	Deskripsi
      whitelist	Jika Anda mengonfigurasi whitelist, Simple Log Service hanya mengelompokkan log berdasarkan bidang-bidang dalam whitelist tersebut.
      blacklist	Jika Anda mengonfigurasi blacklist, Simple Log Service mengecualikan bidang-bidang dalam blacklist dari proses pengelompokan.
      Tidak ada whitelist atau blacklist yang dikonfigurasi	Jika tidak ada whitelist maupun blacklist yang dikonfigurasi, Simple Log Service mengelompokkan log berdasarkan semua bidang yang tersedia.

   4. Klik OK.

Hasil pengelompokan dan log mentah

1. Pada halaman Search & Analysis, masukkan pernyataan kueri, atur rentang waktu, lalu klik Search & Analyze.

   Catatan

   Anda hanya dapat menggunakan pernyataan kueri untuk memfilter log. LogReduce tidak mendukung pernyataan analisis karena tidak dapat memproses hasil analisis.

2. Klik tab LogReduce untuk melihat hasil pengelompokan.

   Anda juga dapat mengklik Add to New Dashboard untuk menyimpan hasil pengelompokan ke dasbor.

   Halaman hasil mencakup slider Pattern Count (yang dapat Anda geser untuk menyesuaikan granularitas pengelompokan dari Many ke Little), tombol Copy Query, dan tombol Log Compare.

   Parameter	Deskripsi
   Number	Nomor seri kluster.
   Count	Jumlah log yang sesuai dengan pola dalam rentang waktu yang ditentukan.
   Pattern	Pola yang dihasilkan oleh LogReduce yang merepresentasikan jenis entri log tertentu. Sebuah pola dapat berisi beberapa sub-pola.

   • Arahkan kursor ke angka pada kolom Count untuk melihat sub-pola dari kluster saat ini dan persentase masing-masing sub-pola. Klik tanda plus (+) di samping angka untuk memperluas daftar sub-pola.

   • Klik angka pada kolom Count untuk membuka tab Raw Log dan melihat log mentah yang sesuai dengan pola tersebut.

Menyesuaikan presisi pengelompokan

Bandingkan kluster log

1. Pada tab LogReduce, klik Log Compare.

2. Atur rentang waktu perbandingan dan klik OK.

   Sebagai contoh, jika rentang waktu kueri Anda saat ini adalah 15 menit dan Anda memilih 1 Day pada panel Log Compare, sistem akan membandingkan jendela 15 menit saat ini dengan jendela 15 menit yang sama dari hari sebelumnya.

   Parameter	Deskripsi
   Number	Nomor seri kluster.
   Pre_Count	Jumlah log yang sesuai dengan pola ini dalam rentang waktu yang Anda atur di Log Compare.
   Count	Jumlah log untuk pola tersebut dalam rentang waktu kueri saat ini.
   Diff	Selisih dan perubahan persentase jumlah log untuk pola tersebut antara dua periode waktu.
   Pattern	Pola spesifik dari suatu tipe log.

Contoh SQL

Anda juga dapat menjalankan pernyataan Search & Analysis untuk mendapatkan hasil LogReduce.

• Dapatkan hasil LogReduce

  • Pernyataan Search & Analysis

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    Catatan

    Saat melihat hasil pengelompokan, Anda dapat mengklik Copy Query Statement untuk mendapatkan pernyataan Search & Analysis untuk hasil LogReduce saat ini.

  • Ubah parameter

    Ubah fungsi log_reduce(precision) dalam pernyataan tersebut. Parameter precision menentukan presisi pengelompokan. Nilai yang valid berkisar dari 1 hingga 16. Nilai yang lebih kecil menunjukkan presisi lebih tinggi dan menghasilkan lebih banyak pola. Nilai default-nya adalah 3.

  • Bidang yang dikembalikan

    Anda dapat menemukan detail hasil LogReduce pada tab Aggregation.

    Parameter	Deskripsi
    pattern	Pola spesifik dari suatu tipe log.
    count	Jumlah log yang sesuai dengan pola dalam rentang waktu yang ditentukan.
    signature	Signature dari pola tersebut.
    origin_signatures	Signature sekunder dari pola tersebut. Anda dapat menggunakan signature sekunder ini untuk mencari log mentah.

• Bandingkan hasil LogReduce pada periode waktu yang berbeda

  • Pernyataan Search & Analysis

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    Catatan

    Setelah menggunakan Log Compare untuk membandingkan hasil pengelompokan dari periode waktu yang berbeda, Anda dapat mengklik Copy Query Statement untuk mendapatkan pernyataan Search & Analysis yang sesuai.

  • Ubah parameter

    Ubah fungsi compare_log_reduce(precision, compare_interval) dalam pernyataan kueri.

    • Parameter precision menentukan presisi pengelompokan. Nilai yang valid berkisar dari 1 hingga 16. Nilai yang lebih kecil menunjukkan presisi lebih tinggi dan menghasilkan lebih banyak pola. Nilai default-nya adalah 3.

    • Parameter compare_interval menentukan seberapa jauh ke belakang dalam satuan detik untuk melakukan perbandingan. Nilainya harus berupa bilangan bulat positif.

  • Bidang yang dikembalikan

    Parameter	Deskripsi
    pattern	Pola spesifik dari suatu tipe log.
    count_compare	Jumlah log yang sesuai dengan pola dalam periode waktu perbandingan.
    count	Jumlah log yang sesuai dengan pola dalam rentang waktu saat ini.
    diff	Selisih antara 'count' dan 'count_compare'.
    signature	Signature dari pola tersebut.

Nonaktifkan LogReduce

Jika Anda tidak lagi memerlukan fitur LogReduce, Anda dapat menonaktifkannya.

1. Pada halaman Search & Analysis, klik Index Attributes > Attributes.

2. Matikan sakelar LogReduce.

3. Klik OK.