Simple Log Service：LogReduce

Manfaat

• Fitur ini dapat mengelompokkan log dalam berbagai format, termasuk Log4j, JSON, dan log satu baris.

• Fitur ini dapat mengelompokkan ratusan juta log dalam hitungan detik.

• Fitur ini dapat mengelompokkan log dengan beberapa pola.

• Anda dapat mengambil log mentah yang dikelompokkan berdasarkan tanda tangan pola.

• Anda dapat membandingkan pola yang diekstraksi pada periode waktu yang berbeda.

• Anda dapat menyesuaikan presisi pengelompokan log sesuai dengan kebutuhan bisnis Anda.

Trafik indeks

Aktifkan fitur LogReduce

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Projects, klik proyek yang ingin Anda kelola.

   

3. Pada tab Log Storage > Logstores, klik logstore yang ingin Anda kelola.

   

4. Aktifkan fitur LogReduce.

   1. Pilih Index Attributes > Attributes.

      Jika fitur pengindeksan tidak diaktifkan, klik Enable.

   2. Di panel Search & Analysis, aktifkan LogReduce.

   3. Opsional:Konfigurasikan daftar putih atau daftar hitam untuk mengelompokkan log berdasarkan bidang.

      Catatan

      Anda tidak dapat mengonfigurasi kedua-duanya, daftar putih dan daftar hitam.

      Filter LogReduce	Deskripsi
      Daftar Putih	Setelah Anda mengonfigurasi daftar putih, Simple Log Service menggunakan bidang dalam daftar putih untuk mengelompokkan log.
      Daftar Hitam	Setelah Anda mengonfigurasi daftar hitam, Simple Log Service tidak menggunakan bidang dalam daftar hitam untuk mengelompokkan log.
      Tidak ada daftar putih atau daftar hitam yang dikonfigurasi	Jika Anda tidak mengonfigurasi daftar hitam atau daftar putih, Simple Log Service mengelompokkan log berdasarkan semua bidang dan aturan pengelompokan yang Anda tentukan.

   4. Klik OK.

Lihat hasil pengelompokan log dan log mentah

1. Di halaman kueri dan analisis, masukkan pernyataan pencarian di kotak pencarian, tentukan rentang waktu kueri, lalu klik Search & Analyze.

   Catatan

   Anda hanya dapat menggunakan pernyataan pencarian untuk menyaring log. Anda tidak dapat menggunakan pernyataan analitik untuk menyaring log karena fitur LogReduce tidak dapat mengelompokkan hasil analisis.

2. Klik tab LogReduce untuk melihat hasil pengelompokan log.

   Anda dapat mengklik Add to New Dashboard untuk menyimpan hasil pengelompokan log ke dasbor.

   

   Parameter	Deskripsi
   Number	Nomor urut kluster log.
   Count	Jumlah log untuk pola dalam rentang waktu kueri yang ditentukan.
   Pattern	Pola log. Setiap kluster log memiliki satu atau lebih sub-pola.

   • Geser pointer ke atas nomor di kolom Count untuk melihat sub-pola kluster log. Anda juga dapat melihat persentase setiap sub-pola dalam kluster log. Klik tanda tambah (+) di samping nomor di kolom Jumlah untuk memperluas daftar sub-pola.

   • Klik nomor di kolom Count. Anda akan diarahkan ke tab Raw Logs. Di tab ini, Anda dapat melihat log mentah dari pola tersebut.

Ubah presisi pengelompokan log

Bandingkan jumlah log yang dikelompokkan dalam periode waktu yang berbeda

1. Di tab LogReduce, klik Log Compare.

2. Tentukan rentang waktu dan klik OK.

   Sebagai contoh, jika Anda menyetel rentang waktu menjadi 15 menit saat mencari log dan menentukan 1Day untuk Log Compare, waktu mulai dan akhir perbandingan log akan otomatis ditampilkan. Rentang waktu untuk perbandingan adalah 15 menit terakhir dan 15 menit pada hari sebelumnya.

   Parameter	Deskripsi
   Nomor	Nomor urut kluster log.
   Pre_Count	Jumlah log untuk pola dalam rentang waktu yang ditentukan oleh Log Compare.
   Count	Jumlah log untuk pola dalam rentang waktu yang ditentukan untuk kueri.
   Diff	Perbedaan antara jumlah log di kolom Pre_Count dan Count serta laju pertumbuhannya.
   Pola	Pola log.

Contoh pernyataan kueri

Anda dapat menggunakan pernyataan kueri untuk mendapatkan hasil pengelompokan log.

• Mendapatkan hasil pengelompokan log

  • Pernyataan kueri

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    Catatan

    Saat melihat hasil pengelompokan log, Anda dapat mengklik Copy Query untuk mendapatkan pernyataan kueri hasil pengelompokan log.

  • Modifikasi parameter

    Modifikasi pengaturan parameter dalam log_reduce(presisi) dari pernyataan kueri. Parameter presisi menentukan presisi pengelompokan log. Nilai yang lebih kecil menunjukkan presisi yang lebih tinggi dan lebih banyak pola. Nilai valid: 1 hingga 16. Nilai default: 3.

  • Bidang yang dikembalikan

    Anda dapat melihat detail pengelompokan log di tab Graph.

    Parameter	Deskripsi
    pola	Pola log.
    jumlah	Jumlah log untuk pola dalam rentang waktu yang ditentukan untuk kueri.
    tanda tangan	Tanda tangan pola log.
    origin_signatures	Tanda tangan sekunder pola log. Anda dapat menggunakan tanda tangan sekunder untuk mengambil log mentah.

• Bandingkan jumlah log yang dikelompokkan dalam periode waktu yang berbeda.

  • Pernyataan kueri

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    Catatan

    Saat menggunakan Log Compare untuk membandingkan hasil pengelompokan log dalam periode waktu yang berbeda, Anda dapat mengklik Copy Query untuk mendapatkan pernyataan kueri hasil pengelompokan log.

  • Modifikasi parameter

    Modifikasi pengaturan parameter dalam compare_log_reduce(presisi, interval_perbandingan) dari pernyataan kueri.

    • Parameter presisi menentukan presisi pengelompokan log. Nilai yang lebih kecil menunjukkan presisi yang lebih tinggi dan lebih banyak pola. Nilai valid: 1 hingga 16. Nilai default: 3.

    • Parameter interval_perbandingan menentukan selisih waktu antara dua rentang waktu untuk perbandingan. Nilainya adalah bilangan bulat positif. Unit: detik.

  • Bidang yang dikembalikan

    Parameter	Deskripsi
    pola	Pola log.
    count_compare	Jumlah log untuk pola dalam rentang waktu sebelumnya yang ditentukan untuk perbandingan.
    jumlah	Jumlah log untuk pola dalam rentang waktu yang ditentukan untuk kueri.
    diff	Perbedaan antara jumlah log di kolom count dan count_compare.
    tanda tangan	Tanda tangan pola log.

Nonaktifkan fitur LogReduce

Jika Anda tidak lagi memerlukan fitur LogReduce, Anda dapat menonaktifkannya.

1. Di halaman kueri dan analisis Logstore tempat Anda ingin menonaktifkan fitur ini, pilih Index Attributes > Attributes.

2. Nonaktifkan LogReduce.

3. Klik OK.