Simple Log Service:LogReduce

Ön Koşullar

• Standart bir logstore oluşturulmuş olmalıdır. Daha fazla bilgi için bkz. Temel LogStore Oluşturma.

• Günlükler toplanmış olmalıdır. Daha fazla bilgi için bkz. Veri Toplama.

• Dizinler yapılandırılmış olmalıdır. Daha fazla bilgi için bkz. Dizinleri Yapılandırma.

Arka Plan

Simple Log Service, LogReduce kullanarak benzer günlükleri gruplar ve ortak desenleri çıkarır; bu sayede günlük verileriniz hakkında hızlı bir genel bakış elde edersiniz. LogReduce, çeşitli formatlardaki metin günlüklerini destekler ve sorun giderme, anormallik algılama ile sürüm gerileme analizi gibi DevOps görevlerinin yanı sıra sızma tespiti gibi güvenlik senaryolarında uygulanabilir. Kümeleme sonuçlarını gerçek zamanlı izleme için bir panoya grafik olarak kaydedebilirsiniz.

Avantajlar

• Log4j, JSON ve tek satırlık günlükler gibi her türlü formattaki günlükleri destekler.

• Yüz milyonlarca günlük girdisini işler ve sonuçları saniyeler içinde döndürür.

• Günlük verilerini keyfi desenlere göre kümeler.

• Desen imzasına göre ham günlüklere erişim sağlar.

• Farklı zaman dilimlerindeki desenleri karşılaştırır.

• Kümeleme hassasiyetini dinamik olarak ayarlar.

Dizin trafiği

LogReduce'u Etkinleştirme

1. Simple Log Service konsolu na oturum açın.

2. Projects bölümünde istediğiniz projeyi tıklayın.

   

3. Log Storage > Logstores sekmesinde istediğiniz logstore'u tıklayın.

   

4. LogReduce özelliğini etkinleştirin.

   1. Index Attributes > Attributes öğelerini tıklayın.

      Dizin özelliğini henüz etkinleştirmediyseniz Enable Index seçeneğini tıklayın.

   2. Query and Analysis panelinde LogReduce anahtarını açın.

   3. İsteğe bağlı: Kümelemeye dahil edilecek veya hariç tutulacak alanlar için izin listesi veya engelleme listesi yapılandırın.

      Not

      Hem izin listesi hem de engelleme listesi aynı anda yapılandırılamaz.

      LogReduce filtresi	Açıklama
      izin listesi	İzin listesi yapılandırırsanız Simple Log Service yalnızca izin listesindeki alanlara göre günlükleri kümeleştirir.
      engelleme listesi	Engelleme listesi yapılandırırsanız Simple Log Service kümeleme işleminden engelleme listesine alınan alanları hariç tutar.
      İzin listesi veya engelleme listesi yapılandırılmamış	Ne izin listesi ne de engelleme listesi yapılandırılmamışsa Simple Log Service mevcut tüm alanlara göre günlükleri kümeleştirir.

   4. OK seçeneğini tıklayın.

Kümeleme sonuçları ve ham günlükler

1. Search & Analysis sayfasında bir sorgu ifadesi girin, bir zaman aralığı belirleyin ve ardından Search & Analyze seçeneğini tıklayın.

   Not

   Günlükleri filtrelemek için yalnızca sorgu ifadeleri kullanılabilir. LogReduce analiz sonuçlarını işleyemediğinden analiz ifadelerini desteklemez.

2. Kümeleme sonuçlarını görüntülemek için LogReduce sekmesini tıklayın.

   Kümeleme sonuçlarını bir panoya kaydetmek için Add to New Dashboard seçeneğini de tıklayabilirsiniz.

   Sonuçlar sayfası, kümeleme granülerliğini Çok'tan Az'a olacak şekilde ayarlamak için sürükleyebileceğiniz bir Pattern Count kaydırıcısı, bir Copy Query düğmesi ve bir Log Compare düğmesi içerir.

   Parametre	Açıklama
   Number	Kümenin seri numarası.
   Count	Belirtilen zaman aralığında desenle eşleşen günlük sayısı.
   Pattern	Bir tür günlük girdisini temsil eden LogReduce tarafından oluşturulan desen. Bir desen birden fazla alt desen içerebilir.

   • Count sütunundaki bir sayının üzerine gelerek alt desenleri ve her birinin yüzdesini görüntüleyin. Alt desen listesini genişletmek için sayının yanındaki artı işaretine (+) tıklayın.

   • Desenle eşleşen ham günlükleri görüntülemek üzere Raw Log sekmesine gitmek için Count sütunundaki bir sayıya tıklayın.

Kümeleme hassasiyetini ayarlama

Günlük kümelerini karşılaştırma

1. LogReduce sekmesinde Log Compare seçeneğini tıklayın.

2. Karşılaştırma zaman aralığını belirleyin ve OK seçeneğini tıklayın.

   Örneğin, mevcut sorgu zaman aralığınız 15 dakika ise ve Log Compare panelinde 1 Day seçeneğini belirlerseniz sistem mevcut 15 dakikalık pencereyi önceki günün aynı 15 dakikalık penceresiyle karşılaştırır.

   Parametre	Açıklama
   Number	Kümenin seri numarası.
   Pre_Count	Log Compare içinde belirtilen karşılaştırma zaman aralığında bu desenle eşleşen günlük sayısı.
   Count	Mevcut sorgu zaman aralığında desene ait günlük sayısı.
   Diff	İki zaman dilimi arasındaki günlük sayısı farkı ve yüzde değişimi.
   Pattern	Bir günlük türünün belirli deseni.

SQL örnekleri

LogReduce sonuçlarını almak için Search & Analysis ifadelerini de çalıştırabilirsiniz.

• LogReduce sonuçlarını alma

  • Search & Analysis ifadesi

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    Not

    Kümeleme sonuçlarını görüntülerken mevcut LogReduce sonuçları için Search & Analysis ifadesini almak üzere Copy Query Statement seçeneğini tıklayabilirsiniz.

  • Parametreleri değiştirme

    İfade içindeki log_reduce(precision) işlevini değiştirin. precision parametresi kümeleme hassasiyetini belirtir. Geçerli değerler 1 ile 16 arasındadır. Daha küçük bir değer daha yüksek hassasiyet anlamına gelir ve daha fazla desen oluşturur. Varsayılan değer 3'tür.

  • Döndürülen alanlar

    Ayrıntılı LogReduce sonuçları Aggregation sekmesinde mevcuttur.

    Parametre	Açıklama
    pattern	Bir günlük türünün belirli deseni.
    count	Belirtilen zaman aralığında desenle eşleşen günlük sayısı.
    signature	Desenin imzası.
    origin_signatures	Ham günlüklere erişmek için kullanabileceğiniz desenin ikincil imzası.

• Farklı zaman dilimleri arasında LogReduce sonuçlarını karşılaştırma

  • Search & Analysis ifadesi

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    Not

    Log Compare kullanarak farklı zaman dilimlerinden gelen kümeleme sonuçlarını karşılaştırdıktan sonra ilgili Search & Analysis ifadesini almak üzere Copy Query Statement seçeneğini tıklayabilirsiniz.

  • Parametreleri değiştirme

    Sorgu ifadesindeki compare_log_reduce(precision, compare_interval) işlevini değiştirin.

    • precision parametresi kümeleme hassasiyetini belirtir. Geçerli değerler 1 ile 16 arasındadır. Daha küçük bir değer daha yüksek hassasiyet anlamına gelir ve daha fazla desen oluşturur. Varsayılan değer 3'tür.

    • compare_interval parametresi saniye cinsinden ne kadar geriye dönük karşılaştırma yapılacağını belirtir. Değer pozitif bir tamsayı olmalıdır.

  • Döndürülen alanlar

    Parametre	Açıklama
    pattern	Bir günlük türünün belirli deseni.
    count_compare	Karşılaştırma zaman diliminde desenle eşleşen günlük sayısı.
    count	Mevcut zaman aralığında desenle eşleşen günlük sayısı.
    diff	'count' ile 'count_compare' arasındaki fark.
    signature	Desenin imzası.

LogReduce'u Devre Dışı Bırakma

LogReduce özelliğine artık ihtiyacınız yoksa bunu devre dışı bırakabilirsiniz.

1. Search & Analysis sayfasında Index Attributes > Attributes seçeneklerini tıklayın.

2. LogReduce anahtarını kapatın.

3. OK seçeneğini tıklayın.