Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:Çalışma şekli

Son Güncelleme:Sep 30, 2026

Simple Log Service içindeki veri dönüştürme özelliği, günlük verilerini tüketmek ve işlemek için tüketici gruplarını kullanır. Dönüşüm kuralları oluşturmak üzere 200'den fazla yerleşik işlevi bir araya getirebilirsiniz. Bu konu, dönüşüm sırasında verilerin nasıl zamanlandığını ve kural motorunun nasıl çalıştığını açıklar.

Zamanlamanın temelleri

Simple Log Service'in veri dönüştürme özelliği, kaynak Logstore'dan gelen günlük verilerini bir akış olarak tüketmek için bir tüketici grubu kullanır. Her bir günlüğü bir dönüşüm kuralı kullanarak işler ve ardından sonucu çıktılar.

  • Scheduling mechanism

    Zamanlayıcı, her dönüşüm kuralı için bir veya daha fazla çalışan örnek başlatır. Her örnek, kaynak Logstore'daki bir veya daha fazla parça için tüketici görevi görür. Zamanlayıcı, bellek ve CPU kullanımına bağlı olarak paralel örnek sayısını belirler. Maksimum örnek sayısı, kaynak Logstore'daki parça sayısına eşittir.

  • Running instance

    Bir çalışan örnek, yapılandırmanıza göre kendisine atanmış parçalardan kaynak günlüklerini okur. Verileri dönüşüm kuralını kullanarak işler ve sonucu hedef Logstore'a çıktılar. Dönüşüm kuralları, günlük verilerini zenginleştirmek için harici kaynakları kullanabilir. Örnek, tüketici grubu mekanizmasını kullanarak bir parçadaki tüketim konumunu kaydeder. Bu sayede, örnek beklenmedik şekilde durursa tüketime son kaydedilen kesme noktasından devam edebilir.

  • Task stop

    • Görev için bir bitiş saati yapılandırmazsanız, çalışan örnekler varsayılan olarak çalışmaya devam eder ve veri dönüştürme işi durmaz.

    • Görev için bir bitiş saati yapılandırırsanız, çalışan örnekler o zamana kadar alınan tüm günlükleri işler. Ardından, örnekler otomatik olarak çıkar ve veri dönüştürme işi durur.

    • Bir iş herhangi bir nedenle durur ve yeniden başlatılırsa, varsayılan olarak son kaydedilen konumdan tüketmeye devam eder.

Kural motorunun temelleri: Temel işlemler

Dönüşüm kuralları yazmak için SLS DSL tarafından sağlanan yerleşik işlevleri kullanabilirsiniz. Her işlev bir dönüşüm adımını temsil eder ve kural motoru işlevleri sırayla yürütür.

e_set("log_type", "access_log")
e_drop_fields("__action")
e_if(e_search("ret: pass"), e_set("result", "pass"))
e_if(e_search("ret: unknown"), DROP)

Aşağıdaki şekil mantığı göstermektedir.

  • Temel mantık

    Bir kuraldaki her olay işlevi sırayla yürütülür. Her işlev, değiştirilmiş olayı bir sonraki işleve iletmeden önce bir olayı işler ve değiştirir.

    Örneğin, e_set("log_type", "access_log") her olaya değeri access_log olan log_type adlı bir alan ekler. Bir sonraki işlev artık log_type alanını içeren güncellenmiş olayı alır.

  • Koşullu mantık

    Adımlar koşullara sahip olabilir. Bir olay bir koşulu karşılamazsa, bu adımın işlemini atlar.

    Örneğin, e_if(e_search("ret: pass"), e_set("result", "pass")) işlevi öncelikle ret alanının pass içerip içermediğini kontrol eder. Koşul karşılanmazsa hiçbir işlem gerçekleştirilmez. Koşul karşılanırsa işlev, result alanının değerini pass olarak ayarlar.

  • İşlemeyi durdurma

    Bir adım sıfır olay döndürürse olay silinmiş kabul edilir.

    Örneğin, e_if(e_search("ret: unknown"), DROP) ret alanının değeri unknown olan olayları atar. Bir olay atıldıktan sonra üzerinde başka işlem gerçekleştirilmez ve işleme bir sonraki olayla başlar.

Kural motorunun temelleri: Çıktı, kopyalama ve bölme

Kural motoru ayrıca olayları kopyalamayı, çıktılamayı ve bölmeyi destekler.

e_coutput("archive_Logstore") )
e_split("log_type")
e_if(e_search("log_type: alert"), e_output("alert_Logstore") )
e_set("result", "pass")

İşlenecek kaynak günlüğün aşağıdaki gibi olduğunu varsayalım:

log_type: access,alert
content: admin login to database.

Aşağıdaki şekil mantığı göstermektedir.规则引擎原理逻辑图

  • Olayı çıkarma

    Bir çıktı işlemi, özel bir işlem durdurma türü olarak düşünülebilir. Örneğin, 3. Adımda bir olayın değeri alert olan bir log_type alanı varsa e_output("alert_Logstore") işlevi çağrılır. Bu işlev, olayı belirtilen hedefe çıktılar ve ardından olayı siler. Bu olay üzerinde sonraki işlemler gerçekleştirilmez.

  • Olayı kopyalama ve çıkarma

    e_coutput işlevi mevcut olayı kopyalar ve kopyayı çıktılar. Orijinal olay bir sonraki işleme adımına devam eder. Örneğin, 1. Adımda alınan tüm olaylar kopyalanır ve ardından archive_Logstore hedefine çıktılanır.

  • Bölme ve paralel işleme

    2. Adımda, log_type alanı access ve alert değerlerini içeriyorsa e_split("log_type") olayı log_type alanındaki değerlere göre iki ayrı olaya böler. İki yeni olay, biri access değerine diğeri ise alert değerine sahip olacak log_type alanı dışında aynıdır. Her yeni olay daha sonra sonraki adımlardan bağımsız olarak devam eder.

    Bölmeden sonra, ortaya çıkan her olay sonraki adımlardan bağımsız olarak ilerler.