Simple Log Service içindeki veri dönüştürme özelliği, günlük verilerini tüketmek ve işlemek için tüketici gruplarını kullanır. Dönüşüm kuralları oluşturmak üzere 200'den fazla yerleşik işlevi bir araya getirebilirsiniz. Bu konu, dönüşüm sırasında verilerin nasıl zamanlandığını ve kural motorunun nasıl çalıştığını açıklar.
Zamanlamanın temelleri
Simple Log Service'in veri dönüştürme özelliği, kaynak Logstore'dan gelen günlük verilerini bir akış olarak tüketmek için bir tüketici grubu kullanır. Her bir günlüğü bir dönüşüm kuralı kullanarak işler ve ardından sonucu çıktılar.

-
Scheduling mechanism
Zamanlayıcı, her dönüşüm kuralı için bir veya daha fazla çalışan örnek başlatır. Her örnek, kaynak Logstore'daki bir veya daha fazla parça için tüketici görevi görür. Zamanlayıcı, bellek ve CPU kullanımına bağlı olarak paralel örnek sayısını belirler. Maksimum örnek sayısı, kaynak Logstore'daki parça sayısına eşittir.
-
Running instance
Bir çalışan örnek, yapılandırmanıza göre kendisine atanmış parçalardan kaynak günlüklerini okur. Verileri dönüşüm kuralını kullanarak işler ve sonucu hedef Logstore'a çıktılar. Dönüşüm kuralları, günlük verilerini zenginleştirmek için harici kaynakları kullanabilir. Örnek, tüketici grubu mekanizmasını kullanarak bir parçadaki tüketim konumunu kaydeder. Bu sayede, örnek beklenmedik şekilde durursa tüketime son kaydedilen kesme noktasından devam edebilir.
-
Task stop
Görev için bir bitiş saati yapılandırmazsanız, çalışan örnekler varsayılan olarak çalışmaya devam eder ve veri dönüştürme işi durmaz.
Görev için bir bitiş saati yapılandırırsanız, çalışan örnekler o zamana kadar alınan tüm günlükleri işler. Ardından, örnekler otomatik olarak çıkar ve veri dönüştürme işi durur.
Bir iş herhangi bir nedenle durur ve yeniden başlatılırsa, varsayılan olarak son kaydedilen konumdan tüketmeye devam eder.
Kural motorunun temelleri: Temel işlemler
Dönüşüm kuralları yazmak için SLS DSL tarafından sağlanan yerleşik işlevleri kullanabilirsiniz. Her işlev bir dönüşüm adımını temsil eder ve kural motoru işlevleri sırayla yürütür.
e_set("log_type", "access_log")
e_drop_fields("__action")
e_if(e_search("ret: pass"), e_set("result", "pass"))
e_if(e_search("ret: unknown"), DROP)
Aşağıdaki şekil mantığı göstermektedir.
-
Temel mantık
Bir kuraldaki her olay işlevi sırayla yürütülür. Her işlev, değiştirilmiş olayı bir sonraki işleve iletmeden önce bir olayı işler ve değiştirir.
Örneğin,
e_set("log_type", "access_log")her olaya değeri access_log olanlog_typeadlı bir alan ekler. Bir sonraki işlev artıklog_typealanını içeren güncellenmiş olayı alır. -
Koşullu mantık
Adımlar koşullara sahip olabilir. Bir olay bir koşulu karşılamazsa, bu adımın işlemini atlar.
Örneğin,
e_if(e_search("ret: pass"), e_set("result", "pass"))işlevi öncelikleretalanının pass içerip içermediğini kontrol eder. Koşul karşılanmazsa hiçbir işlem gerçekleştirilmez. Koşul karşılanırsa işlev,resultalanının değerini pass olarak ayarlar. -
İşlemeyi durdurma
Bir adım sıfır olay döndürürse olay silinmiş kabul edilir.
Örneğin,
e_if(e_search("ret: unknown"), DROP)retalanının değeri unknown olan olayları atar. Bir olay atıldıktan sonra üzerinde başka işlem gerçekleştirilmez ve işleme bir sonraki olayla başlar.
Kural motorunun temelleri: Çıktı, kopyalama ve bölme
Kural motoru ayrıca olayları kopyalamayı, çıktılamayı ve bölmeyi destekler.
e_coutput("archive_Logstore") )
e_split("log_type")
e_if(e_search("log_type: alert"), e_output("alert_Logstore") )
e_set("result", "pass")
İşlenecek kaynak günlüğün aşağıdaki gibi olduğunu varsayalım:
log_type: access,alert
content: admin login to database.
Aşağıdaki şekil mantığı göstermektedir.
-
Olayı çıkarma
Bir çıktı işlemi, özel bir işlem durdurma türü olarak düşünülebilir. Örneğin, 3. Adımda bir olayın değeri alert olan bir
log_typealanı varsae_output("alert_Logstore")işlevi çağrılır. Bu işlev, olayı belirtilen hedefe çıktılar ve ardından olayı siler. Bu olay üzerinde sonraki işlemler gerçekleştirilmez. -
Olayı kopyalama ve çıkarma
e_coutputişlevi mevcut olayı kopyalar ve kopyayı çıktılar. Orijinal olay bir sonraki işleme adımına devam eder. Örneğin, 1. Adımda alınan tüm olaylar kopyalanır ve ardındanarchive_Logstorehedefine çıktılanır. -
Bölme ve paralel işleme
2. Adımda,
log_typealanı access ve alert değerlerini içeriyorsae_split("log_type")olayılog_typealanındaki değerlere göre iki ayrı olaya böler. İki yeni olay, biri access değerine diğeri ise alert değerine sahip olacak log_type alanı dışında aynıdır. Her yeni olay daha sonra sonraki adımlardan bağımsız olarak devam eder.Bölmeden sonra, ortaya çıkan her olay sonraki adımlardan bağımsız olarak ilerler.