Toplanan büyük hacimli günlük verilerini temizlemek ve veri biçimini standartlaştırmak için Simple Log Service (SLS) veri dönüştürme işlevlerini kullanın. Bu konu, işlevleri çağırarak verileri temizleme ile ilgili yaygın kullanım senaryolarını ve ilgili işlemleri açıklar.
Kullanım Senaryosu 1: Günlükleri filtreleme (e_keep ve e_drop işlevleri)
Günlükleri filtrelemek için e_drop veya e_keep işlevini kullanabilirsiniz. Ayrıca, günlükleri filtrelemek üzere DROP parametresiyle birlikte e_if veya e_if_else işlevini de kullanabilirsiniz.
Yaygın kurallar aşağıdaki gibidir:
e_keep(e_search(...)): Koşul sağlanırsa günlüğü tutar. Koşul sağlanmazsa günlüğü bırakır.e_drop(e_search(...)): Koşul sağlanırsa günlüğü bırakır. Koşul sağlanmazsa günlüğü tutar.e_if_else(e_search("..."), KEEP, DROP): Koşul sağlanırsa günlüğü tutar. Koşul sağlanmazsa günlüğü bırakır.e_if(e_search("not ..."), DROP): Koşul sağlanırsa günlüğü bırakır. Koşul sağlanmazsa günlüğü tutar.e_if(e_search("..."), KEEP): Bu anlamsız bir dönüştürme kuralıdır.
Örnek:
-
Ham günlükler
#Log 1 __source__: 192.168.0.1 __tag__:__client_ip__: 192.168.0.2 __tag__:__receive_time__: 1597214851 __topic__: app class: test_case id: 7992 test_string: <function test1 at 0x1027401e0> #Log 2 __source__: 192.168.0.1 class: produce_case id: 7990 test_string: <function test1 at 0x1020401e0> -
Dönüştürme kuralı
__topic__ alanı veya __tag__:__receive_time__ alanı bulunmayan günlükleri bırakın.
e_if(e_not_has("__topic__"),e_drop()) e_if(e_not_has("__tag__:__receive_time__"),e_drop()) -
Dönüştürme sonucu
__source__: 192.168.0.1 __tag__:__client_ip__: 192.168.0.2 __tag__:__receive_time__: 1597214851 __topic__: app class: test_case id: 7992 test_string: <function test1 at 0x1027401e0>
Kullanım Senaryosu 2: Boş günlük alanlarına değer atama (e_set işlevi)
Boş günlük alanlarına değer atamak için e_set işlevini kullanın.
-
Orijinal alan mevcut değilse veya boşsa alana bir değer atayın.
e_set("result", "......value......", mode="fill")mode parametresinin değerleri hakkında daha fazla bilgi için bkz. Alan ayıklama denetimi ve üzerine yazma modları.
Örnek:
-
Ham günlük
name: -
Dönüştürme kuralı
e_set("name", "aspara2.0", mode="fill") -
Dönüştürme sonucu
name: aspara2.0
-
-
Düzenli ifadeleri basitleştirmek ve alan içeriğini ayıklamak için GROK işlevi kullanın.
Örnek:
-
Ham günlük
content: "ip address: 192.168.1.1" -
Dönüştürme kuralı
content alanından IP adresini ayıklamak için GROK işlevini kullanın.
e_regex("content", grok(r"(%{IP})"),"addr") -
Dönüştürme sonucu
addr: 192.168.1.1 content: "ip address: 192.168.1.1"
-
-
Birden çok alana değer atayın.
e_set("k1", "v1", "k2", "v2", "k3", "v3", ......)Örnek:
-
Ham günlük
__source__: 192.168.0.1 __topic__: __tag__: __receive_time__: id: 7990 test_string: <function test1 at 0x1020401e0> -
Dönüştürme kuralı
__topic__, __tag__ ve __receive_time__ alanlarına değer atayın.
e_set("__topic__","app", "__tag__","stu","__receive_time__","1597214851") -
Dönüştürme sonucu
__source__: 192.168.0.1 __topic__: app __tag__: stu __receive_time__: 1597214851 id: 7990 test_string: <function test1 at 0x1020401e0>
-
Kullanım Senaryosu 3: Alanları koşullu olarak silme ve yeniden adlandırma (e_search, e_rename ve e_compose işlevleri)
Çoğu durumda, tekrarlayan koşullu işlemler için e_compose işlevini kullanın.
Örnek:
-
Ham günlük
content: 123 age: 23 name: twiss -
Dönüştürme kuralı
İlk olarak, content alanının değerinin 123 olup olmadığını kontrol edin. Eğer öyleyse, age ve name alanlarını silin. Ardından, content alanını ctx olarak yeniden adlandırın.
e_if(e_search("content==123"),e_compose(e_drop_fields("age|name"), e_rename("content", "ctx"))) -
Dönüştürme sonucu
ctx: 123
Kullanım Senaryosu 4: Günlük parametre türlerini dönüştürme (v, ct_int ve dt_totimestamp işlevleri)
Veri dönüştürme sırasında, günlük alanları ve bunların değerleri her zaman dizedir. Dize olmayan türdeki veriler otomatik olarak dize türüne dönüştürülür. Bu nedenle, bir işlevi çağırırken işlevin kabul ettiği parametre türlerine dikkat edin. Daha fazla bilgi için bkz. Sözdizimine genel bakış.
-
Dizeleri birleştirmek ve sayıları toplamak için op_add işlevini çağırın.
op_add işlevi hem dize hem de sayısal türleri kabul eder. Bu nedenle, parametre türlerini dönüştürmeniz gerekmez.
Örnek:
-
Ham günlük
a : 1 b : 2 -
Dönüştürme kuralı
e_set("d",op_add(v("a"), v("b"))) e_set("e",op_add(ct_int(v("a")), ct_int(v("b")))) -
Dönüştürme sonucu
a:1 b:2 d:12 e:3
-
-
Tür dönüştürme için alan işlemi işlevleri ve ct_int işlevini kullanın; ardından sayıları çarpmak için Aritmetik işlevler işlevini çağırın.
Örnek:
-
Ham günlük
a:2 b:5 -
Dönüştürme kuralı
v("a") ve v("b") değerlerinin ikisi de dizedir. op_mul işlevinin ikinci parametresi yalnızca sayısal türleri kabul eder. Bu nedenle, bu değerleri op_mul işlevine aktarmadan önce ct_int işlevini kullanarak dizeleri tamsayıya dönüştürmelisiniz.
e_set("c",op_mul(ct_int(v("a")), ct_int(v("b")))) e_set("d",op_mul(v("a"), ct_int(v("b")))) -
Dönüştürme sonucu
a: 2 b: 5 c: 10 d: 22222
-
-
Bir dizeyi veya datetime nesnesini standart saat biçimine dönüştürmek için dt_parse işlevini ve dt_parsetimestamp işlevini çağırın.
dt_totimestamp işlevi bir dize yerine bir datetime nesnesi kabul eder. Bu nedenle, time1 öğesinin dize değerini bir datetime nesnesine dönüştürmek için dt_parse işlevini çağırmanız gerekir. Alternatif olarak, hem datetime nesnelerini hem de dizeleri kabul eden dt_parsetimestamp işlevini doğrudan kullanabilirsiniz. Daha fazla bilgi için bkz. Tarih ve saat işlevleri.
Örnek:
-
Ham günlük
time1: 2020-09-17 9:00:00 -
Dönüştürme kuralı
time1 tarafından temsil edilen tarih ve saati UNIX zaman damgasına dönüştürün.
e_set("time1", "2019-06-03 2:41:26") e_set("time2", dt_totimestamp(dt_parse(v("time1")))) or e_set("time2", dt_parsetimestamp(v("time1"))) -
Dönüştürme sonucu
time1: 2019-06-03 2:41:26 time2: 1559529686
-
Kullanım Senaryosu 5: Mevcut olmayan günlük alanlarını varsayılan değerlerle doldurma (default parametresini geçirme)
Bazı SLS DSL ifade işlevleri giriş parametreleri için belirli gereksinimlere sahiptir. Gereksinimler karşılanmazsa veri dönüştürme penceresi bir hata bildirir veya varsayılan bir değer döndürür. Bir günlük, gerekli ancak eksik bir alan içeriyorsa op_len işlevinde bir varsayılan değer belirtin.
Sonraki bir işleve varsayılan bir değer aktarmak başka bir hataya neden olabilir. İşlev tarafından döndürülen istisnaları derhal ele almalısınız.
-
Ham günlük
data_len: 1024 -
Dönüştürme kuralı
e_set("data_len", op_len(v("data", default=""))) -
Dönüştürme sonucu
data: 0 data_len: 0
Kullanım Senaryosu 6: Günlükleri koşullu olarak denetleme ve alan ekleme (e_if ve e_switch işlevleri)
Günlükleri denetlemek için e_if işlevini veya e_switch işlevini kullanın. Daha fazla bilgi için bkz. Akış denetimi işlevleri.
-
e_if işlevi
e_if(condition1, operation1, condition2, operation2, condition3, operation3, ....) -
e_switch işlevi
e_switch işlevi, koşul-işlem çiftlerinin bir bileşimidir. İşlev, koşulları sırayla denetler. Bir koşul sağlanırsa karşılık gelen işlem gerçekleştirilir ve sonuç hemen döndürülür. Bir koşul sağlanmazsa işlev sonraki koşulu denetler. Hiçbir koşul sağlanmazsa ve default parametresi yapılandırılırsa, default için yapılandırılan işlem yürütülür ve sonucu döndürülür.
e_switch(condition1, operation1, condition2, operation2, condition3, operation3, ...., default=None)
Örnek:
-
Ham günlük
status1: 200 status2: 404 -
e_if işlevi
-
Dönüştürme kuralı
e_if(e_match("status1", "200"), e_set("status1_info", "normal"), e_match("status2", "404"), e_set("status2_info", "error")) -
Dönüştürme sonucu
status1: 200 status2: 404 status1_info: normal status2_info: error
-
-
e_switch işlevi
-
Dönüştürme kuralı
e_switch(e_match("status1", "200"), e_set("status1_info", "normal"), e_match("status2", "404"), e_set("status2_info", "error")) -
Dönüştürme sonucu
Herhangi bir koşul sağlanırsa sonuç döndürülür ve başka koşul denetlenmez.
status1: 200 status2: 404 status1_info: normal
-
Kullanım Senaryosu 7: Veriyi nanosaniye düzeyinde UNIX zaman damgasına dönüştürme
Bazı kullanım senaryolarında, SLS'deki veri dönüştürme nanosaniye düzeyinde zaman damgası hassasiyetini desteklemelidir. Ham günlük UNIX zaman damgası biçiminde bir alan içeriyorsa, bunu nanosaniye hassasiyetine sahip bir günlük saatine ayrıştırmak için alan işlemi işlevlerini kullanın.
-
Ham günlük
{ "__source__": "1.2.3.4", "__time__": 1704983810, "__topic__": "test", "log_time_nano":"1705043680630940602" } -
Dönüştürme kuralı
e_set( "__time__", op_div_floor(ct_int(v("log_time_nano")), 1000000000), ) e_set( "__time_ns_part__", op_mod(ct_int(v("log_time_nano")), 1000000000), ) -
Dönüştürme sonucu
{ "__source__": "1.2.3.4", "__time__": 1705043680, "__time_ns_part__": 630940602, "__topic__": "test", "log_time_nano":"1705043680630940602" }
Kullanım Senaryosu 8: Veriyi mikrosaniye düzeyinde standart ISO 8601 zaman damgasına dönüştürme
Bazı kullanım senaryolarında, SLS'deki veri dönüştürme yüksek hassasiyetli zaman damgalarını desteklemelidir. Ham günlük standart ISO 8601 saat biçiminde bir alan içeriyorsa, bunu mikrosaniye hassasiyetine sahip bir günlük saatine ayrıştırmak için alan işlemi işlevlerini kullanın.
-
Ham günlük
{ "__source__": "1.2.3.4", "__time__": 1704983810, "__topic__": "test", "log_time":"2024-01-11 23:10:43.992847200" } -
Dönüştürme kuralı
e_set( "__time__", dt_parsetimestamp(v("log_time"), tz="Asia/Shanghai"), mode="overwrite", ) e_set("tmp_ms", dt_prop(v("log_time"), "microsecond")) e_set( "__time_ns_part__", op_mul(ct_int(v("tmp_ms")), 1000), ) -
Dönüştürme sonucu
{ "__source__": "1.2.3.4", "__time__": 1704985843, "__time_ns_part__": 992847000, "__topic__": "test", "log_time": "2024-01-11 23:10:43.992847200", "tmp_ms": "992847" }