Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:İşlevleri çağırarak verileri temizleyin

Son Güncelleme:Sep 30, 2026

Toplanan büyük hacimli günlük verilerini temizlemek ve veri biçimini standartlaştırmak için Simple Log Service (SLS) veri dönüştürme işlevlerini kullanın. Bu konu, işlevleri çağırarak verileri temizleme ile ilgili yaygın kullanım senaryolarını ve ilgili işlemleri açıklar.

Kullanım Senaryosu 1: Günlükleri filtreleme (e_keep ve e_drop işlevleri)

Günlükleri filtrelemek için e_drop veya e_keep işlevini kullanabilirsiniz. Ayrıca, günlükleri filtrelemek üzere DROP parametresiyle birlikte e_if veya e_if_else işlevini de kullanabilirsiniz.

Yaygın kurallar aşağıdaki gibidir:

  • e_keep(e_search(...)): Koşul sağlanırsa günlüğü tutar. Koşul sağlanmazsa günlüğü bırakır.

  • e_drop(e_search(...)): Koşul sağlanırsa günlüğü bırakır. Koşul sağlanmazsa günlüğü tutar.

  • e_if_else(e_search("..."), KEEP, DROP): Koşul sağlanırsa günlüğü tutar. Koşul sağlanmazsa günlüğü bırakır.

  • e_if(e_search("not ..."), DROP): Koşul sağlanırsa günlüğü bırakır. Koşul sağlanmazsa günlüğü tutar.

  • e_if(e_search("..."), KEEP): Bu anlamsız bir dönüştürme kuralıdır.

Örnek:

  • Ham günlükler

    #Log 1
    __source__:  192.168.0.1
    __tag__:__client_ip__:  192.168.0.2
    __tag__:__receive_time__:  1597214851
    __topic__: app 
    class:  test_case
    id:  7992
    test_string:  <function test1 at 0x1027401e0>
    
    #Log 2
    __source__:  192.168.0.1
    class:  produce_case
    id:  7990
    test_string:  <function test1 at 0x1020401e0>
  • Dönüştürme kuralı

    __topic__ alanı veya __tag__:__receive_time__ alanı bulunmayan günlükleri bırakın.

    e_if(e_not_has("__topic__"),e_drop())
    e_if(e_not_has("__tag__:__receive_time__"),e_drop())
  • Dönüştürme sonucu

    __source__:  192.168.0.1
    __tag__:__client_ip__:  192.168.0.2
    __tag__:__receive_time__:  1597214851
    __topic__: app 
    class:  test_case
    id:  7992
    test_string:  <function test1 at 0x1027401e0>

Kullanım Senaryosu 2: Boş günlük alanlarına değer atama (e_set işlevi)

Boş günlük alanlarına değer atamak için e_set işlevini kullanın.

  • Orijinal alan mevcut değilse veya boşsa alana bir değer atayın.

    e_set("result", "......value......", mode="fill")

    mode parametresinin değerleri hakkında daha fazla bilgi için bkz. Alan ayıklama denetimi ve üzerine yazma modları.

    Örnek:

    • Ham günlük

      name:
    • Dönüştürme kuralı

      e_set("name", "aspara2.0", mode="fill")
    • Dönüştürme sonucu

      name:  aspara2.0
  • Düzenli ifadeleri basitleştirmek ve alan içeriğini ayıklamak için GROK işlevi kullanın.

    Örnek:

    • Ham günlük

      content: "ip address: 192.168.1.1"
    • Dönüştürme kuralı

      content alanından IP adresini ayıklamak için GROK işlevini kullanın.

      e_regex("content", grok(r"(%{IP})"),"addr")
    • Dönüştürme sonucu

      addr:  192.168.1.1
      content: "ip address: 192.168.1.1"
  • Birden çok alana değer atayın.

    e_set("k1", "v1", "k2", "v2", "k3", "v3", ......)

    Örnek:

    • Ham günlük

      __source__:  192.168.0.1
      __topic__:
      __tag__:
      __receive_time__:
      id:  7990
      test_string:  <function test1 at 0x1020401e0>
    • Dönüştürme kuralı

      __topic__, __tag__ ve __receive_time__ alanlarına değer atayın.

      e_set("__topic__","app", "__tag__","stu","__receive_time__","1597214851")
    • Dönüştürme sonucu

      __source__:  192.168.0.1
      __topic__:  app
      __tag__:  stu
      __receive_time__:  1597214851
      id:  7990
      test_string:  <function test1 at 0x1020401e0>

Kullanım Senaryosu 3: Alanları koşullu olarak silme ve yeniden adlandırma (e_search, e_rename ve e_compose işlevleri)

Çoğu durumda, tekrarlayan koşullu işlemler için e_compose işlevini kullanın.

Örnek:

  • Ham günlük

    content: 123
    age: 23
    name: twiss
  • Dönüştürme kuralı

    İlk olarak, content alanının değerinin 123 olup olmadığını kontrol edin. Eğer öyleyse, age ve name alanlarını silin. Ardından, content alanını ctx olarak yeniden adlandırın.

    e_if(e_search("content==123"),e_compose(e_drop_fields("age|name"), e_rename("content", "ctx")))
  • Dönüştürme sonucu

    ctx: 123

Kullanım Senaryosu 4: Günlük parametre türlerini dönüştürme (v, ct_int ve dt_totimestamp işlevleri)

Veri dönüştürme sırasında, günlük alanları ve bunların değerleri her zaman dizedir. Dize olmayan türdeki veriler otomatik olarak dize türüne dönüştürülür. Bu nedenle, bir işlevi çağırırken işlevin kabul ettiği parametre türlerine dikkat edin. Daha fazla bilgi için bkz. Sözdizimine genel bakış.

  • Dizeleri birleştirmek ve sayıları toplamak için op_add işlevini çağırın.

    op_add işlevi hem dize hem de sayısal türleri kabul eder. Bu nedenle, parametre türlerini dönüştürmeniz gerekmez.

    Örnek:

    • Ham günlük

      a : 1
      b : 2
    • Dönüştürme kuralı

      e_set("d",op_add(v("a"), v("b")))
      e_set("e",op_add(ct_int(v("a")), ct_int(v("b"))))
    • Dönüştürme sonucu

      a:1
      b:2
      d:12
      e:3
  • Tür dönüştürme için alan işlemi işlevleri ve ct_int işlevini kullanın; ardından sayıları çarpmak için Aritmetik işlevler işlevini çağırın.

    Örnek:

    • Ham günlük

      a:2
      b:5
    • Dönüştürme kuralı

      v("a") ve v("b") değerlerinin ikisi de dizedir. op_mul işlevinin ikinci parametresi yalnızca sayısal türleri kabul eder. Bu nedenle, bu değerleri op_mul işlevine aktarmadan önce ct_int işlevini kullanarak dizeleri tamsayıya dönüştürmelisiniz.

      e_set("c",op_mul(ct_int(v("a")), ct_int(v("b"))))
      e_set("d",op_mul(v("a"), ct_int(v("b"))))
    • Dönüştürme sonucu

      a: 2
      b: 5
      c: 10
      d: 22222
  • Bir dizeyi veya datetime nesnesini standart saat biçimine dönüştürmek için dt_parse işlevini ve dt_parsetimestamp işlevini çağırın.

    dt_totimestamp işlevi bir dize yerine bir datetime nesnesi kabul eder. Bu nedenle, time1 öğesinin dize değerini bir datetime nesnesine dönüştürmek için dt_parse işlevini çağırmanız gerekir. Alternatif olarak, hem datetime nesnelerini hem de dizeleri kabul eden dt_parsetimestamp işlevini doğrudan kullanabilirsiniz. Daha fazla bilgi için bkz. Tarih ve saat işlevleri.

    Örnek:

    • Ham günlük

      time1: 2020-09-17 9:00:00
    • Dönüştürme kuralı

      time1 tarafından temsil edilen tarih ve saati UNIX zaman damgasına dönüştürün.

      e_set("time1", "2019-06-03 2:41:26")
      e_set("time2", dt_totimestamp(dt_parse(v("time1")))) or e_set("time2", dt_parsetimestamp(v("time1"))) 
    • Dönüştürme sonucu

      time1:  2019-06-03 2:41:26 
      time2:  1559529686 

Kullanım Senaryosu 5: Mevcut olmayan günlük alanlarını varsayılan değerlerle doldurma (default parametresini geçirme)

Bazı SLS DSL ifade işlevleri giriş parametreleri için belirli gereksinimlere sahiptir. Gereksinimler karşılanmazsa veri dönüştürme penceresi bir hata bildirir veya varsayılan bir değer döndürür. Bir günlük, gerekli ancak eksik bir alan içeriyorsa op_len işlevinde bir varsayılan değer belirtin.

Önemli

Sonraki bir işleve varsayılan bir değer aktarmak başka bir hataya neden olabilir. İşlev tarafından döndürülen istisnaları derhal ele almalısınız.

  • Ham günlük

    data_len: 1024
  • Dönüştürme kuralı

    e_set("data_len", op_len(v("data", default="")))
  • Dönüştürme sonucu

    data: 0
    data_len: 0

Kullanım Senaryosu 6: Günlükleri koşullu olarak denetleme ve alan ekleme (e_if ve e_switch işlevleri)

Günlükleri denetlemek için e_if işlevini veya e_switch işlevini kullanın. Daha fazla bilgi için bkz. Akış denetimi işlevleri.

  • e_if işlevi

    e_if(condition1, operation1, condition2, operation2, condition3, operation3, ....)
  • e_switch işlevi

    e_switch işlevi, koşul-işlem çiftlerinin bir bileşimidir. İşlev, koşulları sırayla denetler. Bir koşul sağlanırsa karşılık gelen işlem gerçekleştirilir ve sonuç hemen döndürülür. Bir koşul sağlanmazsa işlev sonraki koşulu denetler. Hiçbir koşul sağlanmazsa ve default parametresi yapılandırılırsa, default için yapılandırılan işlem yürütülür ve sonucu döndürülür.

    e_switch(condition1, operation1, condition2, operation2, condition3, operation3, ...., default=None)

Örnek:

  • Ham günlük

    status1: 200
    status2: 404
  • e_if işlevi

    • Dönüştürme kuralı

      e_if(e_match("status1", "200"), e_set("status1_info", "normal"),
           e_match("status2", "404"), e_set("status2_info", "error"))
    • Dönüştürme sonucu

      status1: 200
      status2: 404
      status1_info: normal
      status2_info: error
  • e_switch işlevi

    • Dönüştürme kuralı

      e_switch(e_match("status1", "200"), e_set("status1_info", "normal"), 
               e_match("status2", "404"), e_set("status2_info", "error"))
    • Dönüştürme sonucu

      Herhangi bir koşul sağlanırsa sonuç döndürülür ve başka koşul denetlenmez.

      status1: 200
      status2: 404
      status1_info: normal

Kullanım Senaryosu 7: Veriyi nanosaniye düzeyinde UNIX zaman damgasına dönüştürme

Bazı kullanım senaryolarında, SLS'deki veri dönüştürme nanosaniye düzeyinde zaman damgası hassasiyetini desteklemelidir. Ham günlük UNIX zaman damgası biçiminde bir alan içeriyorsa, bunu nanosaniye hassasiyetine sahip bir günlük saatine ayrıştırmak için alan işlemi işlevlerini kullanın.

  • Ham günlük

    {
      "__source__": "1.2.3.4",
      "__time__": 1704983810,
      "__topic__": "test",
      "log_time_nano":"1705043680630940602"
    }
  • Dönüştürme kuralı

    e_set(
        "__time__", op_div_floor(ct_int(v("log_time_nano")), 1000000000),
    )
    e_set(
        "__time_ns_part__", op_mod(ct_int(v("log_time_nano")), 1000000000),
    )
  • Dönüştürme sonucu

    {
      "__source__": "1.2.3.4",
      "__time__": 1705043680,
      "__time_ns_part__": 630940602,
      "__topic__": "test",
      "log_time_nano":"1705043680630940602"
    }

Kullanım Senaryosu 8: Veriyi mikrosaniye düzeyinde standart ISO 8601 zaman damgasına dönüştürme

Bazı kullanım senaryolarında, SLS'deki veri dönüştürme yüksek hassasiyetli zaman damgalarını desteklemelidir. Ham günlük standart ISO 8601 saat biçiminde bir alan içeriyorsa, bunu mikrosaniye hassasiyetine sahip bir günlük saatine ayrıştırmak için alan işlemi işlevlerini kullanın.

  • Ham günlük

    {
      "__source__": "1.2.3.4",
      "__time__": 1704983810,
      "__topic__": "test",
      "log_time":"2024-01-11 23:10:43.992847200"
    }
  • Dönüştürme kuralı

    e_set(
        "__time__", dt_parsetimestamp(v("log_time"), tz="Asia/Shanghai"), mode="overwrite",
    )
    e_set("tmp_ms", dt_prop(v("log_time"), "microsecond"))
    e_set(
        "__time_ns_part__", op_mul(ct_int(v("tmp_ms")), 1000),
    )
  • Dönüştürme sonucu

    {
      "__source__": "1.2.3.4",
      "__time__": 1704985843,
      "__time_ns_part__": 992847000,
      "__topic__": "test",
      "log_time": "2024-01-11 23:10:43.992847200",
      "tmp_ms": "992847"
    }