Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:Karmaşık JSON verilerini dönüştürme

Son Güncelleme:Sep 30, 2026

Bu konu, Simple Log Service (SLS) veri dönüştürme özelliğini kullanarak karmaşık JSON verilerinin nasıl dönüştürüleceğini açıklar.

Alt anahtarları dizi olan karmaşık JSON verilerini dönüştürme

Programlardan gelen günlükler genellikle istatistiksel bir JSON formatında yazılır. Bu günlükler tipik olarak temel bilgileri ve dizilerden oluşan birden fazla alt anahtarı içerir. Örneğin, bir sunucu her dakika bir günlük yazar. Günlük, mevcut durumu ve ilgili sunucu ile istemci düğümlerine ait istatistiksel bilgileri içerir.

  • Örnek günlük

    __source__:  192.0.2.1
    __topic__:  
    content:{
         "service": "search_service",
         "overal_status": "yellow",
         "servers": [
             {
                 "host": "192.0.2.1",
                 "status": "green"
             },
             {
                 "host": "192.0.2.2",
                 "status": "green"
             }
         ],
         "clients": [
             {
                 "host": "192.0.2.3",
                 "status": "green"
             },
             {
                 "host": "192.0.2.4",
                 "status": "red"
             }
         ]
    }
  • Veri dönüştürme gereksinimleri

    1. Ham günlüğü topic alanına göre üç ayrı günlüğe ayırın: overall_type, client_status ve server_status.

    2. Farklı topic değerleri için farklı bilgileri saklayın.

      • overall_type: Sunucu sayısını, istemci sayısını, overall_status rengini ve hizmet bilgilerini koruyun.

      • client_status: Ana bilgisayar adresini, durumu ve hizmet bilgilerini koruyun.

      • server_status: Ana bilgisayar adresini, durumu ve hizmet bilgilerini koruyun.

  • Beklenen sonuç

    __source__:  192.0.2.1
    __topic__:  overall_type
    client_count:  2
    overal_status:  yellow
    server_count:  2
    service:  search_service
    
    __source__:  192.0.2.1
    __topic__:  client_status
    host:  192.0.2.4
    status:  red
    service:  search_service
    
    __source__:  192.0.2.1
    __topic__:  client_status
    host:  192.0.2.3
    status:  green
    service:  search_service
    
    __source__:  192.0.2.1
    __topic__:  server_status
    host:  192.0.2.1
    status:  green
    service:  search_service
    
    __source__:  192.0.2.1
    __topic__:  server_status
    host:  192.0.2.2
    status:  green
    service:  search_service
  • Çözüm

    1. Günlüğü üç ayrı günlüğe ayırın. Bunun için topic alanına üç farklı değer atayın. Ayırma işleminden sonra, yalnızca topic alanı farklı olan üç günlüğünüz olur.

      e_set("__topic__", "server_status,client_status,overall_type")
      e_split("__topic__")

      İşlemden sonraki günlük formatı aşağıdaki gibidir:

      __source__:  192.0.2.1
      __topic__:  server_status         // The other two logs have `client_status` and `overall_type` as topics. The rest of the fields are the same.
      content:  {
          ...As before...
      }
    2. content alanının ilk katman JSON içeriğini genişletin ve ardından content alanını silin.

      e_json('content',depth=1)
      e_drop_fields("content")

      İşlemden sonraki günlük formatı aşağıdaki gibidir:

      __source__:  192.0.2.1
      __topic__:  overall_type              // The other two logs have `client_status` and `overall_type` as topics. The rest of the fields are the same.
      clients:  [{"host": "192.0.2.3", "status": "green"}, {"host": "192.0.2.4", "status": "red"}]
      overal_status:  yellow
      servers:  [{"host": "192.0.2.1", "status": "green"}, {"host": "192.0.2.2", "status": "green"}]
      service:  search_service
    3. Konu değeri overall_type olan günlük için client_count ve server_count değerlerini hesaplayın.

      e_if(e_search("__topic__==overall_type"), 
           e_compose(
              e_set("client_count", json_select(v("clients"), "length([*])", default=0)), 
              e_set("server_count", json_select(v("servers"), "length([*])", default=0))
        ))

      İşlenmiş günlük şöyledir:

      __topic__:  overall_type
      server_count:  2
      client_count:  2
    4. Gereksiz alanları silin.

      e_if(e_search("__topic__==overall_type"), e_drop_fields("clients", "servers"))
    5. Konu değeri server_status olan günlüğü daha fazla ayırın.

      e_if(e_search("__topic__==server_status"), 
           e_compose(
              e_split("servers"), 
              e_json("servers", depth=1)
        ))

      Günlük aşağıdaki iki günlüğe ayrılır:

      __topic__:  server_status
      servers:  {"host": "192.0.2.1", "status": "green"}
      host: 192.0.2.1
      status: green
      __topic__:  server_status
      servers:  {"host": "192.0.2.2", "status": "green"}
      host: 192.0.2.2
      status: green
    6. Korunacak ilgili alanlar:

      e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))
    7. Konu değeri client_status olan günlüğü daha fazla ayırın ve ardından clients alanını silin.

      e_if(e_search("__topic__==client_status"), 
           e_compose(
              e_split("clients"), 
              e_json("clients", depth=1),
              e_drop_fields("clients")
        ))

      Günlük aşağıdaki iki günlüğe ayrılır:

      __topic__:  client_status
      host: 192.0.2.3
      status: green
      __topic__:  clients
      host: 192.0.2.4
      status: red
    8. Tam LOG etki alanına özgü dil (DSL) kuralları aşağıdaki gibidir:

      # Split the log.
      e_set("__topic__", "server_status,client_status,overall_type")
      e_split("__topic__")
      e_json('content',depth=1)
      e_drop_fields("content")
      
      # Process the overall_type log.
      e_if(e_search("__topic__==overall_type"), 
           e_compose(
              e_set("client_count", json_select(v("clients"), "length([*])", default=0)),
      				e_set("server_count", json_select(v("servers"), "length([*])", default=0))
      ))
      
      # Process the server_status log.
      e_if(e_search("__topic__==server_status"), 
           e_compose(
              e_split("servers"), 
              e_json("servers", depth=1)
        ))
      e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))
      
      # Process the client_status log.
      e_if(e_search("__topic__==client_status"), 
           e_compose(
              e_split("clients"), 
              e_json("clients", depth=1),
              e_drop_fields("clients")
        ))

Çözüm optimizasyonu

Yukarıdaki çözüm, content.servers ve content.clients boş olduğunda sorunlara neden olur. Örneğin, aşağıdaki ham günlüğü ele alalım:

__source__:  192.0.2.1
__topic__:  
content:{
            "service": "search_service",
            "overal_status": "yellow",
            "servers": [ ],
            "clients": [ ]
}

Bu ham günlüğü önceki çözümü kullanarak üç ayrı günlüğe ayırırsanız, konuları client_status ve server_status olan günlükler boş kalır.

__source__:  192.0.2.1
__topic__:  overall_type
client_count:  0
overal_status:  yellow
server_count:  0
service:  search_service

__source__:  192.0.2.1
__topic__:  client_status
service:  search_service
__source__:  192.0.2.1

__topic__:  server_status
host:  192.0.2.1
status:  green
service:  search_service
  • Çözüm 1

    İlk ayırma işleminden sonra, konuları server_status ve client_status olan günlüklerin boş olup olmadığını kontrol edin. Boşsa bunları atın.

    # For server_status: discard if empty, retain if not.
    e_keep(op_and(e_search("__topic__==server_status"), json_select(v("servers"), "length([*])")))
    
    # For client_status: discard if empty, retain if not.
    e_keep(op_and(e_search("__topic__==client_status"), json_select(v("clients"), "length([*])")))

    Tam LOG DSL kuralları aşağıdaki gibidir:

    # Split the log.
    e_set("__topic__", "server_status,client_status,overall_type")
    e_split("__topic__")
    e_json('content',depth=1)
    e_drop_fields("content")
    
    # Process the overall_type log.
    e_if(e_search("__topic__==overall_type"), 
         e_compose(
           e_set("client_count", json_select(v("clients"), "length([*])", default=0)),
    			 e_set("server_count", json_select(v("servers"), "length([*])", default=0))
    ))
    
    # New: Pre-process server_status: discard if empty, retain if not.
    e_keep(op_and(e_search("__topic__==server_status"), json_select(v("servers"), "length([*])")))
    
    # Process the server_status log.
    e_if(e_search("__topic__==server_status"), 
         e_compose(
            e_split("servers"), 
            e_json("servers", depth=1)
      ))
    e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))
    
    # New: Pre-process client_status: discard if empty, retain if not.
    e_keep(op_and(e_search("__topic__==client_status"), json_select(v("clients"), "length([*])")))
    
    # Process the client_status log.
    e_if(e_search("__topic__==client_status"), 
         e_compose(
            e_split("clients"), 
            e_json("clients", depth=1),
            e_drop_fields("clients")
      ))
  • Çözüm 2

    Günlüğü ayırmadan önce bir alanın boş olup olmadığını kontrol edin. Alan boş değilse, günlüğü o alana göre ayırın.

    # Set the initial topic.
    e_set("__topic__", "server_status")
    
    # If the content.servers field is not empty, split the log to create a log with the topic server_status.
    e_if(json_select(v("content"), "length(servers[*])"),
       e_compose(
          e_set("__topic__", "server_status,overall_type"),
          e_split("__topic__")
       ))
    
    # If the content.clients field is not empty, further split the log to create a log with the topic client_status.
    e_if(op_and(e_search("__topic__==overall_type"), json_select(v("content"), "length(clients[*])")),
       e_compose(
          e_set("__topic__", "client_status,overall_type"),
          e_split("__topic__")
       ))

    Tam LOG DSL kuralları aşağıdaki gibidir:

    # Split the log.
    e_set("__topic__", "server_status")
    
    # If the content.servers field is not empty, split the log to create a log with the topic server_status.
    e_if(json_select(v("content"), "length(servers[*])"),
       e_compose(
          e_set("__topic__", "server_status,overall_type"),
          e_split("__topic__")
       ))
    
    # If the content.clients field is not empty, further split the log to create a log with the topic client_status.
    e_if(op_and(e_search("__topic__==overall_type"), json_select(v("content"), "length(clients[*])")),
       e_compose(
          e_set("__topic__", "client_status,overall_type"),
          e_split("__topic__")
       ))
    
    # Process the overall_type log.
    e_if(e_search("__topic__==overall_type"), 
         e_compose(
            e_set("client_count", json_select(v("clients"), "length([*])", default=0)),
    				e_set("server_count", json_select(v("servers"), "length([*])", default=0))
    ))
    
    # Process the server_status log.
    e_if(e_search("__topic__==server_status"), 
         e_compose(
            e_split("servers"), 
            e_json("servers", depth=1)
      ))
    e_if(e_search("__topic__==overall_type"), e_drop_fields("servers"))
    
    # Process the client_status log.
    e_if(e_search("__topic__==client_status"), 
         e_compose(
            e_split("clients"), 
            e_json("clients", depth=1),
            e_drop_fields("clients")
      ))

Çözüm karşılaştırması

  • Çözüm 1, ham günlükten boş günlükler oluşturup bunları sildiği için mantıksal olarak gereksizdir. Ancak kurallar basit ve bakımı kolaydır. Bu çözüm önerilen varsayılan yaklaşımdır.

  • Çözüm 2, ayırma işleminden önce boş alanları kontrol ettiği için daha verimlidir. Ancak kurallar biraz daha karmaşıktır. Bu çözüm yalnızca ilk ayırmanın çok sayıda ekstra olay üretebileceği belirli senaryolar için önerilir.

Çok katmanlı iç içe geçmiş dizi nesneleri içeren karmaşık JSON verilerini dönüştürme

Bu örnek, çok katmanlı iç içe geçmiş diziler içeren karmaşık bir nesnenin nasıl işleneceğini gösterir. Amaç, users dizisindeki her nesne için login_histories dizisindeki her oturum açma olayını ayrı bir oturum açma olayına bölmektir.

  • Ham günlük

    __source__:  192.0.2.1
    __topic__:  
    content:{
      "users": [
        {
            "name": "user1",
            "login_histories": [
              {
                "date": "2019-10-10 0:0:0",
                "login_ip": "192.0.2.6"
              },
              {
                "date": "2019-10-10 1:0:0",
                "login_ip": "192.0.2.6"
              },
          {
          ...More logon information...
          }
            ]
        },
        {
            "name": "user2",
            "login_histories": [
              {
                "date": "2019-10-11 0:0:0",
                "login_ip": "192.0.2.7"
              },
              {
                "date": "2019-10-11 1:0:0",
                "login_ip": "192.0.2.9"
              },
          {
          ...More logon information...
          }     
            ]
        },
      {
        ...More users...
      }
      ]
    }
  • Ayırma sonrası beklenen günlükler

    __source__:  192.0.2.1
    name:  user1
    date:  2019-10-11 1:0:0
    login_ip:  192.0.2.6
    
    __source__: 192.0.2.1
    name:  user1
    date:  2019-10-11 0:0:0
    login_ip:  192.0.2.6
    
    __source__:  192.0.2.1
    name:  user2
    date:  2019-10-11 0:0:0
    login_ip:  192.0.2.7
    
    __source__: 192.0.2.1
    name:  user2
    date:  2019-10-11 1:0:0
    login_ip:  192.0.2.9  
    
    ...More logs...
  • Çözüm

    1. content alanındaki users değerine göre günlüğü ayırın ve genişletin.

      e_split("content", jmes='users[*]', output='item')
      e_json("item",depth=1)

      İşlenmiş günlükler şöyledir:

      __source__:  192.0.2.1
      __topic__:  
      content:{...Same as that in the raw log...}
      item:  {"name": "user1", "login_histories": [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}]}
      login_histories:  [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}]
      name:  user1
      
      __source__:  192.0.2.1
      __topic__:  
      content:{...Same as that in the raw log...}
      item:  {"name": "user2", "login_histories": [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}]}
      login_histories:  [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}]
      name:  user2
    2. Ardından, login_histories değerine göre veriyi ayırın ve ardından genişletin.

      e_split("login_histories")
      e_json("login_histories", depth=1)

      İşlenmiş günlükler şöyledir:

      __source__:  192.0.2.1
      __topic__: 
      content: {...Same as that in the raw log...}
      date:  2019-10-11 0:0:0
      item:  {"name": "user2", "login_histories": [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}]}
      login_histories:  {"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}
      login_ip:  192.0.2.7
      name:  user2
      
      __source__:  192.0.2.1
      __topic__: 
      content: {...Same as that in the raw log...}
      date:  2019-10-11 1:0:0
      item:  {"name": "user2", "login_histories": [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}]}
      login_histories:  {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}
      login_ip:  192.0.2.9
      name:  user2
      
      __source__: 192.0.2.1
      __topic__:  
      content: {...Same as that in the raw log...}
      date:  2019-10-10 1:0:0
      item:  {"name": "user1", "login_histories": [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}]}
      login_histories:  {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}
      login_ip:  192.0.2.6
      name:  user1
      
      __source__: 192.0.2.1
      __topic__:  
      content: {...Same as that in the raw log...}
      date:  2019-10-10 0:0:0
      item:  {"name": "user1", "login_histories": [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}]}
      login_histories:  {"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}
      login_ip:  192.0.2.6
      name:  user1
    3. Son olarak, ilgisiz alanları silin.

      e_drop_fields("content", "item", "login_histories")

      İşlenmiş günlükler şöyledir:

      __source__: 192.0.2.1
      __topic__:
      name:  user1
      date:  2019-10-11 1:0:0
      login_ip:  192.0.2.6
      
      __source__:  192.0.2.1
      __topic__:
      name:  user1
      date:  2019-10-11 0:0:0
      login_ip:  192.0.2.6
      
      __source__:  192.0.2.1
      __topic__:
      name:  user2
      date:  2019-10-11 0:0:0
      login_ip:  192.0.2.7
      
      __source__: 192.0.2.1
      __topic__:
      name:  user2
      date:  2019-10-11 1:0:0
      login_ip:  192.0.2.9
    4. Tam LOG DSL kuralları aşağıdaki gibi yazılabilir:

      e_split("content", jmes='users[*]', output='item')
      e_json("item",depth=1)
      e_split("login_histories")
      e_json("login_histories", depth=1)
      e_drop_fields("content", "item", "login_histories")

Özet: Benzer gereksinimler için önce günlüğü ayırın, ardından veriyi genişletin ve son olarak ilgisiz alanları silin.