Bu konu, Simple Log Service (SLS) veri dönüştürme özelliğini kullanarak karmaşık JSON verilerinin nasıl dönüştürüleceğini açıklar.
Alt anahtarları dizi olan karmaşık JSON verilerini dönüştürme
Programlardan gelen günlükler genellikle istatistiksel bir JSON formatında yazılır. Bu günlükler tipik olarak temel bilgileri ve dizilerden oluşan birden fazla alt anahtarı içerir. Örneğin, bir sunucu her dakika bir günlük yazar. Günlük, mevcut durumu ve ilgili sunucu ile istemci düğümlerine ait istatistiksel bilgileri içerir.
-
Örnek günlük
__source__: 192.0.2.1 __topic__: content:{ "service": "search_service", "overal_status": "yellow", "servers": [ { "host": "192.0.2.1", "status": "green" }, { "host": "192.0.2.2", "status": "green" } ], "clients": [ { "host": "192.0.2.3", "status": "green" }, { "host": "192.0.2.4", "status": "red" } ] } -
Veri dönüştürme gereksinimleri
Ham günlüğü
topicalanına göre üç ayrı günlüğe ayırın:overall_type,client_statusveserver_status.-
Farklı
topicdeğerleri için farklı bilgileri saklayın.overall_type: Sunucu sayısını, istemci sayısını, overall_status rengini ve hizmet bilgilerini koruyun.client_status: Ana bilgisayar adresini, durumu ve hizmet bilgilerini koruyun.server_status: Ana bilgisayar adresini, durumu ve hizmet bilgilerini koruyun.
-
Beklenen sonuç
__source__: 192.0.2.1 __topic__: overall_type client_count: 2 overal_status: yellow server_count: 2 service: search_service __source__: 192.0.2.1 __topic__: client_status host: 192.0.2.4 status: red service: search_service __source__: 192.0.2.1 __topic__: client_status host: 192.0.2.3 status: green service: search_service __source__: 192.0.2.1 __topic__: server_status host: 192.0.2.1 status: green service: search_service __source__: 192.0.2.1 __topic__: server_status host: 192.0.2.2 status: green service: search_service -
Çözüm
-
Günlüğü üç ayrı günlüğe ayırın. Bunun için topic alanına üç farklı değer atayın. Ayırma işleminden sonra, yalnızca
topicalanı farklı olan üç günlüğünüz olur.e_set("__topic__", "server_status,client_status,overall_type") e_split("__topic__")İşlemden sonraki günlük formatı aşağıdaki gibidir:
__source__: 192.0.2.1 __topic__: server_status // The other two logs have `client_status` and `overall_type` as topics. The rest of the fields are the same. content: { ...As before... } -
contentalanının ilk katman JSON içeriğini genişletin ve ardındancontentalanını silin.e_json('content',depth=1) e_drop_fields("content")İşlemden sonraki günlük formatı aşağıdaki gibidir:
__source__: 192.0.2.1 __topic__: overall_type // The other two logs have `client_status` and `overall_type` as topics. The rest of the fields are the same. clients: [{"host": "192.0.2.3", "status": "green"}, {"host": "192.0.2.4", "status": "red"}] overal_status: yellow servers: [{"host": "192.0.2.1", "status": "green"}, {"host": "192.0.2.2", "status": "green"}] service: search_service -
Konu değeri
overall_typeolan günlük içinclient_countveserver_countdeğerlerini hesaplayın.e_if(e_search("__topic__==overall_type"), e_compose( e_set("client_count", json_select(v("clients"), "length([*])", default=0)), e_set("server_count", json_select(v("servers"), "length([*])", default=0)) ))İşlenmiş günlük şöyledir:
__topic__: overall_type server_count: 2 client_count: 2 -
Gereksiz alanları silin.
e_if(e_search("__topic__==overall_type"), e_drop_fields("clients", "servers")) -
Konu değeri
server_statusolan günlüğü daha fazla ayırın.e_if(e_search("__topic__==server_status"), e_compose( e_split("servers"), e_json("servers", depth=1) ))Günlük aşağıdaki iki günlüğe ayrılır:
__topic__: server_status servers: {"host": "192.0.2.1", "status": "green"} host: 192.0.2.1 status: green__topic__: server_status servers: {"host": "192.0.2.2", "status": "green"} host: 192.0.2.2 status: green -
Korunacak ilgili alanlar:
e_if(e_search("__topic__==overall_type"), e_drop_fields("servers")) -
Konu değeri
client_statusolan günlüğü daha fazla ayırın ve ardındanclientsalanını silin.e_if(e_search("__topic__==client_status"), e_compose( e_split("clients"), e_json("clients", depth=1), e_drop_fields("clients") ))Günlük aşağıdaki iki günlüğe ayrılır:
__topic__: client_status host: 192.0.2.3 status: green__topic__: clients host: 192.0.2.4 status: red -
Tam LOG etki alanına özgü dil (DSL) kuralları aşağıdaki gibidir:
# Split the log. e_set("__topic__", "server_status,client_status,overall_type") e_split("__topic__") e_json('content',depth=1) e_drop_fields("content") # Process the overall_type log. e_if(e_search("__topic__==overall_type"), e_compose( e_set("client_count", json_select(v("clients"), "length([*])", default=0)), e_set("server_count", json_select(v("servers"), "length([*])", default=0)) )) # Process the server_status log. e_if(e_search("__topic__==server_status"), e_compose( e_split("servers"), e_json("servers", depth=1) )) e_if(e_search("__topic__==overall_type"), e_drop_fields("servers")) # Process the client_status log. e_if(e_search("__topic__==client_status"), e_compose( e_split("clients"), e_json("clients", depth=1), e_drop_fields("clients") ))
-
Çözüm optimizasyonu
Yukarıdaki çözüm, content.servers ve content.clients boş olduğunda sorunlara neden olur. Örneğin, aşağıdaki ham günlüğü ele alalım:
__source__: 192.0.2.1
__topic__:
content:{
"service": "search_service",
"overal_status": "yellow",
"servers": [ ],
"clients": [ ]
}
Bu ham günlüğü önceki çözümü kullanarak üç ayrı günlüğe ayırırsanız, konuları client_status ve server_status olan günlükler boş kalır.
__source__: 192.0.2.1
__topic__: overall_type
client_count: 0
overal_status: yellow
server_count: 0
service: search_service
__source__: 192.0.2.1
__topic__: client_status
service: search_service
__source__: 192.0.2.1
__topic__: server_status
host: 192.0.2.1
status: green
service: search_service
-
Çözüm 1
İlk ayırma işleminden sonra, konuları
server_statusveclient_statusolan günlüklerin boş olup olmadığını kontrol edin. Boşsa bunları atın.# For server_status: discard if empty, retain if not. e_keep(op_and(e_search("__topic__==server_status"), json_select(v("servers"), "length([*])"))) # For client_status: discard if empty, retain if not. e_keep(op_and(e_search("__topic__==client_status"), json_select(v("clients"), "length([*])")))Tam LOG DSL kuralları aşağıdaki gibidir:
# Split the log. e_set("__topic__", "server_status,client_status,overall_type") e_split("__topic__") e_json('content',depth=1) e_drop_fields("content") # Process the overall_type log. e_if(e_search("__topic__==overall_type"), e_compose( e_set("client_count", json_select(v("clients"), "length([*])", default=0)), e_set("server_count", json_select(v("servers"), "length([*])", default=0)) )) # New: Pre-process server_status: discard if empty, retain if not. e_keep(op_and(e_search("__topic__==server_status"), json_select(v("servers"), "length([*])"))) # Process the server_status log. e_if(e_search("__topic__==server_status"), e_compose( e_split("servers"), e_json("servers", depth=1) )) e_if(e_search("__topic__==overall_type"), e_drop_fields("servers")) # New: Pre-process client_status: discard if empty, retain if not. e_keep(op_and(e_search("__topic__==client_status"), json_select(v("clients"), "length([*])"))) # Process the client_status log. e_if(e_search("__topic__==client_status"), e_compose( e_split("clients"), e_json("clients", depth=1), e_drop_fields("clients") )) -
Çözüm 2
Günlüğü ayırmadan önce bir alanın boş olup olmadığını kontrol edin. Alan boş değilse, günlüğü o alana göre ayırın.
# Set the initial topic. e_set("__topic__", "server_status") # If the content.servers field is not empty, split the log to create a log with the topic server_status. e_if(json_select(v("content"), "length(servers[*])"), e_compose( e_set("__topic__", "server_status,overall_type"), e_split("__topic__") )) # If the content.clients field is not empty, further split the log to create a log with the topic client_status. e_if(op_and(e_search("__topic__==overall_type"), json_select(v("content"), "length(clients[*])")), e_compose( e_set("__topic__", "client_status,overall_type"), e_split("__topic__") ))Tam LOG DSL kuralları aşağıdaki gibidir:
# Split the log. e_set("__topic__", "server_status") # If the content.servers field is not empty, split the log to create a log with the topic server_status. e_if(json_select(v("content"), "length(servers[*])"), e_compose( e_set("__topic__", "server_status,overall_type"), e_split("__topic__") )) # If the content.clients field is not empty, further split the log to create a log with the topic client_status. e_if(op_and(e_search("__topic__==overall_type"), json_select(v("content"), "length(clients[*])")), e_compose( e_set("__topic__", "client_status,overall_type"), e_split("__topic__") )) # Process the overall_type log. e_if(e_search("__topic__==overall_type"), e_compose( e_set("client_count", json_select(v("clients"), "length([*])", default=0)), e_set("server_count", json_select(v("servers"), "length([*])", default=0)) )) # Process the server_status log. e_if(e_search("__topic__==server_status"), e_compose( e_split("servers"), e_json("servers", depth=1) )) e_if(e_search("__topic__==overall_type"), e_drop_fields("servers")) # Process the client_status log. e_if(e_search("__topic__==client_status"), e_compose( e_split("clients"), e_json("clients", depth=1), e_drop_fields("clients") ))
Çözüm karşılaştırması
Çözüm 1, ham günlükten boş günlükler oluşturup bunları sildiği için mantıksal olarak gereksizdir. Ancak kurallar basit ve bakımı kolaydır. Bu çözüm önerilen varsayılan yaklaşımdır.
Çözüm 2, ayırma işleminden önce boş alanları kontrol ettiği için daha verimlidir. Ancak kurallar biraz daha karmaşıktır. Bu çözüm yalnızca ilk ayırmanın çok sayıda ekstra olay üretebileceği belirli senaryolar için önerilir.
Çok katmanlı iç içe geçmiş dizi nesneleri içeren karmaşık JSON verilerini dönüştürme
Bu örnek, çok katmanlı iç içe geçmiş diziler içeren karmaşık bir nesnenin nasıl işleneceğini gösterir. Amaç, users dizisindeki her nesne için login_histories dizisindeki her oturum açma olayını ayrı bir oturum açma olayına bölmektir.
-
Ham günlük
__source__: 192.0.2.1 __topic__: content:{ "users": [ { "name": "user1", "login_histories": [ { "date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6" }, { "date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6" }, { ...More logon information... } ] }, { "name": "user2", "login_histories": [ { "date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7" }, { "date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9" }, { ...More logon information... } ] }, { ...More users... } ] } -
Ayırma sonrası beklenen günlükler
__source__: 192.0.2.1 name: user1 date: 2019-10-11 1:0:0 login_ip: 192.0.2.6 __source__: 192.0.2.1 name: user1 date: 2019-10-11 0:0:0 login_ip: 192.0.2.6 __source__: 192.0.2.1 name: user2 date: 2019-10-11 0:0:0 login_ip: 192.0.2.7 __source__: 192.0.2.1 name: user2 date: 2019-10-11 1:0:0 login_ip: 192.0.2.9 ...More logs... -
Çözüm
-
contentalanındakiusersdeğerine göre günlüğü ayırın ve genişletin.e_split("content", jmes='users[*]', output='item') e_json("item",depth=1)İşlenmiş günlükler şöyledir:
__source__: 192.0.2.1 __topic__: content:{...Same as that in the raw log...} item: {"name": "user1", "login_histories": [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}]} login_histories: [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}] name: user1 __source__: 192.0.2.1 __topic__: content:{...Same as that in the raw log...} item: {"name": "user2", "login_histories": [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}]} login_histories: [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}] name: user2 -
Ardından,
login_historiesdeğerine göre veriyi ayırın ve ardından genişletin.e_split("login_histories") e_json("login_histories", depth=1)İşlenmiş günlükler şöyledir:
__source__: 192.0.2.1 __topic__: content: {...Same as that in the raw log...} date: 2019-10-11 0:0:0 item: {"name": "user2", "login_histories": [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}]} login_histories: {"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"} login_ip: 192.0.2.7 name: user2 __source__: 192.0.2.1 __topic__: content: {...Same as that in the raw log...} date: 2019-10-11 1:0:0 item: {"name": "user2", "login_histories": [{"date": "2019-10-11 0:0:0", "login_ip": "192.0.2.7"}, {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"}]} login_histories: {"date": "2019-10-11 1:0:0", "login_ip": "192.0.2.9"} login_ip: 192.0.2.9 name: user2 __source__: 192.0.2.1 __topic__: content: {...Same as that in the raw log...} date: 2019-10-10 1:0:0 item: {"name": "user1", "login_histories": [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}]} login_histories: {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"} login_ip: 192.0.2.6 name: user1 __source__: 192.0.2.1 __topic__: content: {...Same as that in the raw log...} date: 2019-10-10 0:0:0 item: {"name": "user1", "login_histories": [{"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"}, {"date": "2019-10-10 1:0:0", "login_ip": "192.0.2.6"}]} login_histories: {"date": "2019-10-10 0:0:0", "login_ip": "192.0.2.6"} login_ip: 192.0.2.6 name: user1 -
Son olarak, ilgisiz alanları silin.
e_drop_fields("content", "item", "login_histories")İşlenmiş günlükler şöyledir:
__source__: 192.0.2.1 __topic__: name: user1 date: 2019-10-11 1:0:0 login_ip: 192.0.2.6 __source__: 192.0.2.1 __topic__: name: user1 date: 2019-10-11 0:0:0 login_ip: 192.0.2.6 __source__: 192.0.2.1 __topic__: name: user2 date: 2019-10-11 0:0:0 login_ip: 192.0.2.7 __source__: 192.0.2.1 __topic__: name: user2 date: 2019-10-11 1:0:0 login_ip: 192.0.2.9 -
Tam LOG DSL kuralları aşağıdaki gibi yazılabilir:
e_split("content", jmes='users[*]', output='item') e_json("item",depth=1) e_split("login_histories") e_json("login_histories", depth=1) e_drop_fields("content", "item", "login_histories")
-
Özet: Benzer gereksinimler için önce günlüğü ayırın, ardından veriyi genişletin ve son olarak ilgisiz alanları silin.