Bu konu, bir dizeden dinamik anahtar-değer çiftlerinin nasıl ayıklanacağını açıklar.
İşlevler
Dinamik anahtar-değer çiftlerini ayıklamak, anahtar kelimeleri ve değerleri çıkarma ve dönüştürme işlemidir. Dinamik anahtar-değer çiftlerini ayıklamak için e_kv, e_kv_delimit ve e_regex işlevlerini kullanın. Aşağıdaki tabloda farklı kullanım durumlarına göre işlevler açıklanmıştır.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Çoğu durumda, özellikle çevrelenmiş karakterleri veya ters eğik çizgileri (\) ayıklamanız ve kaçışlamanız gerektiğinde, anahtar-değer çiftlerini ayıklamak için e_kv işlevini kullanın ve belirli parametreleri yapılandırın. Daha karmaşık veya gelişmiş kullanım durumlarında anahtar-değer çiftlerini ayıklamak için e_regex işlevini kullanın. Belirli kullanım durumlarında anahtar-değer çiftlerini ayıklamak için e_kv_delimit işlevini kullanmanız gerekir.
Anahtar kelimeleri ayıklama
-
Yöntem
e_kv,e_kv_delimitveyae_regexişlevini kullanarak anahtar kelimeleri ayıklarken işlevlerin ayıklama kısıtlamalarına uyması gerekir. Daha fazla bilgi için bkz. Ayıklama için alan adı sınırlamaları. -
Örnek 1
Aşağıdaki örnekte,
k1: q=asd&a=1&b=2&__1__=3günlüğünden anahtar kelimelerin ve değerlerin nasıl ayıklanacağı gösterilmektedir.-
e_kv işlevi
-
Ham günlük
k1: q=asd&a=1&b=2&__1__=3 -
Dönüşüm kuralı
# By default, keywords are extracted by using a specific character set. e_kv("k1") -
Sonuç
k1: q=asd&a=1&b=2 q: asd a: 1 b: 2Not__1__anahtar kelimesi ayıklama kısıtlamalarına uymadığı için ayıklanmaz. Daha fazla bilgi için bkz. Ayıklama için alan adı sınırlamaları.
-
-
e_kv_delimit işlevi
-
Ham günlük
k1: q=asd&a=1&b=2&__1__=3 -
Dönüşüm kuralı
# After the key-value pair is separated by an ampersand (&), extract the keywords by using the ampersand (&). e_kv_delimit("k1", pair_sep=r"&") -
Sonuç
k1: q=asd&a=1&b=2 q: asd a: 1 b: 2
-
-
e_regex işlevi
-
Ham günlük
k1: q=asd&a=1&b=2&__1__=3 -
Dönüşüm kuralı
# Keywords and values are extracted by using a custom character set. e_regex("k1",r"(\w+)=([a-zA-Z0-9]+)",{r"\1": r"\2"}) -
Sonuç
k1: q=asd&a=1&b=2 q: asd a: 1 b: 2
-
-
-
Örnek 2
Aşağıdaki örnekte, normal ifadeler kullanılarak
content:k1=v1&k2=v2?k3:v3günlüğünden anahtar kelimelerin nasıl ayıklanacağı gösterilmektedir.-
e_kv işlevi
-
Ham günlük
content:k1=v1&k2=v2?k3:v3 -
Dönüşüm kuralı
e_kv("content",sep="(?:=|:)") -
Sonuç
content:k1=v1&k2=v2?k3:v3 k1: v1 k2: v2 k3: v3NotBir karakter kümesi
pair_sep,kv_sepveyasepparametresine geçirildiğinde,(?:Karakter kümesi)biçiminde yakalamayan grup içeren normal ifadeler kullanmalısınız.
-
-
e_kv_delimit işlevi
-
Ham günlük
content:k1=v1&k2=v2?k3:v3 -
Dönüşüm kuralı
e_kv_delimit("content",pair_sep=r"&?",kv_sep="(?:=|:)") -
Sonuç
content:k1=v1&k2=v2?k3:v3 k1: v1 k2: v2 k3: v3
-
-
e_regex işlevi
-
Ham günlük
content:k1=v1&k2=v2?k3:v3 -
Dönüşüm kuralı
e_regex("content",r"([a-zA-Z0-9]+)[=|:]([a-zA-Z0-9]+)",{r"\1": r"\2"}) -
Sonuç
content:k1=v1&k2=v2?k3:v3 k1: v1 k2: v2 k3: v3
-
-
-
Örnek 3
Aşağıdaki örnekte, karmaşık bir dizeden anahtar kelimeleri ayıklamak için
e_regexişlevinin nasıl kullanılacağı gösterilmektedir.-
Ham günlük
content :"key1:"value1,"key2:"value2 -
Dönüşüm kuralı
Anahtar kelimelerin önünde çift tırnak (") varsa,
e_regexişlevini kullanmanız gerekir.e_regex("content", r"(\w+):\"(\w+)", {r"\1": r"\2"}) -
Sonuç
DSL düzenlemesinden sonraki günlük biçimi:
content :"key1:"value1,"key2:"value2 key1: value1 key2: value2
-
Değerleri ayıklama
-
Aşağıdaki örnekte, dinamik anahtar-değer çiftleri veya anahtar kelimeler ve değerler arasında
a=bvea="cxxx"gibi açık tanımlayıcılar olduğunda bir günlüğe ait değerleri ayıklamak içine_kvişlevinin nasıl kullanılacağı gösterilmektedir.-
Ham günlük
content1: k1="helloworld",the change world, k2="good" -
Dönüşüm kuralı
Bu durumda,
the change worldayıklanmaz.e_kv("content1") # The syntax of the e_kv_delimit function: A space is required before k2. Therefore, k2 can be parsed only when the pair_sep parameter of the e_kv_delimit function is set to ",\s". e_kv_delimit("content1",kv_sep="=", pair_sep=",\s") # The syntax of the e_regex function. e_regex("str",r"(\w+)=(\"\w+)",{r"\1": r"\2"}) -
Sonuç
Ayıklanan günlük:
content1: k1="helloworld",the change world, k2="good" k1: helloworld k2: good
-
-
Aşağıdaki örnekte,
content:k1="v1=1"&k2=v2?k3=v3biçiminde"karakteri içeren bir günlüğe ait değerleri ayıklamak içine_kvişlevinin nasıl kullanılacağı gösterilmektedir.-
Ham günlük
content:k1="v1=1"&k2=v2?k3=v3 -
Dönüşüm kuralı
e_kv("content",sep="=", quote="'") -
Sonuç
Ayıklanan günlük:
content: k1='v1=1'&k2=v2?k3=v3 k1: v1=1 k2:v2 k3:v3
Değerleri ayıklamak için
e_kv_delimitişlevini kullanırsanız ve sözdizimie_kv_delimit("ctx", pair_sep=r"&?", kv_sep="=")olursa, yalnızcak2: v2vek3: v3ayrıştırılabilir. İlk anahtar-değer çiftindekik1="v1anahtar kelimesi, ayıklama kısıtlamalarına uymadığı için atılır. Daha fazla bilgi için bkz. Ayıklama için alan adı sınırlamaları. -
-
Sınırlayıcılarla ayrılan bazı anahtar-değer çiftleri özel karakterler içerir ancak bu karakterler belirli karakterlerle çevrelenmemiştir. Bu tür anahtar-değer çiftlerinden değerleri ayıklamak için e_kv_delimit işlevini kullanın. Örnek:
-
Ham günlük
content: rats eat rice, oil|chicks eat bugs, rice|kittens eat fish, mice| -
Dönüşüm kuralı (önerilir)
e_kv_delimit işlevini kullanın.
e_kv_delimit("content", pair_sep="|", kv_sep=" eat ") -
Sonuç (önerilir)
Ayıklanan günlük:
content: rats eat rice, oil|chicks eat bugs, rice|kittens eat fish, mice| kittens: fish, mice chicks: bugs, rice rats: rice, oil -
Dönüşüm kuralı (önerilmez)
e_kvişlevini kullanırsanız, bazı günlük alanları ayrıştırılamaz.e_kv("f1", sep="eat") -
Sonuç (önerilmez)
Ayıklanan günlük:
content: rats eat rice, oil|chicks eat bugs, rice|kittens eat fish, mice| kittens: fish chicks: bugs rats: rice
-
Anahtar kelimeleri dönüştürme
-
Aşağıdaki örnekte,
prefix="", suffix=""biçiminde önek ve sonek parametrelerini yapılandırarak anahtar kelimeleri ve değerleri dönüştürmek içine_kvveyae_kv_delimitişlevinin nasıl kullanılacağı gösterilmektedir.-
Ham günlük
k1: q=asd&a=1&b=2 -
Dönüşüm kuralı
e_kv("k1", sep="=", quote='"', prefix="start_", suffix="_end") e_kv_delimit("k1", pair_sep=r"&", kv_sep="=", prefix="start_", suffix="_end") e_regex("k1",r"(\w+)=([a-zA-Z0-9]+)",{r"start_\1_end": r"\2"}) -
Sonuç
Dönüştürülmüş anahtar kelimeler:
k1: q=asd&a=1&b=2 start_q_end: asd start_a_end: 1 start_b_end: 2
-
-
Aşağıdaki örnekte, anahtar kelimeleri dönüştürmek için
e_regexişlevinin nasıl kullanılacağı gösterilmektedir. e_regex işlevi, anahtar kelimeleri dönüştürmede daha güçlü yeteneklere sahiptir.-
Dönüşüm kuralı
e_regex("k1",r"(\w+)=([a-zA-Z0-9]+)",{r"\1_\1": r"\2"}) -
Sonuç
Dönüştürülmüş anahtar kelimeler:
k1: q=asd&a=1&b=2 q_q: asd a_a: 1 a_a: 2
-
Değerleri dönüştürme
-
Aşağıdaki örnekte, bir günlük
k1:"v1\"abc"biçimindeyse ve günlük içeriğinde çift tırnaklar varsa değerleri dönüştürmek içine_kvişlevinin nasıl kullanılacağı gösterilmektedir. Bu kullanım durumunda diğer iki işlevi kullanarak değerleri dönüştürmek zordur.-
Ham günlük
""" In this example, the backlash (\) character is not an escape character. """ content2: k1:"v1\"abc", k2:"v2", k3: "v3" -
Dönüşüm kuralı 1
e_kv("content2",sep=":", quote='"') -
Sonuç 1
Ayıklanan günlük:
content2: k1:"v1\"abc", k2:"v2", k3: "v3" k1: v1\ k2: v2 k3: v3 -
Dönüşüm kuralı 2
Ters eğik çizgiyi (
\) kaçışlamak içinescapeparametresini kullanarake_kvişlevini kullanın. Örnek:e_kv("content2",sep=":", quote='"',escape=True) -
Sonuç 2
Ayıklanan günlük:
content2: k1:"v1\"abc", k2:"v2", k3: "v3" k1: v1"abc k2: v2 k3: v3
-
-
Aşağıdaki örnekte, bir günlük
a='k1=k2\';k2=k3'biçimindeyse değerleri dönüştürmek içine_kvişlevinin nasıl kullanılacağı gösterilmektedir. Bu kullanım durumunda diğer iki işlevi kullanarak değerleri dönüştürmek zordur.-
Ham günlük
data: i=c10 a='k1=k2\';k2=k3' -
Dönüşüm kuralı 1
e_kvişlevinde,escapeparametresinin değeri varsayılan olarak False'tur.e_kv("data", quote="'") -
Sonuç 1
Ayıklanan günlük:
a: k1=k2\ i: c10 k2: k3 -
Dönüşüm kuralı 2
Ters eğik çizgiyi (
\) kaçışlamak içinescapeparametresini kullanarake_kvişlevini kullanın. Örnek:e_kv("data", quote="'", escape=True) -
Sonuç 2
Ayıklanan günlük:
data: i=c10 a='k1=k2\';k2=k3' i: c10 a: k1=k2';k2=k3
-
-
Aşağıdaki örnekte, karmaşık anahtar-değer çiftlerini dönüştürmek için
e_regexişlevinin nasıl kullanılacağı gösterilmektedir.-
Ham günlük
content: rats eat rice|chicks eat bugs|kittens eat fish| -
Dönüşüm kuralı
e_regex("content", r"\b(\w+) eat ([^\|]+)", {r"\1": r"\2 by \1"}) -
Sonuç
Ayıklanan günlük:
content: rats eat rice|chicks eat bugs|kittens eat fish| kittens: fish by kittens chicks: bugs by chicks rats: rice by rats
-
Vaka çalışmaları
Bu örnekte, şirketinizin web sitesi günlüklerinden URL verilerini ayıklaması gerekmektedir. Dönüşüm kurallarını ihtiyaca göre belirtin.
-
İlk dönüşüm
-
Gereksinimler
Gereksinim 1: Bir günlüğü ayrıştırın ve günlüğe ait
proto,domainveparamalanlarını ayıklayın.Gereksinim 2:
paramalanındaki anahtar-değer çiftlerini genişletin.
-
Ham günlük
__source__: 192.168.0.100 __tag__:__client_ip__: 192.168.0.200 __tag__:__receive_time__: 1563517113 __topic__: request: https://example.com/video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0 -
İşlevler
-
Genel düzenleme
# Parse the request field. e_regex('request',grok("%{URIPROTO:uri_proto}://(?:%{USER:user}(?::[^@]*)?@)?(?:%{URIHOST:uri_domain})?(?:%{URIPATHPARAM:uri_param})?")) # Parse the uri_param field. e_regex('uri_param',grok("%{GREEDYDATA:uri_path}\?%{GREEDYDATA:uri_query}")) # Expand the key-value pairs. e_kv("uri_query") -
Özel düzenleme ve dönüşüm sonuçları
-
requestalanını ayrıştırmak için Grok işlevini kullanın.Request alanını ayrıştırmak için normal ifadeler de kullanabilirsiniz. Daha fazla bilgi için bkz. Grok işlevi ve Grok desen referansı.
e_regex('request',grok("%{URIPROTO:uri_proto}://(?:%{USER:user}(?::[^@]*)?@)?(?:%{URIHOST:uri_domain})?(?:%{URIPATHPARAM:uri_param})?"))Sonuç:
uri_domain: example.com uri_param: /video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0 uri_proto: https -
uri_paramalanını ayrıştırmak için Grok işlevini kullanın.e_regex('uri_param',grok("%{GREEDYDATA:uri_path}\?%{GREEDYDATA:uri_query}"))Sonuç:
uri_path: /video/getlist/s uri_query: ver=3.2.3&app_type=supplier&os=Android8.1.0 -
uri_paramalanını ayıklayın.e_kv("uri_query")Sonuç:
app_type: supplier os: Android8.1.0 ver: 3.2.3
-
-
-
-
Sonuç
Dönüştürülen günlüğün ön izlemesi:
__source__: 192.168.0.100 __tag__:__client_ip__: 192.168.0.200 __tag__:__receive_time__: 1563517113 __topic__: request: https://example.com/video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0 uri_domain: example.com uri_path: /video/getlist/s uri_proto: https uri_query: ver=3.2.3&app_type=supplier&os=Android8.1.0 app_type: supplier os: Android8.1.0 ver: 3.2.3Yalnızca
requestalanını ayrıştırmak istiyorsanız, e_kv işlevini kullanın. Örnek:e_kv("request")Dönüştürülen günlüğün ön izlemesi:
__source__: 192.168.0.100 __tag__:__client_ip__: 192.168.0.200 __tag__:__receive_time__: 1563517113 __topic__: request: https://example.com/video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0 app_type: supplier os: Android8.1.0 ver: 3.2.3 -
Gelişmiş dönüşüm
ver,app_typeveosalanları gibi dinamik alanları ayıklamak istiyorsanız, normal ifadeleri veya e_kv_delimit işlevini kullanın. Örnek:-
Normal ifadeler kullanın.
e_regex("url", r"\b(\w+)=([^=&]+)", {r"\1": r"\2"}) -
e_kv_delmitişlevini kullanın.e_kv_delimit("url", pair_sep=r"?&")
-
-
Sonuç
Çoğu URL, yukarıdaki işlevler kullanılarak ayrıştırılabilir. Ham günlüklerden URL'leri ayrıştırmak için
e_kvişlevini kullanın.