Bu konu, parametreleri ve örnekleriyle birlikte alan değeri çıkarma işlevlerinin sözdizimini açıklar.
İşlev listesi
Tür | İşlev | Açıklama |
Normal ifade ile çıkarma | Bir normal ifade kullanarak bir alandan değer çıkarır ve bunu başka bir alana atar. Bu işlev diğer işlevlerle birleştirilebilir. İlgili bir örnek için bkz. Java hata günlüklerini ayrıştırma. | |
JSON çıkarma | Belirtilen bir alandaki JSON nesnesini işler. İşlemler arasında nesneyi genişletme, JMESPath ile veri çıkarma veya çıkarma ve genişletme bulunur. Bu işlev diğer işlevlerle birleştirilebilir. İlgili bir örnek için bkz. Karmaşık JSON verilerini dönüştürme. | |
Sınırlayıcı tabanlı çıkarma | Bir sınırlayıcı ve önceden tanımlanmış alan adları kullanarak bir kaynak alandan birden çok alan için değerler çıkarır.
Bu işlevler diğer işlevlerle birleştirilebilir. İlgili bir örnek için bkz. CSV biçimli günlükleri ayrıştırma. | |
Anahtar-değer çıkarma | Belirtilen bir tırnak karakteri kullanarak bir veya daha fazla kaynak alandan anahtar-değer çiftleri çıkarır. Bu işlev diğer işlevlerle birleştirilebilir. İlgili bir örnek için bkz. Bir dizeden dinamik anahtar-değer çiftleri çıkarma. | |
Bir sınırlayıcı kullanarak bir kaynak alandan anahtar-değer çiftleri çıkarır. | ||
Syslog standart çıkarma | Syslog protokolüne göre bir öncelik değerinden tesis ve önem derecesini hesaplar ve bunları karşılık gelen seviyeye eşler. Bu işlev diğer işlevlerle birleştirilebilir. İlgili bir örnek için bkz. Standart Syslog biçimi verilerini ayrıştırma. | |
Kural tabanlı çıkarma | anchor_rules içinde tanımlanan kuralları kullanarak dizeleri çıkarır. |
e_regex
Bir normal ifadeye dayalı olarak bir alandan değerler çıkarır ve bunları diğer alanlara atar.
-
Sözdizimi
e_regex(key, regex, fields_info, mode="fill-auto", pack_json=None) -
Parametreler
Parametre
Tür
Zorunlu
Açıklama
key
Herhangi biri
Evet
Kaynak alan. Alan mevcut değilse işlev herhangi bir işlem yapmaz. Özel alan adlarının nasıl yapılandırılacağı hakkında bilgi için bkz. olay türleri.
regex
Dize
Evet
Alan değerlerini çıkarmak için kullanılan normal ifade. Hem yakalayan hem de yakalamayan grupları destekler.
NotYakalamayan grup, bazen gruplama amacıyla kullanılır ve
?:ön ekini gerektirir. Örneğin,\w+@\w+\.\w(?:\.\cn)?. Daha fazla bilgi için bkz. yakalamayan gruplar.fields_info
Dize/Liste/Sözlük
Hayır
Eşleşen değerler için hedef alanlar. Normal ifadede adlandırılmış yakalama grupları kullanmıyorsanız bu parametre zorunludur.
mode
Dize
Hayır
Alanlar için üzerine yazma modu. Varsayılan değer fill-auto'dur. Değerler ve anlamları hakkında daha fazla bilgi için bkz. alan çıkarma denetimi ve üzerine yazma modu.
pack_json
Dize
Hayır
Normal ifadeden elde edilen tüm eşleşen sonuçları
pack_jsontarafından belirtilen alanda paketler. Varsayılan değerNone'dur ve bu, paketlemenin devre dışı olduğunu gösterir. -
Yanıt
Çıkarılan alanlar ve değerleriyle güncellenmiş günlüğü döndürür.
-
Örnekler
-
Örnek 1: Tek bir değer çıkarma
-
ham günlük
msg: 192.168.0.1 http://... 127.0.0.0 -
dönüşüm kuralı
# Extract the first IP address from the msg field. e_regex("msg",r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}","ip") -
dönüşüm sonucu
msg: 192.168.0.1 http://... 127.0.0.0 ip: 192.168.0.1
-
-
Örnek 2: Birden çok değer çıkarma
-
ham günlük
msg: 192.168.0.1 http://... 127.0.0.0 -
dönüşüm kuralı
# Extract two IP addresses from the msg field and assign them to server_ip and client_ip. e_regex("msg",r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}",["server_ip","client_ip"]) -
dönüşüm sonucu
msg: 192.168.0.1 http://... 127.0.0.0 server_ip: 192.168.0.1 client_ip: 127.0.0.0
-
-
Örnek 3: Yakalama grubu kullanarak değerleri çıkarma.
-
ham günlük
content: start sys version: deficience, err: 2 -
dönüşüm kuralı
# Use a regular expression to capture the version and error values from the content field. e_regex("content",r"start sys version: (\w+),\s*err: (\d+)",["version","error"]) -
dönüşüm sonucu
content: start sys version: deficience, err: 2 error: 2 version: deficience
-
-
Örnek 4: Adlandırılmış yakalama grubu kullanarak değerleri çıkarma
-
ham günlük
content: start sys version: deficience, err: 2 -
dönüşüm kuralı
e_regex("content",r"start sys version: (?P<version>\w+),\s*err: (?P<error>\d+)") -
dönüşüm sonucu
content: start sys version: deficience, err: 2 error: 2 version: deficience
-
-
Örnek 5: dict alanından dinamik olarak bir alan adı ve değer oluşturma.
-
ham günlük
dict: verify:123 -
dönüşüm kuralı
e_regex("dict",r"(\w+):(\d+)",{r"k_\1": r"v_\2"}) -
dönüşüm sonucu
dict: verify:123 k_verify: v_123
-
-
Örnek 6: Bir değeri çıkarıp name alanına paketleme.
-
ham günlük
msg: 192.168.0.1 http://... 127.0.0.0 -
dönüşüm kuralı
e_regex("msg", r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}", "ip", pack_json="name") -
dönüşüm sonucu
msg:192.168.0.1 http://... 127.0.0.0 name:{"ip": "192.168.0.1"}
-
-
Örnek 7: dict alanından dinamik olarak alanlar oluşturma ve bunları name alanına paketleme.
-
ham günlük
dict: x:123, y:456, z:789 -
dönüşüm kuralı
e_regex("dict", r"(\w+):(\d+)", {r"k_\1": r"v_\2"}, pack_json="name") -
dönüşüm sonucu
dict:x:123, y:456, z:789 name:{"k_x": "v_123", "k_y": "v_456", "k_z": "v_789"}
-
-
Örnek 8: Bir yakalama grubundan değerleri çıkarıp name alanına paketleme.
-
ham günlük
content: start sys version: deficience, err: 2 -
dönüşüm kuralı
e_regex( "content", r"start sys version: (\w+),\s*err: (\d+)", ["version", "error"],pack_json="name") -
dönüşüm sonucu
content:start sys version: deficience, err: 2 name:{"version": "deficience", "error": "2"}
-
-
-
İlgili konular
Bu işlevi diğer işlevlerle birleştirebilirsiniz. İlgili bir örnek için bkz. Java hata günlüklerini ayrıştırma.
e_json
Belirtilen bir alandaki JSON nesnesi üzerinde JSON işlemleri gerçekleştirir. Bu işlemler arasında JSON verilerini genişletme, JMESPath ifadesiyle veri çıkarma veya bir JSON alt kümesini çıkarıp genişletme bulunur.
-
Sözdizimi
e_json(key, expand=None, depth=100, prefix="__", suffix="__", fmt="simple", sep=".", expand_array=True, fmt_array="{parent}_{index}", include_node=r"[\u4e00-\u9fa5\u0800-\u4e00a-zA-Z][\w\-\.]*", exclude_node="", include_path="", exclude_path="", jmes="", output="", jmes_ignore_none=False, mode='fill-auto' )NotHedef dize geçerli bir JSON nesnesi değilse
e_jsonişlevi, orijinal dizeyi ayrıştırmadan döndürür. -
Parametreler
Parametre
Tür
Zorunlu
Açıklama
key
Dize
Evet
Giriş alanının adı. Alan mevcut değilse işlev herhangi bir işlem yapmaz. Özel alan adlarının nasıl yapılandırılacağı hakkında bilgi için bkz. Olay türleri.
expand
Boole
Hayır
Alanın genişletilip genişletilmeyeceğini belirtir.
jmes parametresi yapılandırılmamışsa varsayılan değer True'dur ve alan genişletilir.
jmes parametresi yapılandırılmışsa varsayılan değer False'tur ve alan genişletilmez.
depth
Sayı
Hayır
İşlevin alanı ne kadar derinlikte genişleteceğini belirtir. Geçerli değerler: 1 ila 2000. Varsayılan değer 100'dür. 1 değeri yalnızca ilk seviyeyi genişletir.
prefix
Dize
Hayır
Genişletilen her alan adına eklenecek ön ek.
suffix
Dize
Hayır
Genişletilen her alan adına eklenecek son ek.
fmt
Dize
Hayır
Genişletilen alan adları için biçimlendirme yöntemi. Geçerli değerler:
simple (varsayılan): Geçerli düğüm adını alan adı olarak kullanır. Biçim
{prefix}{current}{suffix}şeklindedir.full: Kaynak alandan geçerli düğüme kadar olan tam yolu alan adı olarak birleştirir. Biçim
{parent_list_str}{sep}{prefix}{current}{suffix}şeklindedir. Sınırlayıcı,sepparametresi tarafından belirtilir. Varsayılan sınırlayıcı.'dir.parent: Geçerli düğüm adını doğrudan üst düğüm adıyla birleştirir. Biçim
{parent}{sep}{prefix}{current}{suffix}şeklindedir. Sınırlayıcı,sepparametresi tarafından belirtilir. Varsayılan sınırlayıcı.'dir.root: Geçerli düğüm adını kök düğüm adıyla birleştirir. Biçim
{parent_list[0]}{sep}{prefix}{current}{suffix}şeklindedir. Sınırlayıcı,sepparametresi tarafından belirtilir. Varsayılan sınırlayıcı.'dir.
sep
Dize
Hayır
Üst ve alt düğüm adları arasındaki sınırlayıcı. Bu parametre,
fmtfull, parent veya root olarak ayarlandığında uygulanır. Varsayılan değer.'dir.expand_array
Boole
Hayır
Dizilerin genişletilip genişletilmeyeceğini belirtir. Varsayılan değer
True'dur.fmt_array
Dize
Hayır
Dizi genişletme için biçimlendirme yöntemi. Biçim
{parent_rlist[0]}_{index}şeklindedir. Ayrıca en fazla beş yer tutucu kullanarak özel bir biçim dizesi oluşturabilirsiniz:parent_list,current,sep,prefixvesuffix.include_node
Dize/Sayı
Hayır
Düğüm izin listesi, filtreleme için dahil edilecek düğüm adlarını belirtir. Varsayılan olarak yalnızca adları Çince karakterler, rakamlar, harfler ve
_.-içeren düğümler otomatik olarak genişletilir.exclude_node
Dize
Hayır
Hariç tutulacak düğüm adlarının engelleme listesini tanımlayan bir normal ifade.
include_path
Dize
Hayır
Dahil edilecek düğüm yollarının izin listesini tanımlayan bir normal ifade.
exclude_path
Dize
Hayır
Hariç tutulacak düğüm yollarının engelleme listesini tanımlayan bir normal ifade.
jmes
Dize
Hayır
JSON nesnesinden veri çıkarmak için kullanılan bir JMESPath ifadesi.
output
Dize
Hayır
JMESPath ifadesi kullanılarak çıkarılan değer için çıkış alanının adı.
jmes_ignore_none
Boole
Hayır
JMESPath ifadesi bir değer bulamadığında davranışı belirtir. True (varsayılan) ise çıkarma yoksayılır.
Falseise boş bir dize döndürülür.mode
Dize
Hayır
Alan üzerine yazma modu. Varsayılan değer fill-auto'dur. Daha fazla bilgi için bkz. Alan çıkarma denetimi ve üzerine yazma modları.
-
JSON genişletme filtreleme
Bir düğüm izin listesi ayarlanırsa yalnızca izin listesindeki düğümler sonuca dahil edilir. Düğüm izin listesi için örnek normal ifade:
e_json("json_data_filed", ...., include_node=r'key\d+').Bir düğüm engelleme listesi ayarlanırsa engelleme listesindeki düğümler sonuçtan hariç tutulur. Düğüm engelleme listesi için örnek normal ifade:
e_json("json_data_filed", ...., exclude_node=r'key\d+').Düğüm yolu genişletme için
include_pathveexclude_pathnormal ifadeleri yolun başlangıcıyla eşleştirilir. Düğüm yolları sınırlayıcı olarak.kullanır.
-
JMESPath filtreleme
Verileri seçmek ve hesaplamak için JMESPath kullanın.
Belirli bir JSON yolundan bir öğe öznitelikleri listesi seçin:
e_json(..., jmes="cve.vendors[*].product",output="product")Belirli bir JSON yolundaki öğe özniteliklerini virgül (,) ile birleştirin:
e_json(..., jmes="join(',', cve.vendors[*].name)",output="vendors")Belirli bir JSON yolundaki öğeler için maksimum öznitelik değerini hesaplayın:
e_json(..., jmes="max(words[*].score)",output="hot_word")Belirli bir yol mevcut değilse veya boşsa boş bir dize döndürün:
e_json(..., jmes="max(words[*].score)",output="hot_word", jmes_ignore_none=False)
-
parent_list ve parent_rlist
Aşağıdaki örnekler kullanımlarını göstermektedir.
Ham günlük:
data: { "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}}-
parent_listüst düğümleri soldan sağa doğru düzenler.e_json("data", fmt='{parent_list[0]}-{parent_list[1]}#{current}')Dönüşüm sonucu:
data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} data-k2#k3:200 data-k2#k5:300 -
parent_rlistüst düğümleri sağdan sola doğru düzenler.e_json("data", fmt='{parent_rlist[0]}-{parent_rlist[1]}#{current}')Dönüşüm sonucu:
data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} k2-data#k3:200 k4-k2#k5:300
-
-
Yanıt
Yeni eklenen alanlarla birlikte günlüğü döndürür.
-
Örnekler
-
Örnek 1: Bir alanı genişletme.
-
Ham günlük
data: {"k1": 100, "k2": 200} -
Dönüşüm kuralı
e_json("data",depth=1) -
Dönüşüm sonucu
data: {"k1": 100, "k2": 200} k1: 100 k2: 200
-
-
Örnek 2: Alan adlarına ön ek ve son ek ekleme.
-
Ham günlük
data: {"k1": 100, "k2": 200} -
Dönüşüm kuralı
e_json("data", prefix="data_", suffix="_end") -
Dönüşüm sonucu
data: {"k1": 100, "k2": 200} data_k1_end: 100 data_k2_end: 200
-
-
Örnek 3: Farklı biçimler kullanarak bir alanı genişletme.
-
Ham günlük
data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } -
fmt=full
e_json("data", fmt='full')data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k2.k3: 200 data.k2.k4.k5: 300 -
fmt=parent
e_json("data", fmt='parent')data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 k2.k3: 200 k4.k5: 300 -
fmt=root
e_json("data", fmt='root')data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k3: 200 data.k5: 300
-
-
Örnek 4: Belirtilen sınırlayıcı, ön ek ve son ek ile JSON verilerini çıkarma.
-
Ham günlük
data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } -
Dönüşüm kuralı
e_json("data", fmt='parent', sep="@", prefix="__", suffix="__") -
Dönüşüm sonucu
data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data@__k1__:100 k2@__k3__:200 k4@__k5__:300
-
-
Örnek 5: JSON verilerini dizi olarak çıkarmak için fmt_array parametresini kullanma.
-
Ham günlük
people: [{"name": "xm", "sex": "boy"}, {"name": "xz", "sex": "boy"}, {"name": "xt", "sex": "girl"}] -
Dönüşüm kuralı
e_json("people", fmt='parent', fmt_array="{parent_rlist[0]}-{index}") -
Dönüşüm sonucu
people: [{"name": "xm", "sex": "boy"}, {"name": "xz", "sex": "boy"}, {"name": "xt", "sex": "girl"}] people-0.name: xm people-0.sex: boy people-1.name: xz people-1.sex: boy people-2.name: xt people-2.sex: girl
-
-
Örnek 6: Bir JSON nesnesini çıkarmak için JMESPath ifadesi kullanma.
-
Ham günlük
data: { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}} -
Dönüşüm kuralı
e_json("data", jmes='foo', output='jmes_output0') e_json("data", jmes='foo.bar', output='jmes_output1') e_json("data", jmes='people[0].last', output='jmes_output2') e_json("data", jmes='people[*].first', output='jmes_output3') -
Dönüşüm sonucu
data: { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}} jmes_output0: {"bar": "baz"} jmes_output1: baz jmes_output2: d jmes_output3: ["James", "Jacob"]
-
-
-
Ek okuma
Bu işlevin diğerleriyle birlikte kullanımına ilişkin bir örnek için bkz. Karmaşık JSON veri dönüşümü.
e_csv, e_psv ve e_tsv
Bu işlevler, özel bir ayırıcı ve önceden tanımlanmış alan adları kullanarak belirtilen bir alandan birden fazla alanı ayıklar.
e_csv: Varsayılan ayırıcı virgüldür (,).
e_psv: Varsayılan ayırıcı dikey çubuktur (|).
e_tsv: Varsayılan ayırıcı sekme karakteridir (
\t).
-
Sözdizimi
e_csv(input field name, output field list, sep=",", quote='"', restrict=True, mode="fill-auto") e_psv(input field name, output field list, sep="|", quote='"', restrict=True, mode="fill-auto") e_tsv(input field name, output field list, sep="\t", quote='"', restrict=True, mode="fill-auto") -
Parametreler
Parametre
Tür
Gerekli
Açıklama
input field name
Herhangi biri
Evet
Giriş alanının adı. Belirtilen alan mevcut değilse işlev herhangi bir işlem gerçekleştirmez. Özel alan adlarının nasıl belirtileceği hakkında bilgi için bkz. Olay türleri.
output field list
Herhangi biri
Evet
Aykılanan değerleri depolayan çıkış alanlarının adları.
Adları, örneğin
["error", "message", "result"]şeklinde bir dize listesi olarak sağlayabilirsiniz.Alan adlarında virgül yoksa adları virgülle ayrılmış tek bir dize olarak da sağlayabilirsiniz; örneğin
"error, message, result".Özel alan adlarının nasıl belirtileceği hakkında bilgi için bkz. Olay türleri.
sep
Dize
Hayır
Ayırıcı. Tek bir karakter olmalıdır.
quote
Dize
Hayır
Değerleri çevrelemek için kullanılan karakter. Bir değer ayırıcı içerdiğinde bunu kullanın.
restrict
Boolean
Hayır
Kısıtlı modun kullanılıp kullanılmayacağını belirtir. Varsayılan değer True'dur ve kısıtlı modu etkinleştirir. Bu parametre, ayıklanan değerlerin sayısının çıkış alanlarının sayısıyla eşleşmediği durumlardaki davranışı belirler:
Kısıtlı modda (True) işlev herhangi bir işlem gerçekleştirmez.
Kısıtlı olmayan modda (False) işlev değerleri eşleşen alanlara atar.
mode
Dize
Hayır
Alan üzerine yazma modu. Varsayılan değer fill-auto'dır. Değerler ve anlamları hakkında daha fazla bilgi için bkz. Alan ayıklama kontrolü ve üzerine yazma modları.
-
Yanıt
Yeni alanların eklendiği günlüğü döndürür.
-
Örnekler
Aşağıdaki örnek
e_csvkullanır.e_psvvee_tsvişlevleri benzer şekilde çalışır.-
Ham günlük
content: 192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aliyundoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aliyundoc.com/s?q=how-to-make-noodles&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36,-,- -
Dönüşüm kuralı
e_csv("content", "remote_addr, time_local,host,request,status,request_time,body_bytes_sent,upstream_addr,upstream_status, upstream_response_time,http_referer,http_x_forwarded_for,http_user_agent,session_id,guid") -
Sonuç
content: 192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aliyundoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aliyundoc.com/s?q=how-to-make-noodles&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Mobile Safari/537.36,-,- body_bytes_sent: 6404 guid: - host: example.aliyundoc.com http_referer: https://image.developer.aliyundoc.com/s?q=how-to-make-noodles&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei http_user_agent: Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 http_x_forwarded_for: - remote_addr: 192.168.0.100 request: GET /zf/11874.html HTTP/1.1 request_time: 0.077 session_id: - status: 200 time_local: 10/Jun/2019:11:32:16 +0800 topic: syslog-forwarder upstream_addr: 192.168.0.100:8001 upstream_response_time: 0.060 upstream_status: 200
-
-
Daha fazla bilgi
Bu işlevler diğer işlevlerle birlikte kullanılabilir. İlgili bir örnek için bkz. CSV biçimli günlükleri ayrıştırma.
e_kv
Bir veya daha fazla giriş alanından anahtar-değer çiftlerini ayıklar.
-
Sözdizimi
e_kv(field_or_list, sep="=", quote='"', escape=False, prefix="", suffix="", mode="fill-auto") -
Parametreler
Parametre
Tür
Gerekli
Açıklama
field_or_list
Dize veya dize listesi
Evet
Bir veya daha fazla giriş alanının adı. Özel alan adlarının nasıl belirtileceği hakkında bilgi için bkz. Olay türleri.
sep
Dize
Hayır
Anahtar-değer ayırıcısı; düzenli ifade olabilir. Varsayılan değer
='dir.NotYakalama yapmayan grupları kullanabilirsiniz ancak yakalayan grupları kullanamazsınız. Daha fazla bilgi için bkz. Gruplama.
quote
Dize
Hayır
Değerleri çevrelemek için kullanılan karakter. Varsayılan değer
"'dir.NotAyıklanan dinamik bir anahtar-değer çiftinin değeri genellikle tırnak işaretleri içine alınır; örneğin
a="abc"veb="xyz". Bir değer tırnak işaretleri içine alınmamışsa sistem yalnızca aşağıdaki karakterlerden oluşan bir değeri ayıklar:Çince karakterler, harfler, sayılar ve _-.%~ sembolleri. Örneğina=ab12_-.%~|abc b=123ifadesinden sistema: ab12_-.%~veb: 123değerlerini ayıklar.escape
Boolean
Hayır
Değerlerdeki kaçış karakterlerinin yorumlanıp yorumlanmayacağını kontrol eder. Varsayılan değer
False'tur. Örneğinkey="abc\"xyz"girdisinden işlev varsayılan olarakkeyalanı içinabc\değerini ayıklar.escape=Trueayarlarsanız ayıklanan değerabc"xyzolur.prefix
Dize
Hayır
Ayıklanan alan adlarına eklenecek ön ek.
suffix
Dize
Hayır
Ayıklanan alan adlarına eklenecek son ek.
mode
Dize
Hayır
Alan üzerine yazma modu. Varsayılan değer fill-auto'dur. Kullanılabilen modlar hakkında daha fazla bilgi için bkz. Alan ayıklama kontrolü ve üzerine yazma modları.
-
Yanıt
Ayıklanan anahtar-değer çiftlerini yeni alanlar olarak günlüğe ekler.
-
Örnekler
-
Örnek 1: Varsayılan ayırıcı = kullanarak anahtar-değer çiftlerini ayıklayın.
-
Ham günlük
http_refer: https://video.developer.aliyundoc.com/s?q=asd&a=1&b=2NotHam günlük
request_uri: a1=1&a2=&a3=3ise ve a2'nin değeri boşsa e_kv() işlevi a2'yi ayıklayamaz. Bunu ayıklamak için e_regex() işlevini kullanabilirsiniz; örneğin e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"},mode="overwrite"). -
Dönüşüm kuralı
e_kv("http_refer") -
Sonuç
http_refer: https://video.developer.aliyundoc.com/s?q=asd&a=1&b=2 q: asd a: 1 b: 2
-
-
Örnek 2: Alan adlarına ön ek ve son ek ekleyin.
-
Ham günlük
http_refer: https://video.developer.aliyundoc.com/s?q=asd&a=1&b=2 -
Dönüşüm kuralı
e_kv( "http_refer", sep="=", quote='"', escape=False, prefix="data_", suffix="_end", mode="fill-auto", ) -
Sonuç
http_refer: https://video.developer.aliyundoc.com/s?q=asd&a=1&b=2 data_q_end: asd data_a_end: 1 data_b_end: 2
-
-
Örnek 3:
content2alanından anahtar-değer çiftlerini ayıklayın veescapeparametresini kullanarak kaçış karakterlerini yorumlayın.-
Ham günlük
content2: k1:"v1\"abc", k2:"v2", k3: "v3" -
Dönüşüm kuralı
e_kv("content2", sep=":", escape=True) -
Sonuç
content2: k1:"v1\"abc", k2:"v2", k3: "v3" k1: v1"abc k2: v2 k3: v3
-
-
-
Ek okumalar
Bu işlevin diğerleriyle birlikte kullanımına ilişkin bir örnek için bkz. Bir dizeden dinamik anahtar-değer çiftlerini ayıklama.
e_kv_delimit
Ayırıcılar kullanarak bir giriş alanından anahtar-değer çiftlerini ayıklar.
-
Sözdizimi
e_kv_delimit(field_or_list, pair_sep=r"\s", kv_sep="=", prefix="", suffix="", mode="fill-auto") -
Parametreler
Parametre
Tür
Gerekli
Açıklama
field_or_list
dize veya dize listesi
Evet
Bir veya daha fazla giriş alanının adı. Özel alan adlarının nasıl belirtileceği hakkında bilgi için bkz. olay türü.
pair_sep
dize
Hayır
Anahtar-değer çiftlerini ayıran düzenli ifade. Varsayılan değer
\s'dir. Diğer örnekler arasında\s\wveabc\sbulunur.NotGerçek bir dizeyi ayırıcı olarak kullanmak için önce str_replace veya regex_replace işlevini kullanarak bu dizeyi tek karakterli bir ayırıcıyla değiştirmenizi öneririz. Ardından bu işlevi kullanarak alanı ayrıştırabilirsiniz.
kv_sep
dize
Hayır
Bir anahtarı değerinden ayıran düzenli ifade. Varsayılan değer
='dir. İfade tek bir karakterle sınırlı değildir.NotYakalama yapmayan grupları kullanabilirsiniz ancak yakalayan grupları kullanamazsınız. Daha fazla bilgi için bkz. Gruplama.
prefix
dize
Hayır
Ayıklanan alan adlarına eklenecek ön ek.
suffix
dize
Hayır
Ayıklanan alan adlarına eklenecek son ek.
mode
dize
Hayır
Alan üzerine yazma modu. Varsayılan değer fill-auto'dır. Değerler hakkında ayrıntılı bilgi için bkz. Alan ayıklama kontrolü ve üzerine yazma modları.
-
Yanıt
Ayıklanan anahtar-değer çiftlerinin yeni alanlar olarak eklendiği günlüğü döndürür.
-
Örnekler
-
Örnek 1: Varsayılan ayırıcı
=kullanarak anahtar-değer çiftlerini ayıklayın.-
Ham günlük
data: i=c1 k1=v1 k2=v2 k3=v3NotHam günlük
request_uri: a1=1&a2=&a3=3ise e_kv_delimit() işlevi değeri boş olduğu içina2öğesini ayıklayamaz. Boş değerli çiftleri ayıklamak için e_regex() işlevini kullanın. Örneğin: e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"}, mode="overwrite"). -
Dönüşüm kuralı
e_kv_delimit("data") -
Sonuç
data: i=c1 k1=v1 k2=v2 k3=v3 i: c1 k2: v2 k1: v1 k3: v3
-
-
Örnek 2: Ayırıcı olarak
&?kullanarak anahtar-değer çiftlerini ayıklayın.-
Ham günlük
data: k1=v1&k2=v2?k3=v3 -
Dönüşüm kuralı
e_kv_delimit("data",pair_sep=r"&?") -
Sonuç
data: k1=v1&k2=v2?k3=v3 k2: v2 k1: v1 k3: v3
-
-
Örnek 3: Anahtar-değer ayırıcısı olarak düzenli ifade kullanarak anahtar-değer çiftlerini ayıklayın.
-
Ham günlük
data: k1=v1 k2:v2 k3=v3 -
Dönüşüm kuralı
e_kv_delimit("data", kv_sep=r"(?:=|:)") -
Sonuç
data: k1=v1 k2:v2 k3=v3 k2: v2 k1: v1 k3: v3
-
-
e_syslogrfc
Syslog protokolüne göre öncelik değerinden tesis (facility) ve önem derecesini (severity) hesaplar ve ilgili etiketleri ekler.
-
Sözdizimi
e_syslogrfc(key, rfc, fields_info=None, mode='overwrite') -
Parametreler
Parametre
Tür
Gerekli
Açıklama
key
Herhangi biri
Evetprioritydeğerini içeren alanın adı.
rfc
Dize
Evet
Kullanılacak syslog protokolü. Geçerli değerler: SYSLOGRFC3164 ve SYSLOGRFC5424.
fields_info
Dict
Hayır
Varsayılan çıkış alanı adlarını (anahtarlar) özel adlarla (değerler) eşleyen sözlük. Aşağıdaki alanlar yeniden adlandırılabilir:{"_severity_":"sev","_facility_":"fac","_severitylabel_":"sevlabel","_facilitylabel_":"faclabel"}
mode
Dize
Hayır
Çıkış alanları için üzerine yazma modu. Varsayılan değer overwrite değeridir. Daha fazla bilgi için bkz. Alan ayıklama kontrolü ve üzerine yazma modları. -
Yanıt
Yeni tesis, önem derecesi ve etiket alanlarıyla günlüğü döndürür.
-
Örnekler
-
Örnek 1: SYSLOGRFC5424 protokolünü kullanarak tesis, önem derecesi ve etiket bilgilerini ayıklayın.
-
ham günlük
receive_time: 1558663265 _priority_: 13 _version_: 1 _log_time_: 2019-05-06 11:50:16.015554+08:00 _hostname_: iZbp1a65********i2qZ _program_: root _procid_: - _msgid_: - _extradata_: - _content_: twish -
dönüşüm kuralı
e_syslogrfc("_priority_","SYSLOGRFC5424") -
Sonuç
receive_time: 1558663265 _priority_: 13 _version_: 1 _log_time_: 2019-05-06 11:50:16.015554+08:00 _hostname_: iZbp1a65********i2qZ _program_: root _procid_: - _msgid_: - _extradata_: - _content_: twish _facility_: 1 _severity_: 5 _severitylabel_: Notice: normal but significant condition _facilitylabel_: user-level messages
-
-
Örnek 2: SYSLOGRFC5424 protokolünü kullanarak tesis, önem derecesi ve etiket bilgilerini ayıklayın ve çıkış alanlarını yeniden adlandırın.
-
ham günlük
receive_time: 1558663265 _priority_: 13 _version_: 1 _log_time_: 2019-05-06 11:50:16.015554+08:00 _hostname_: iZbp1a65********i2qZ _program_: root _procid_: - _msgid_: - _extradata_: - _content_: twish -
dönüşüm kuralı
e_syslogrfc( "_priority_", "SYSLOGRFC5424", { "_facility_": "fac", "_severity_": "sev", "_facilitylabel_": "_facility_label_", "_severitylabel_": "_severity_label_", }, ) -
Sonuç
receive_time: 1558663265 _priority_: 13 _version_: 1 _log_time_: 2019-05-06 11:50:16.015554+08:00 _hostname_: iZbp1a65********i2qZ _program_: root _procid_: - _msgid_: - _extradata_: - _content_: twish fac: 1 sev: 5 _severity_label_: Notice: normal but significant condition _facility_label_: user-level messages
-
-
-
Başvuru kaynakları
Bu işlev diğer işlevlerle birlikte kullanılabilir. İlgili bir örnek için bkz. Standart Syslog biçimindeki verileri ayrıştırma.
e_anchor
anchor_rules parametresinde tanımladığınız kuralları kullanarak bir giriş alanından dizeleri ayıklar.
-
Sözdizimi
e_anchor(key,anchor_rules,fields,restrict=False,mode="overwrite") -
Parametreler
Parameter
Type
Required
Description
key
Any
Yes
Giriş alanının adı.
anchor_rules
String
Yes
Dizelerin ayıklanacağı deseni tanımlar; burada yıldız işareti () ayıklanacak içeriği temsil eder. Örneğin:
User =; Severity = *;.Konsolda görüntülenen günlükler Anahtar : Değer biçimindedir ve iki nokta üst üste işaret ile değer arasında varsayılan olarak bir boşluk bulunur. anchor_rules parametresini belirtirken bu boşluğu dahil etmeyin. Örnek günlük girdisinde
contentalanı, ayıklanacak hedef alandır._source_: bin-hangzhou-oss _tag_:_object_: test001/test001-or20190906155735.perf _tag_:_receive_time_: 1582768681 _topic_: content: "Download": 4001792NotGiriş alanının değerinde yıldız işareti (*) ön veya son ek olarak kullanılamaz.
fields
Any
Yes
Ayıklanan değerler için çıkış alanlarının adları. Adları
["user", "job", "result"]gibi bir dize listesi olarak belirtebilirsiniz. Alan adlarında virgül (,) yoksa adları virgülle ayırarak tek bir dize olarak da belirtebilirsiniz, örneğin"user, job, result". Özel karakterler içerebilen ancak yıldız işareti (*) içermeyen özel alan adlarını belirtme hakkında ayrıntılı bilgi için bkz. olay türü.Yıldız işareti () kullanarak bir alan adını atlayabilirsiniz. Örneğin,
"user,,result" belirtirseniz yalnızcauserveresultalanları oluşturulur. Daha fazla bilgi için Örnek 10'a bakın.restrict
Boolean
No
Kısıtlı modun kullanılacağını belirtir. Varsayılan değer
False(kısıtlı olmayan mod) değeridir. Bu parametre, ayıklanan değerlerin sayısının çıkış alanlarının sayısıyla eşleşmediği durumdaki davranışı belirler:Kısıtlı modda (
True) işlev herhangi bir işlem gerçekleştirmez.Kısıtlı olmayan modda (
False) işlev değerleri sırayla ilgili alanlara atar.
mode
String
No
Varsayılan değer
overwritedeğeridir. Daha fazla bilgi için bkz. alan ayıklama denetimi ve üzerine yazma modu. -
Yanıt
Ayıklanan alanları ve bunların değerlerini ekleyerek orijinal günlüğü döndürür.
-
Örnekler
-
Örnek 1: Birden çok değeri ayıklayın
-
Ham günlük
content : "Aug 2 04:06:08: host=192.168.0.10: local/ssl2 notice mcpd[3772]: User=jsmith@example.com: severity=warning: 01070638:5: Pool member 172.31.51.22:0 monitor status down." -
Dönüşüm kuralı
e_anchor("content","User=*: severity=*:",["user_field","severity_field"]) -
Sonuç
content : "Aug 2 04:06:08: host=192.168.0.10: local/ssl2 notice mcpd[3772]: User=jsmith@example.com: severity=warning: 01070638:5: Pool member 172.31.51.22:0 monitor status down." user_field : jsmith@example.com severity_field : warning
-
-
Örnek 2: Birden çok JSON dizi değerini ayıklayın
-
Ham günlük
content : '"information":{"name_list":["Twiss","Evan","Wind","like"],"university":["UCL","Stanford University","CMU"]},"other":"graduate"' -
Dönüşüm kuralı
e_anchor("content",'name_list":*,"university":*},', ["name_list","universities"]) -
Sonuç
content : '"information":{"name_list":["Twiss","Evan","Wind","like"],"university":["UCL","Stanford University","CMU"]},"other":"graduate"' name_list : ["Twiss","Evan","Wind","like"] universities : ["UCL","Stanford University","CMU"]
-
-
Örnek 3: Özel karakterler içeren bir günlükten ayıklayın
-
Ham günlük
content : (+2019) June 24 "I am iron man" -
Dönüşüm kuralı
e_anchor("content", "(+*) * \"*\"",["Year","Date","Msg"]) -
Sonuç
content : (+2019) June 24 "I am iron man" Year : 2019 Date : June 24 Msg : I am iron man
-
-
Örnek 4: Görünmez bir kontrol karakteri içeren bir günlükten ayıklayın (
\x09)-
Ham günlük
content : \x09\x09\x09Chrome/55.0 Safari/537.36 -
Dönüşüm kuralı
e_anchor("content", "\x09\x09\x09*/55.0 */537.36",["Google", "Apple"]) -
Sonuç
content : \x09\x09\x09Chrome/55.0 Safari/537.36 Google : Chrome Apple : Safari
-
-
Özel karakterlere sahip bir değer içeren content alanını ayıklayın. Alanın değeri
To...SubjectolupMESSAGE:öğesini takip eder.-
Ham günlük
content : 12:08:10,651 INFO sample_server ReportEmailer:178 - DEBUG SENDING MESSAGE: To: example@aliyun.com Subject: New line Breaks in Message -
Dönüşüm kuralı
e_anchor("content","* INFO *: \n To: *\n Subject: *",["time","message","email","subject"]) -
Sonuç
content : 12:08:10,651 INFO sample_server ReportEmailer:178 - DEBUG SENDING MESSAGE: To: example@aliyun.com Subject: New line Breaks in Message time : 12:08:10,651 message : sample_server ReportEmailer:178 - DEBUG SENDING MESSAGE email : example@aliyun.com subject : New line Breaks in Message
-
-
Görünmez özel karakter
\tiçeren bir değer içeren content alanını ayıklayın.-
Ham günlük
content : I'm tabbed in -
Dönüşüm kuralı
e_anchor("content","\tI'm * in","word") # You can also copy the exact value from the content field to create the pattern. # Do not copy the default space after the colon in the field name. e_anchor("content"," I'm * in","word") -
Sonuç
content : I'm tabbed in word : tabbed
-
-
Özel karakter değeri içeren ve
\tolarak görüntülenen content alanını ayıklayın.-
Ham günlük
content : \tI'm tabbed in -
Dönüşüm kuralı
e_anchor("content","\tI'm * in","word") # You can also use the following rule: e_anchor("content"," I'm * in","word") -
Sonuç
content : \tI'm tabbed in word : tabbed
-
-
Örnek 8: Günlüğü kısıtlı modda ayıklayın
-
Ham günlük
content : I used to love having snowball fight with my friends and building snowmen on the streets around our neighborhood -
Dönüşüm kuralı
e_anchor("content","I * to * having",["v_word", "n_word","asd"],restrict=True) -
Sonuç
content : I used to love having snowball fight with my friends and building snowmen on the streets around our neighborhood
-
-
Örnek 9: Günlüğü kısıtlı olmayan modda ayıklayın
-
Ham günlük
content : I used to love having snowball fight with my friends and building snowmen on the streets around our neighborhood -
Dönüşüm kuralı
e_anchor("content","love * fight with my * and",["test1","test2","test13"],restrict=False) -
Sonuç
content : I used to love having snowball fight with my friends and building snowmen on the streets around our neighborhood test1 : having snowball test2 : friends
-
-
Örnek 10: Bir değeri ayıklayın ve diğerini atlayın
-
Ham günlük
content: Could you compare the severity of natural disasters to man-made disasters -
Dönüşüm kuralı
e_anchor('content', 'compare the * of natural disasters to man-made *', 'n-word,*') -
Sonuç
content : Could you compare the severity of natural disasters to man-made disasters n-word : severity
-
-