Grok işlevi, karmaşık düzenli ifadeler yerine önceden tanımlanmış adlandırılmış örüntüler kullanarak günlük ayrıştırmayı basitleştirir.
Genel Bakış
Grok işlevi, düzenli ifade işlevleri için daha basit bir alternatiftir. Grok'u düzenli ifade işlevleriyle birlikte kullanabilirsiniz:
e_match("content", grok(r"\w+: (%{IP})")) # Matches patterns such as abc: 192.0.2.0 or xyz: 192.0.2.2.
e_match("content", grok(r"\w+: (%{IP})", escape=True)) # Does not match abc: 192.0.2.0, but matches \w+: 192.0.2.0.
Grok işlevi, önceden tanımlanmış düzenli ifade örüntülerini kullanarak değerleri ayıklar.
-
İşlev sözdizimi
grok(pattern, escape=False, extend=None) -
Grok sözdizimi
%{SYNTAX} %{SYNTAX:NAME}SYNTAX önceden tanımlanmış bir düzenli ifade örüntüsüdür. NAME ise adlandırılmış bir gruptur.
"%{IP}" # Equivalent to r"(?:\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})" "%{IP:source_id}" # Equivalent to r"(?P<source_id>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})" ("%{IP}") # Equivalent to r"(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})"Grok'un iki gruplama modu bulunur:
-
Yakalama grubu modu
Bazı Grok örüntülerinde yerleşik adlandırılmış yakalama grupları bulunur. Bu örüntüler için yalnızca %{SYNTAX} sözdizimini kullanın. Bu örüntüler genellikle günlük deyimlerini ayrıştırmak için kullanılır. Desteklenen günlük biçimleri Grok örüntüleri içinde listelenmiştir.
"%{SYSLOGBASE}" "%{COMMONAPACHELOG}" "%{COMBINEDAPACHELOG}" "%{HTTPD20_ERRORLOG}" "%{HTTPD24_ERRORLOG}" "%{HTTPD_ERRORLOG}" ... -
Yakalamayan grup modu
Bazı Grok örüntüleri yakalamayan grup modunu kullanır. Örneğin:
"%{INT}" "%{YEAR}" "%{HOUR}" ...
-
-
Parametreler
Parametre
Tür
Zorunlu
Açıklama
pattern
Dize (String)
Evet
Eşleştirilecek Grok örüntüsü. Kullanılabilir örüntüler Grok örüntüleri içinde listelenmiştir.
escape
Bool
Hayır
True olarak ayarlandığında, Grok örüntüleri dışındaki özel regex karakterlerini kaçış karakteriyle işaretler. Varsayılan: False.
extend
Sözlük (Dict)
Hayır
Kullanıcı tanımlı bir Grok ifadesidir.
İşlev örnekleri
-
Örnek 1: Tarihi ve tırnak içindeki içeriği ayıklayın.
-
Ham günlük
content: 2019 June 24 "I am iron man" -
Dönüşüm kuralı
e_regex('content',grok('%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}')) -
Sonuç
content: 2019 June 24 "I am iron man" year: 2019 month: June day: 24 motto: "I am iron man"
-
-
Örnek 2: Bir HTTP istek günlüğünü ayıklayın.
-
Ham günlük
content: 10.0.0.0 GET /index.html 15824 0.043 -
Dönüşüm kuralı
e_regex('content',grok('%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}')) -
Sonuç
content: 10.0.0.0 GET /index.html 15824 0.043 client: 10.0.0.0 method: GET request: /index.html bytes: 15824 duration: 0.043
-
-
Örnek 3: Bir Apache günlüğünü ayıklayın.
-
Ham günlük
content: 127.0.0.1 - - [13/Apr/2015:17:22:03 +0800] "GET /router.php HTTP/1.1" 404 285 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2" -
Dönüşüm kuralı
e_regex('content',grok('%{COMBINEDAPACHELOG}')) -
Sonuç
content: 127.0.0.1 - - [13/Apr/2015:17:22:03 +0800] "GET /router.php HTTP/1.1" 404 285 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2" clientip: 127.0.0.1 ident: - auth: - timestamp: 13/Apr/2015:17:22:03 +0800 verb: GET request: /router.php httpversion: 1.1 response: 404 bytes: 285 referrer: "-" agent: "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"
-
-
Örnek 4: Bir syslog girdisini ayrıştırın.
-
Ham günlük
content: May 29 16:37:11 sadness logger: hello world -
Dönüşüm kuralı
e_regex('content',grok('%{SYSLOGBASE} %{DATA:message}')) -
Sonuç
content: May 29 16:37:11 sadness logger: hello world timestamp: May 29 16:37:11 logsource: sadness program: logger message: hello world
-
-
Örnek 5: Özel karakterleri kaçış karakteriyle işaretleyin.
-
Ham günlük
content: Nov 1 21:14:23 scorn kernel: pid 84558 (expect), uid 30206: exited on signal 3 -
Dönüşüm kuralı
e_regex('content',grok(r'%{SYSLOGBASE} pid %{NUMBER:pid} \(%{WORD:program}\), uid %{NUMBER:uid}: exited on signal %{NUMBER:signal}'))Bu kural, regex özel karakterleri olan parantezler içerir. Bunları otomatik olarak kaçış karakteriyle işaretlemek için escape parametresini True olarak ayarlayın:
e_regex('content',grok('%{SYSLOGBASE} pid %{NUMBER:pid} (%{WORD:program}), uid %{NUMBER:uid}: exited on signal %{NUMBER:signal}', escape=True)) -
Sonuç
content: Nov 1 21:14:23 scorn kernel: pid 84558 (expect), uid 30206: exited on signal 3 timestamp: Nov 1 21:14:23 logsource: scorn program: expect pid: 84558 uid: 30206 signal: 3
-
-
Örnek 6: Özel bir Grok ifadesi kullanın.
-
Ham günlük
content: Beijing-1104,gary 25 "never quit" -
Dönüşüm kuralı
e_regex('content',grok('%{ID:user_id},%{WORD:name} %{INT:age} %{QUOTEDSTRING:motto}',extend={'ID': '%{WORD}-%{INT}'})) -
Sonuç
content: Beijing-1104,gary 25 "never quit" user_id: Beijing-1104 name: gary age: 25 motto: "never quit"
-
-
Örnek 7: JSON verilerini eşleştirin.
-
Ham günlük
content: 2019-10-29 16:41:39,218 - INFO: owt.AudioFrameConstructor - McsStats: {"event":"mediaStats","connectionId":"331578616547393100","durationMs":"5000","rtpPackets":"250","rtpBytes":"36945","nackPackets":"0","nackBytes":"0","rtpIntervalAvg":"20","rtpIntervalMax":"104","rtpIntervalVar":"4","rtcpRecvPackets":"0","rtcpRecvBytes":"0","rtcpSendPackets":"1","rtcpSendBytes":"32","frame":"250","frameBytes":"36945","timeStampOutOfOrder":"0","frameIntervalAvg":"20","frameIntervalMax":"104","frameIntervalVar":"4","timeStampIntervalAvg":"960","timeStampIntervalMax":"960","timeStampIntervalVar":"0"} -
Dönüşüm kuralı
e_regex('content',grok('%{EXTRACTJSON}')) -
Sonuç
content: 2019-10-29 16:41:39,218 - INFO: owt.AudioFrameConstructor - McsStats: {"event":"mediaStats","connectionId":"331578616547393100","durationMs":"5000","rtpPackets":"250","rtpBytes":"36945","nackPackets":"0","nackBytes":"0","rtpIntervalAvg":"20","rtpIntervalMax":"104","rtpIntervalVar":"4","rtcpRecvPackets":"0","rtcpRecvBytes":"0","rtcpSendPackets":"1","rtcpSendBytes":"32","frame":"250","frameBytes":"36945","timeStampOutOfOrder":"0","frameIntervalAvg":"20","frameIntervalMax":"104","frameIntervalVar":"4","timeStampIntervalAvg":"960","timeStampIntervalMax":"960","timeStampIntervalVar":"0"} json:{"event":"mediaStats","connectionId":"331578616547393100","durationMs":"5000","rtpPackets":"250","rtpBytes":"36945","nackPackets":"0","nackBytes":"0","rtpIntervalAvg":"20","rtpIntervalMax":"104","rtpIntervalVar":"4","rtcpRecvPackets":"0","rtcpRecvBytes":"0","rtcpSendPackets":"1","rtcpSendBytes":"32","frame":"250","frameBytes":"36945","timeStampOutOfOrder":"0","frameIntervalAvg":"20","frameIntervalMax":"104","frameIntervalVar":"4","timeStampIntervalAvg":"960","timeStampIntervalMax":"960","timeStampIntervalVar":"0"}
-
-
Örnek 8: Bir W3C günlüğünü ayrıştırın.
-
Ham günlük
content: 2018-12-26 00:00:00 W3SVC2 application001 192.168.0.0 HEAD / - 8000 - 10.0.0.0 HTTP/1.0 - - - - 404 0 64 0 19 0 -
Dönüşüm kuralı
Desteklenmeyen W3C alanları tire (-) olarak görünür. Bu alanları eşleştirmek için Grok örüntüsünde tire kullanın.
e_regex("content",grok('%{DATE:data} %{TIME:time} %{WORD:s_sitename} %{WORD:s_computername} %{IP:s_ip} %{WORD:cs_method} %{NOTSPACE:cs_uri_stem} - %{NUMBER:s_port} - %{IP:c_ip} %{NOTSPACE:cs_version} - - - - %{NUMBER:sc_status} %{NUMBER:sc_substatus} %{NUMBER:sc_win32_status} %{NUMBER:sc_bytes} %{NUMBER:cs_bytes} %{NUMBER:time_taken}')) -
Sonuç
content: 2018-12-26 00:00:00 W3SVC2 application001 192.168.0.0 HEAD / - 8000 - 10.0.0.0 HTTP/1.0 - - - - 404 0 64 0 19 0 data: 18-12-26 time: 00:00:00 s_sitename: W3SVC2 s_computername: application001 s_ip: 192.168.0.0 cs_method: HEAD cs_uri_stem: / s_port: 8000 c_ip: 10.0.0.0 cs_version: HTTP/1.0 sc_status: 404 sc_substatus: 0 sc_win32_status: 64 sc_bytes: 0 cs_bytes: 19 time_taken: 0
-