Syslog, cihaz günlüklerini kaydetmek için kullanılan endüstri standardı bir protokoldür ve ağ yönetimi, güvenlik yönetimi ile günlük denetiminde yaygın olarak kullanılır. Simple Log Service (SLS) Domain Specific Language (DSL) içindeki GROK işlevini kullanarak farklı biçimlerdeki Syslog günlüklerini verimli bir şekilde ayrıştırabilirsiniz.
Genel bakış
Syslog, Unix benzeri işletim sistemlerinde sistem günlükleri için geniş çapta kullanılır. Syslog mesajları yerel dosyalara kaydedilebilir veya ağ üzerinden bir alıcı sunucuya gönderilebilir. Sunucu, birden fazla cihazdan gelen Syslog mesajlarını merkezi olarak depolayabilir veya içeriğini daha fazla işlemek üzere ayrıştırabilir.
Sorun tanımı
Uzun süre boyunca Syslog biçimini düzenleyen bir standart bulunmuyordu; bu durum tutarsız biçimlendirmelere veya hiç tanımlanmamış biçimlere yol açtı. Bu nedenle Syslog mesajlarının programatik olarak ayrıştırılması zorlaştı ve mesajlar genellikle yalnızca düz metin dizeleri olarak ele alındı. Dolayısıyla, çeşitli biçimlerdeki Syslog günlüklerinin nasıl ayrıştırılacağını anlamak büyük önem taşır.
Syslog protokol standartlarına giriş
Endüstride iki yaygın Syslog protokolü kullanılır: RFC 5424 (2009 yılında yayımlandı) ve RFC 3164 (2001 yılında yayımlandı). Aşağıdaki bölümlerde bu iki protokol arasındaki farklar açıklanmaktadır. Bu farkları anlamak, GROK kullanarak Syslog günlüklerini esnek bir şekilde ayrıştırmanıza yardımcı olur.
-
RFC 5424 protokolü
RFC 5424 protokolü aşağıdaki alanları içerir. Daha fazla bilgi için resmi protokol belgesine bakın.
PRI VERSION SP TIMESTAMP SP HOSTNAME SP APP-NAME SP PROCID SP MSGIDAşağıdaki örnekler bu alanları açıklamaktadır:
""" Example1: <34>1 2019-07-11T22:14:15.003Z aliyun.example.com ali - ID47 - BOM'su user' failed for lonvick on /dev/pts/8 """ PRI -- 34 VERSION -- 1 TIMESTAMP -- 2019-07-11T22:14:15.003Z HOSTNAME -- aliyun.example.com APP-NAME -- ali PROCID -- None MSGID -- ID47 MESSAGE -- 'su user' failed for lonvick on /dev/pts/8 """ Example2: <165>1 2019-07-11T22:14:15.000003-07:00 192.0.2.1 myproc 8710 - - %% It's time to make the do-nuts. """ PRI -- 165 VERSION -- 1 TIMESTAMP -- 2019-07-11T05:14:15.000003-07:00 HOSTNAME -- 192.0.2.1 APP-NAME -- myproc PROCID -- 8710 STRUCTURED-DATA -- "-" MSGID -- "-" MESSAGE -- "%% It's time to make the do-nuts." """ Example3: - with STRUCTURED-DATA <165>1 2019-07-11T22:14:15.003Z aliyun.example.com evntslog - ID47 [exampleSDID@32473 iut="3" eventSource= "Application" eventID="1011"] BOMAn application event log entry... """ PRI -- 165 VERSION -- 1 TIMESTAMP -- 2019-07-11T22:14:15.003Z HOSTNAME -- aliyun.example.com APP-NAME -- evntslog PROCID -- "-" MSGID -- ID47 STRUCTURED-DATA -- [exampleSDID@32473 iut="3" eventSource="Application" eventID="1011"] MESSAGE -- An application event log entry... -
RFC 3164 protokolü
RFC 3164 protokolü aşağıdaki alanları içerir. Daha fazla bilgi için resmi protokol belgesine bakın.
PRI HEADER[TIME HOSTNAME] MSGAşağıdaki örnek bu alanları açıklamaktadır:
""" <30>Oct 9 22:33:20 hlfedora auditd[1787]: The audit daemon is exiting. """ PRI -- 30 HEADER - TIME -- Oct 9 22:33:20 - HOSTNAME -- hlfedora MSG - TAG -- auditd[1787] - Content -- The audit daemon is exiting.
Yaygın Syslog biçimlerini ayrıştırmak için GROK kullanma
Birkaç yaygın Syslog biçimini ayrıştırmak için GROK kullanabilirsiniz. GROK kuralları hakkında daha fazla bilgi için GROK desen referansı konusuna bakın.
-
TraditionalFormat biçimini ayrıştırma
-
Ham günlük
receive_time: 1558663265 __topic__: content: May 5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service. -
SLS DSL kuralı
e_regex('content', grok('%{SYSLOGBASE} %{GREEDYDATA:message}')) -
İşleme sonucu
receive_time: 1558663265 __topic__: content: May 5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service. timestamp: May 5 10:20:57 logsource: iZbp1a65x3r1vhpe94fi2qZ program: systemd message: Started System Logging Service.
-
-
FileFormat biçimini ayrıştırma
-
Ham günlük
receive_time: 1558663265 __topic__: content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ user: 834753 -
SLS DSL kuralı
e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}')) -
İşleme sonucu
receive_time: 1558663265 __topic__: content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ user: 834753 timestamp: 2019-05-06T09:26:07.874593+08:00 hostname: iZbp1a65x3r1vhpe94fi2qZ program: user message: 834753
-
-
RSYSLOG_SyslogProtocol23Format biçimindeki günlükleri ayrıştırma
-
Ham günlük
receive_time: 1558663265 __topic__: content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish -
SLS DSL kuralı
e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{PROG:program} - - - %{GREEDYDATA:message}')) -
İşleme sonucu
receive_time: 1558663265 __topic__: content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish priority: 13 version: 1 timestamp: 2019-05-06T11:50:16.015554+08:00 hostname: iZbp1a65x3r1vhpe94fi2qZ program: user message: twish
-
-
RSYSLOG_DebugFormat biçimini ayrıştırma
-
Ham günlük
receive_time: 1558663265 __topic__: content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ user: environment -
SLS DSL kuralı
e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}')) -
İşleme sonucu
receive_time: 1558663265 __topic__: content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ user: environment timestamp: 2019-05-06T14:29:37.558854+08:00 hostname: iZbp1a65x3r1vhpe94fi2qZ program: user message: environment
-
Nadir görülen Syslog günlük biçimlerini ayrıştırmak için GROK kullanma
Fluentd tarafından kullanılan iki nadir Syslog biçimini (FluentRFC5424 ve FluentRFC3164) ayrıştırmak için GROK kullanabilirsiniz.
-
FluentRFC5424 biçimi
-
Ham günlük
receive_time: 1558663265 __topic__: content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from Fluentd! -
SLS DSL kuralı
e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident} %{USER:pid} %{USERNAME:msgid} (?P<extradata>(\[(.*)\]|[^ ])) %{GREEDYDATA:message}')) -
İşleme sonucu
receive_time: 1558663265 __topic__: content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from aliyun! priority: 16 version: 1 timestamp: 2019-02-28T12:00:00.003Z hostname: 192.168.0.1 ident: aliyun pid: 11111 msgid: ID24224 extradata: [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] message: Hi, from aliyun!
-
-
FluentRFC3164 biçimi
-
Ham günlük
receive_time: 1558663265 __topic__: content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test -
SLS DSL kuralı
e_regex('content', grok('%{POSINT:priority}>%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident}(?P<pid>(\[[a-zA-Z0-9._-]+\]|[^:])): (?P<level>(\[(\w+)\]|[^ ])) %{GREEDYDATA:message}')) -
İşleme sonucu
receive_time: 1558663265 __topic__: content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test priority: 6 timestamp: Feb 28 12:00:00 hostname: 192.168.0.1 ident: aliyun pid: [11111] level: [error] message: Syslog test
-
-
Genişletilmiş öncelik ayrıştırma
FluentRFC5424 veya FluentRFC3164 biçimindeki Syslog günlüklerini ayrıştırdıktan sonra, tesis (facility) ve önem derecesi (severity) bilgilerini çıkarmak için öncelik alanını daha fazla ayrıştırabilirsiniz. Daha fazla bilgi için e_syslogrfc konusuna bakın. Aşağıda bir örnek verilmiştir:
-
Ham günlük
receive_time: 1558663265 __topic__: content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish priority: 13 version: 1 timestamp: 2019-05-06T11:50:16.015554+08:00 hostname: iZbp1a65x3r1vhpe94fi2qZ program: user message: twish -
SLS DSL kuralı
e_syslogrfc("priority","SYSLOGRFC5424") -
İşleme sonucu
receive_time: 1558663265 __topic__: content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish priority: 13 version: 1 timestamp: 2019-05-06T11:50:16.015554+08:00 hostname: iZbp1a65x3r1vhpe94fi2qZ program: user message: twish _facility_: 1 _severity_: 5 _severitylabel_: Notice: normal but significant condition _facilitylabel_: user-level messages
-