Use the GROK function in DSL to parse Syslog logs in different formats - Simple Log Service: Central de Documentação do Alibaba Cloud

O Syslog é um protocolo padrão do setor para registro de logs de dispositivos, amplamente utilizado em gerenciamento de rede, segurança e auditoria de logs. Use a função GROK na Domain Specific Language (DSL) do Simple Log Service (SLS) para analisar com eficiência logs Syslog em diferentes formatos.

Visão geral

O Syslog é amplamente adotado para logs de sistema em sistemas operacionais do tipo Unix. As mensagens Syslog podem ser gravadas em arquivos locais ou enviadas pela rede a um servidor receptor. Esse servidor armazena centralmente as mensagens Syslog de vários dispositivos ou analisa seu conteúdo para processamento posterior.

Problema

Durante muito tempo, não existiu um padrão que regulamentasse o formato Syslog, o que resultou em formatações inconsistentes ou na ausência total de um formato definido. Essa situação dificulta a análise programática das mensagens Syslog, pois muitas vezes elas só podem ser tratadas como strings simples. Portanto, compreender como analisar logs Syslog em diversos formatos é essencial.

Introdução aos padrões do protocolo Syslog

Dois protocolos Syslog comuns são utilizados no setor: RFC 5424 (publicado em 2009) e RFC 3164 (publicado em 2001). As seções a seguir descrevem as diferenças entre esses dois protocolos. Entender essas distinções ajuda a usar o GROK para analisar logs Syslog com flexibilidade.

Protocolo RFC 5424

O protocolo RFC 5424 inclui os campos a seguir. Para obter mais informações, consulte o documento oficial do protocolo.

PRI VERSION SP TIMESTAMP SP HOSTNAME SP APP-NAME SP PROCID SP MSGID

Os exemplos a seguir descrevem esses campos:

"""
Example1:
<34>1 2019-07-11T22:14:15.003Z aliyun.example.com ali - ID47 - BOM'su user' failed for lonvick on /dev/pts/8
"""
PRI -- 34
VERSION -- 1
TIMESTAMP -- 2019-07-11T22:14:15.003Z
HOSTNAME -- aliyun.example.com
APP-NAME -- ali
PROCID -- None
MSGID -- ID47
MESSAGE -- 'su user' failed for lonvick on /dev/pts/8
"""
Example2:
<165>1 2019-07-11T22:14:15.000003-07:00 192.0.2.1 myproc 8710 - - %% It's time to make the do-nuts.
"""
PRI -- 165
VERSION -- 1
TIMESTAMP -- 2019-07-11T05:14:15.000003-07:00
HOSTNAME -- 192.0.2.1
APP-NAME -- myproc
PROCID -- 8710
STRUCTURED-DATA -- "-"
MSGID -- "-"
MESSAGE -- "%% It's time to make the do-nuts."
"""
Example3: - with STRUCTURED-DATA
<165>1 2019-07-11T22:14:15.003Z aliyun.example.com
           evntslog - ID47 [exampleSDID@32473 iut="3" eventSource=
           "Application" eventID="1011"] BOMAn application
           event log entry...
"""
PRI -- 165
VERSION -- 1
TIMESTAMP -- 2019-07-11T22:14:15.003Z
HOSTNAME -- aliyun.example.com
APP-NAME -- evntslog
PROCID -- "-"
MSGID -- ID47
STRUCTURED-DATA -- [exampleSDID@32473 iut="3" eventSource="Application" eventID="1011"]
MESSAGE -- An application event log entry...

Protocolo RFC 3164

O protocolo RFC 3164 inclui os campos a seguir. Para obter mais informações, consulte o documento oficial do protocolo.

PRI HEADER[TIME HOSTNAME] MSG

O exemplo a seguir descreve esses campos:

"""
<30>Oct 9 22:33:20 hlfedora auditd[1787]: The audit daemon is exiting.
"""
PRI -- 30
HEADER
- TIME -- Oct 9 22:33:20
- HOSTNAME -- hlfedora
MSG
- TAG -- auditd[1787]
- Content -- The audit daemon is exiting.

Usar GROK para analisar formatos comuns de Syslog

Use o GROK para analisar vários formatos comuns de Syslog. Para obter mais informações sobre as regras do GROK, consulte Referência de padrões GROK.

Analisar o formato TraditionalFormat

Log bruto

  receive_time: 1558663265
  __topic__:
  content: May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.

Regra SLS DSL

e_regex('content', grok('%{SYSLOGBASE} %{GREEDYDATA:message}'))

Resultado do processamento

  receive_time: 1558663265
  __topic__:
  content: May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.
  timestamp: May  5 10:20:57
  logsource: iZbp1a65x3r1vhpe94fi2qZ
  program: systemd
  message: Started System Logging Service.

Analisar o FileFormat

Log bruto

  receive_time: 1558663265
  __topic__:
  content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ user: 834753

Regra SLS DSL

e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}'))

Resultado do processamento

  receive_time: 1558663265
  __topic__:
  content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ user: 834753
  timestamp: 2019-05-06T09:26:07.874593+08:00
  hostname: iZbp1a65x3r1vhpe94fi2qZ
  program: user
  message: 834753

Analisar logs no RSYSLOG_SyslogProtocol23Format

Log bruto

  receive_time: 1558663265
  __topic__:
  content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish

Regra SLS DSL

e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{PROG:program} - - - %{GREEDYDATA:message}'))

Resultado do processamento

  receive_time: 1558663265
  __topic__:
  content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish
  priority: 13
  version: 1
  timestamp: 2019-05-06T11:50:16.015554+08:00
  hostname: iZbp1a65x3r1vhpe94fi2qZ
  program: user
  message: twish

Analisar o formato RSYSLOG_DebugFormat

Log bruto

  receive_time: 1558663265
  __topic__:
  content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ user: environment

Regra SLS DSL

e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}'))

Resultado do processamento

  receive_time: 1558663265
  __topic__:
  content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ user: environment
  timestamp: 2019-05-06T14:29:37.558854+08:00 
  hostname: iZbp1a65x3r1vhpe94fi2qZ
  program: user
  message: environment

Usar GROK para analisar formatos de log Syslog incomuns

Use o GROK para analisar dois formatos Syslog incomuns usados pelo Fluentd: FluentRFC5424 e FluentRFC3164.

Formato FluentRFC5424

Log bruto

  receive_time: 1558663265
  __topic__:
  content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from Fluentd!

Regra SLS DSL

e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident} %{USER:pid} %{USERNAME:msgid} (?P<extradata>(\[(.*)\]|[^ ])) %{GREEDYDATA:message}'))

Resultado do processamento

  receive_time: 1558663265
  __topic__:
  content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from aliyun!
  priority: 16
  version: 1
  timestamp: 2019-02-28T12:00:00.003Z
  hostname: 192.168.0.1
  ident: aliyun
  pid: 11111
  msgid: ID24224
  extradata: [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211]
  message: Hi, from aliyun!

Formato FluentRFC3164

Log bruto

  receive_time: 1558663265
  __topic__:
  content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test

Regra SLS DSL

e_regex('content', grok('%{POSINT:priority}>%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident}(?P<pid>(\[[a-zA-Z0-9._-]+\]|[^:])): (?P<level>(\[(\w+)\]|[^ ])) %{GREEDYDATA:message}'))

Resultado do processamento

 receive_time: 1558663265
  __topic__:
  content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test
  priority: 6
  timestamp: Feb 28 12:00:00
  hostname: 192.168.0.1
  ident: aliyun
  pid: [11111]
  level: [error]
  message: Syslog test

Análise estendida de prioridade

Após analisar logs Syslog no formato FluentRFC5424 ou FluentRFC3164, analise adicionalmente o campo de prioridade para extrair informações de facility e severidade. Para obter mais informações, consulte e_syslogrfc. Veja um exemplo abaixo:

Log bruto

receive_time: 1558663265
  __topic__:
  content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish
  priority: 13
  version: 1
  timestamp: 2019-05-06T11:50:16.015554+08:00
  hostname: iZbp1a65x3r1vhpe94fi2qZ
  program: user
  message: twish

Regra SLS DSL
```
e_syslogrfc("priority","SYSLOGRFC5424")
```

Resultado do processamento

  receive_time: 1558663265
  __topic__:
  content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ user - - - twish
  priority: 13
  version: 1
  timestamp: 2019-05-06T11:50:16.015554+08:00
  hostname: iZbp1a65x3r1vhpe94fi2qZ
  program: user
  message: twish
  _facility_: 1
  _severity_: 5
  _severitylabel_: Notice: normal but significant condition
  _facilitylabel_: user-level messages