Plugins de processamento de tempo do SLS - analisar e padronizar timestamps de log - : Central de Documentação do Alibaba Cloud

Exemplo de efeito do plugin

Comparação de dados de log brutos no SLS com e sem o plugin de análise de tempo (nativo).

Log bruto	Sem plugin	Plugin de análise de tempo (nativo)
Timestamp com precisão de segundos: `{ "level":"INFO", "timestamp":"2025-09-29T09:56:01+0800", "cluster":"yilu-cluster-0728", "message":"User logged in successfully", "userId":"user-123" }`	Content: "{"level":"INFO","timestamp":"2025-09-29T09:56:01+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}"
Timestamp com precisão de milissegundos: `{ "time": "2026-01-05T11:58:40,647Z", "filename": "out_data.py", "levelname": "INFO", "threadName": "MainThread" }`	Content: "{"time":"2026-01-05T11:58:40,647Z", "filename":"out_data.py","levelname": "INFO", "threadName":"MainThread"}"
Timestamp com precisão de nanossegundos: `{ "time": "2026-01-05T11:40:22,298837465Z07:00", "filename": "out_data.py", "levelname": "INFO", "threadName": "MainThread" }`	Content: "{"time": "2026-01-05T11:40:22,298837465Z07:00","filename":"out_data.py","levelname":"INFO","threadName": "MainThread"}"

Plugins de processamento de tempo

O SLS oferece os seguintes plugins de processamento de tempo.

Nome	Tipo	Descrição
análise de tempo	nativo	Analisa e padroniza o campo de tempo nos logs.
extrair tempo do log	extensão	Analisa o campo de tempo bruto e o define como o timestamp do log.

Ponto de entrada

Para usar um plugin do Logtail no processamento de logs, adicione-o ao criar ou modificar uma configuração do Logtail. Para mais informações, consulte Visão geral.

Diferenças entre plugins nativos e de extensão

Plugins nativos: implementados em C++ para maior desempenho.

Plugins de extensão: implementados em Go para um ecossistema mais rico e flexível. Use plugins de extensão quando os plugins nativos não conseguirem lidar com o formato do seu log.

Limites de desempenho dos plugins de extensão
- Plugins de extensão consomem mais recursos (principalmente CPU). Ajuste os parâmetros do LoongCollector em gerenciamento de configuração se necessário.
- Se os dados brutos excederem 5 MB/s, evite combinações complexas de plugins. Use um plugin de extensão simples e transfira o processamento adicional para a Transformação de Dados.
Limites de coleta de logs
- Plugins de extensão processam logs de texto no modo de linha. Isso significa que metadados no nível de arquivo, como __tag__:__path__ e __topic__, são armazenados em cada entrada de log.
- Adicionar um plugin de extensão afeta recursos relacionados a tags:
  - A consulta de contexto e o LiveTail ficam indisponíveis, a menos que você adicione uma configuração de agregadores.
  - O campo __topic__ é renomeado para __log_topic__. Ao adicionar a configuração de agregadores, o log contém tanto o campo __topic__ quanto o __log_topic__. Caso não precise do campo __log_topic__, use o plugin de descarte de campo para excluí-lo.
  - Campos como __tag__:__path__ perdem seu índice de campo nativo. Crie um índice para eles.

Plugin de análise de tempo (nativo)

Analisa o campo de tempo em um log e atribui o resultado ao campo __time__.

Configuração

Parâmetro	Descrição
Original Field	Campo que contém o conteúdo do log a ser analisado. Padrão: content. Nota Ao usar o plugin de análise regex, defina o campo source como time e inclua time como um campo extraído na configuração regex.
Time Format	Formato do timestamp no log. Por exemplo, se o timestamp for 10/Sep/2023:12:36:49, o formato de tempo correspondente será %d/%b/%Y:%H:%M:%S.
Time Zone	Fuso horário do timestamp no log. Se deixado em branco, o plugin usa o fuso horário da máquina onde o Logtail está em execução.

Por padrão, o Simple Log Service processa timestamps com precisão de segundos. Basta configurar o formato de tempo até os segundos, podendo omitir unidades menores como milissegundos ou microssegundos. Para manter a precisão de milissegundos, microssegundos ou nanossegundos, ative a precisão de nanossegundos conforme mostrado abaixo. Coleta de logs com suporte a timestamps em nanossegundos.

Log bruto

Configuração do plugin de análise de tempo

Formato de tempo

{
  "time": "2026-01-05T11:40:22,298837465Z07:00",
  "filename": "out_data.py",
  "levelname": "INFO",
  "threadName": "MainThread"
}

%Y-%m-%dT%H:%M:%S,%f

Para ativar a precisão de nanossegundos:

Na página de configuração do Logtail, acesse Global Configurations > Other Global Configurations, ative Advanced Parameters e insira:

{
  "EnableTimestampNanosecond": true
}

Ative também EnableTimestampNanosecond ao usar plugins de extensão para analisar timestamps com precisão de nanossegundos ou milissegundos.

Plugin extrator de tempo de log

Use processor_gotime ou processor_strptime para analisar o campo de tempo em logs brutos.

Nota

Para preservar a precisão sub-segundo, consulte Coleta de logs com suporte a timestamps em nanossegundos.

Formato de tempo Go (processor_gotime)

O plugin processor_gotime analisa campos de tempo usando o formato de tempo Go e pode definir o resultado como o tempo do log no SLS.

Importante

O Logtail 0.16.28 e versões posteriores suportam o plugin processor_gotime.
Configuração baseada em formulário: disponível ao coletar logs de texto e saída padrão de contêineres.
Configuração JSON: não disponível ao coletar logs de texto.

Configuração por formulário

Parâmetros

Defina Processor Type como Extract Log Time (Go Time Format).

Parâmetros:

Parâmetro	Descrição
Original Time Field	Nome do campo que contém o tempo a ser analisado.
Original Time Format	String de formato de tempo Go para o campo de origem.
Original Time Zone	Fuso horário do tempo de origem. Se você selecionar System Time Zone, o Logtail usa o fuso horário do host ou contêiner.
New Time Field	Nome do campo para armazenar o tempo analisado e formatado. Não é possível definir este parâmetro como `__time__`.
New Time Format	String de formato de tempo Go para o campo de destino.
Custom New Time Zone	Fuso horário para o campo de tempo de destino. Se você selecionar System Time Zone, o Logtail usa o fuso horário do host ou contêiner.
Advanced parameters > Use as Log Time	Define se o tempo analisado deve ser usado como tempo do log.
Advanced parameters > Retain Original Field	Define se o campo de origem deve ser mantido no log processado.
Advanced parameters > Report error when source field is missing	Define se um erro deve ser relatado caso o campo de origem esteja ausente no log bruto.
Advanced parameters > Report error on extraction failure	Define se um erro deve ser relatado se a extração de tempo falhar.

Exemplo
Analisa o campo s_key no formato 2006-01-02 15:04:05 (UTC+8), converte para 2006/01/02 15:04:05 (UTC+9), armazena o resultado em d_key e o define como tempo do log.
- Log bruto
```
"s_key":"2022-07-05 19:28:01"
```
- Configuração do plugin Logtail
- Resultado
```
"s_key":"2022-07-05 19:28:01"
"d_key":"2022/07/05 20:28:01"
```

Configuração JSON

Parâmetros

Defina type como processor_gotime. Parâmetros no objeto detail:

Parâmetro	Tipo	Obrigatório	Descrição
SourceKey	String	Sim	Nome do campo que contém o tempo a ser analisado.
SourceFormat	String	Sim	String de formato de tempo Go para o campo de origem.
SourceLocation	Int	Sim	Deslocamento UTC em horas para o fuso horário de origem. Por exemplo, use 8 para UTC+8. Se deixar este parâmetro vazio, o Logtail usa o fuso horário do host ou contêiner.
DestKey	String	Sim	Nome do campo para armazenar o tempo analisado e formatado. Não é possível definir este parâmetro como `__time__`.
DestFormat	String	Sim	String de formato de tempo Go para o campo de destino.
DestLocation	Int	Não	Deslocamento UTC em horas para o fuso horário de destino. Se deixar este parâmetro vazio, o Logtail usa o fuso horário do host ou contêiner.
SetTime	Boolean	Não	Define se o tempo analisado deve ser usado como tempo do log. `true` (padrão): usa o tempo analisado como tempo do log. `false`: não usa o tempo analisado como tempo do log.
KeepSource	Boolean	Não	Define se o campo de origem deve ser mantido no log processado. `true` (padrão): mantém o campo de origem. `false`: descarta o campo de origem.
NoKeyError	Boolean	Não	Define se um erro deve ser relatado caso o campo de origem esteja ausente no log bruto. `true` (padrão): relata um erro. `false`: não relata erro.
AlarmIfFail	Boolean	Não	Define se um erro deve ser relatado se a extração de tempo falhar. `true` (padrão): relata um erro. `false`: não relata erro.

Exemplo

Analisa o campo s_key no formato 2006-01-02 15:04:05 (UTC+8), converte para 2006/01/02 15:04:05 (UTC+9), armazena o resultado em d_key e o define como tempo do log.

Log bruto
```
"s_key":"2019-07-05 19:28:01"
```

Configuração do plugin Logtail

{
  "processors":[
    {
      "type":"processor_gotime",
      "detail": {
        "SourceKey": "s_key",
        "SourceFormat":"2006-01-02 15:04:05",
        "SourceLocation":8,
        "DestKey":"d_key",
        "DestFormat":"2006/01/02 15:04:05",
        "DestLocation":9,
        "SetTime": true,
        "KeepSource": true,
        "NoKeyError": true,
        "AlarmIfFail": true
      }
    }
  ]
}

Resultado

"s_key":"2019-07-05 19:28:01"
"d_key":"2019/07/05 20:28:01"

Formato de tempo Strptime (processor_strptime)

O plugin processor_strptime analisa campos de tempo usando o formato strptime do Linux e pode definir o resultado como o tempo do log.

Importante

O plugin processor_strptime está disponível no Logtail 0.16.28 e versões posteriores.

Formulário

Parâmetros

Defina processor type como Extract Log Time (strptime Time Format).

Parâmetro	Descrição
Original Field	Nome do campo de origem.
Original Time Format	Formato do tempo de origem.
Retain Original Field	Mantém o campo de origem no log processado.
Report Extraction Failure Error	Gera um alerta se a extração de tempo falhar.
Use Time Offset	Permite definir um deslocamento de tempo personalizado em segundos.
Time Offset (Unit: Seconds)	Deslocamento de tempo em segundos. Por exemplo, 28800 indica UTC+8 e -3600 indica UTC-1.

Exemplo de configuração
Analisa um tempo no formato %Y/%m/%d %H:%M:%S do campo log_time e o define como tempo do log. Assume que o fuso horário do host é UTC+8.
- Log bruto
```
"log_time":"2016/01/02 12:59:59"
```
- Configuração do plugin Logtail
- Resultado do processamento
```
"log_time":"2016/01/02 12:59:59"
Log.Time = 1451710799
```

Expressões de tempo comuns

Nota

O plugin processor_strptime suporta o especificador de formato %f, que representa a parte fracionária de um segundo com precisão de até nanossegundos.

Exemplo	Expressão de tempo
2016/01/02 12:59:59	%Y/%m/%d %H:%M:%S
2016/01/02 12:59:59.1	%Y/%m/%d %H:%M:%S.%f
2016/01/02 12:59:59.987654321 +0700 (UTC)	%Y/%m/%d %H:%M:%S.%f %z (%Z)
2016/Jan/02 12:59:59,123456	%Y/%b/%d %H:%M:%S,%f
2019-07-15T04:16:47.123Z	%Y-%m-%dT%H:%M:%S.%f

JSON

Parâmetros

Defina type como processor_strptime. Parâmetros no objeto detail:

Parâmetro	Tipo	Obrigatório	Descrição
SourceKey	String	Sim	Nome do campo de origem.
Format	String	Sim	Formato do tempo de origem.
AdjustUTCOffset	Boolean	Não	Define se o fuso horário deve ser ajustado. true: ajusta o fuso horário. false (padrão): não ajusta o fuso horário.
UTCOffset	Int	Não	Deslocamento do fuso horário em segundos. Esta configuração aplica-se apenas quando AdjustUTCOffset é true.
AlarmIfFail	Boolean	Não	Define se um alerta deve ser gerado caso o plugin falhe ao extrair o tempo do log. true (padrão): gera um alerta. false: não gera alerta.
KeepSource	Boolean	Não	Define se o campo de origem deve ser mantido no log processado. true (padrão): mantém o campo de origem. false: descarta o campo de origem.

Exemplos

Analisa um tempo no formato %Y/%m/%d %H:%M:%S do campo log_time e o define como tempo do log. O Logtail usa o fuso horário da máquina host.

Exemplo 1: considere o fuso horário UTC+8.

Log bruto
```
"log_time":"2016/01/02 12:59:59"
```

Configuração do plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S"
      }
    }
  ]
}

Resultado do processamento

"log_time":"2016/01/02 12:59:59"
Log.Time = 1451710799

Exemplo 2: considere o fuso horário UTC+7.

Log bruto
```
"log_time":"2016/01/02 12:59:59"
```

Configuração do plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S",
        "AdjustUTCOffset": true,
        "UTCOffset": 25200
      }
    }
  ]
}

Resultado do processamento

"log_time":"2016/01/02 12:59:59"
Log.Time = 1451714399

Exemplo 3: considere o fuso horário UTC+7.

Log bruto
```
"log_time":"2016/01/02 12:59:59.123"
```

Configuração do plugin Logtail

{
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S.%f"
      }
    }
  ]
}

Resultado do processamento

"log_time":"2016/01/02 12:59:59.123"
Log.Time = 1451714399

Expressões de tempo comuns

Nota

O plugin processor_strptime suporta o especificador de formato %f, que representa a parte fracionária de um segundo com precisão de até nanossegundos.

Exemplo	Expressão de tempo
2016/01/02 12:59:59	%Y/%m/%d %H:%M:%S
2016/01/02 12:59:59.1	%Y/%m/%d %H:%M:%S.%f
2016/01/02 12:59:59.987654321 +0700 (UTC)	%Y/%m/%d %H:%M:%S.%f %z (%Z)
2016/Jan/02 12:59:59,123456	%Y/%b/%d %H:%M:%S,%f
2019-07-15T04:16:47.123Z	%Y-%m-%dT%H:%M:%S.%f

Formatos de tempo de log

Para formatos de tempo do processor_gotime, consulte https://pkg.go.dev/time#pkg-constants. O plugin nativo processor_parse_timestamp_native e o plugin de extensão processor_strptime suportam os formatos listados abaixo.

Nota

Em um servidor Linux, o Logtail suporta todos os formatos de tempo fornecidos pela função strftime.

Formato	Descrição	Exemplo
%a	Nome abreviado do dia da semana.	Fri
%A	Nome completo do dia da semana.	Friday
%b	Nome abreviado do mês.	Jan
%B	Nome completo do mês.	January
%d	Dia do mês como número decimal preenchido com zero (01-31).	07, 31
%f	Segundos fracionários, como milissegundos, microssegundos ou nanossegundos.	123
%h	Nome abreviado do mês. Igual a %b.	Jan
%H	Hora (relógio de 24 horas) como número decimal preenchido com zero (00-23).	22
%I	Hora (relógio de 12 horas) como número decimal preenchido com zero (01-12).	11
%m	Mês como número decimal preenchido com zero (01-12).	08
%M	Minuto como número decimal preenchido com zero (00-59).	59
%n	Uma quebra de linha.	quebra de linha
%p	AM ou PM.	AM, PM
%r	Tempo no formato de 12 horas. Igual a %I:%M:%S %p.	11:59:59 AM
%R	Hora e minuto no formato de 24 horas. Igual a %H:%M.	23:59
%S	Segundo como número decimal preenchido com zero (00-59).	59
%t	Um caractere de tabulação.	Nenhum
%y	Ano sem século como número decimal preenchido com zero (00-99).	04, 98
%Y	Ano com século como número decimal.	2004, 1998
%C	Século como número decimal (00-99).	16
%e	Dia do mês como número decimal preenchido com espaço (1-31).	7, 31
%j	Dia do ano como número decimal preenchido com zero (001-366).	365
%u	Dia da semana como número decimal, onde segunda-feira é 1 (1-7).	2
%U	Número da semana no ano, com domingo como primeiro dia da semana (00-53).	23
%V	Número da semana ISO 8601 no ano, com segunda-feira como primeiro dia da semana (01-53). A semana 1 é a primeira semana do ano que contém pelo menos quatro dias.	24
%w	Dia da semana como número decimal, onde domingo é 0 (0-6).	5
%W	Número da semana no ano, com segunda-feira como primeiro dia da semana (00-53).	23
%c	Representação de data e hora específica do local.	Tue Nov 20 14:12:58 2020
%x	Representação de data específica do local.	Tue Nov 20 2020
%X	Representação de hora específica do local.	11:59:59
%s	Timestamp Unix.	1476187251

Exemplos

Padrões de tempo comuns e suas expressões correspondentes:

Exemplo	Expressão	Padrão
2017-12-11 15:05:07	%Y-%m-%d %H:%M:%S	Personalizado
[2017-12-11 15:05:07.012]	[%Y-%m-%d %H:%M:%S.%f]	Personalizado
2017-12-11 15:05:07.123	%Y-%m-%d %H:%M:%S.%f	Personalizado
02 Jan 06 15:04 MST	%d %b %y %H:%M %Z	RFC822
02 Jan 06 15:04 -0700	%d %b %y %H:%M %z	RFC822Z
Monday, 02-Jan-06 15:04:05 MST	%A, %d-%b-%y %H:%M:%S %Z	RFC850
Mon, 02 Jan 2006 15:04:05 MST	%a, %d %b %Y %H:%M:%S %Z	RFC1123
2006-01-02T15:04:05Z07:00	%Y-%m-%dT%H:%M:%S%z	RFC3339
2006-01-02T15:04:05.999999999Z07:00	%Y-%m-%dT%H:%M:%S.%f%z	RFC3339Nano
1637843406	%s	Personalizado
1637843406123	%s	Personalizado (o Simple Log Service trunca timestamps para precisão de segundos)

Documentos relacionados

API de configuração de pipeline do Logtail:
Configuração de plugin via console:
- Coletar logs de texto de hosts
- Coletar logs de contêiner de um cluster usando o console (saída padrão/arquivo)
Coletar logs de contêiner de um cluster usando CRDs do Kubernetes (saída padrão/arquivo)