Simple Log Service:Tipos de log de serviço

Type

Overview

Logstore name

Details

Description

Logs detalhados

Registra operações em todos os recursos do projeto, incluindo criação, modificação, atualização, exclusão, leitura e escrita.

internal-operation_log

logs de operação

Logs detalhados de todas as solicitações e operações de API, incluindo requisições de clientes como console, grupos de consumidores e SDKs.

Logs importantes

Inclui logs de atraso de grupo de consumidores no nível do Logstore, além de logs de erro, heartbeat e estatísticas do Logtail.

internal-diagnostic_log

logs de atraso de grupo de consumidores

Os logs de atraso de grupo de consumidores são gerados a cada 2 minutos. Para consultá-los, especifique __topic__: consumergroup_log na instrução de consulta.

Logs de alerta do Logtail

Registra erros do Logtail.

Um log é gerado a cada 30 segundos. Se o mesmo tipo de erro ocorrer várias vezes nesse período, o sistema registra apenas o total de ocorrências e uma mensagem de erro aleatória. Para consultar logs de alerta do Logtail, especifique __topic__: logtail_alarm na instrução de consulta.

Logs de coleta do Logtail

Registra estatísticas de coleta do Logtail.

Um log é gerado a cada 10 minutos. Para consultar logs de coleta do Logtail, especifique __topic__: logtail_profile na instrução de consulta.

Logs de status do Logtail

Registra logs periódicos de status do Logtail.

Um log é gerado a cada minuto. Para consultar logs de status do Logtail, especifique __topic__: logtail_status na instrução de consulta.

Logs operacionais

Registra métricas e logs operacionais de transformação de dados, Scheduled SQL, importação de dados e tarefas de envio de dados em um projeto.

internal-diagnostic_log

Logs operacionais do Scheduled SQL

Um log é gerado para cada instância do Scheduled SQL após a conclusão.

Para consultar logs operacionais do Scheduled SQL, especifique __topic__: scheduled_sql_alert na instrução de consulta.

Logs operacionais para tarefas de transformação de dados, importação de dados e envio de dados

Os logs são gerados a cada minuto, mas somente se a fonte de dados da tarefa contiver dados.

Category

Request method

Operação de leitura

Logs de operação de leitura são gerados ao chamar as seguintes operações de API:

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

Operação de escrita

Logs de operação de escrita são gerados ao chamar as seguintes operações de API:

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

Operação de recurso

Todas as outras operações de API geram logs de operação de recurso.

Por exemplo, CreateProject e DeleteProject.

Parameter

Description

Example

Logstore

Nome do Logstore.

Logstore-1

config_name

Nome da configuração do Logtail. O nome é globalmente único e formatado como ##ConfigVersion##ProjectName$ConfigName.

##1.0##project-1$LogStore-1

error_line

Entrada de log bruta que causou o erro.

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

ID do dispositivo do arquivo de log.

1​23

file_inode

Inode do arquivo de log.

124

file_name

Caminho completo do arquivo de log ou o valor logstore_statistics.

/abc/file_1

file_size

Tamanho do arquivo de log, em bytes.

12345

history_data_failures

Número acumulado de falhas no processamento de dados.

0

last_read_time

Timestamp UNIX da última operação de leitura dentro da janela de tempo.

1525346677

Project

Nome do Project.

project-1

logtail_version

Versão do Logtail.

0.14.2

os

Sistema operacional.

Windows

parse_failures

Número de linhas com falha na análise dentro da janela de tempo.

12

read_avg_delay

Diferença média entre o tamanho do arquivo e o deslocamento de leitura para cada operação de leitura dentro da janela de tempo.

65

read_count

Número de operações de leitura dentro da janela de tempo.

10

read_offset

Deslocamento de leitura atual no arquivo, em bytes.

12345

regex_match_failures

Número de falhas na correspondência de expressão regular.

1

send_failures

Número de operações de envio com falha dentro da janela de tempo.

12

source_ip

Endereço IP do servidor onde o Logtail está instalado.

47.100..

succeed_lines

Número de linhas de log processadas com sucesso.

123

time_format_failures

Número de falhas na correspondência de formato de tempo.

122

total_bytes

Total de bytes lidos.

12345

Parameter

Description

Example

send_block_flag

Indica se a fila de envio está bloqueada no final da janela de tempo.

false

send_discard_error

Número de pacotes descartados dentro da janela de tempo devido a erros de dados ou permissões insuficientes.

0

send_network_error

Número de pacotes com falha no envio dentro da janela de tempo devido a erros de rede.

12

send_queue_size

Número de pacotes não enviados na fila de envio no final da janela de tempo.

3

send_quota_error

Número de pacotes com falha no envio dentro da janela de tempo porque a cota foi excedida.

0

send_success_count

Número de pacotes enviados com sucesso dentro da janela de tempo.

12345

sender_valid_flag

Indica se o sinalizador de envio para o Logstore é válido no final da janela de tempo. Valores válidos:

• true: O sinalizador é válido.

• false: O sinalizador é inválido, o que pode ser causado por erros de rede ou de cota.

true

max_send_success_time

Timestamp UNIX da última operação de envio bem-sucedida dentro da janela de tempo.

1525342763

max_unsend_time

Timestamp UNIX do pacote mais recente com falha no envio da fila de envio dentro da janela de tempo. O valor é 0 se a fila estiver vazia.

1525342764

min_unsend_time

Timestamp UNIX do pacote mais antigo com falha no envio da fila de envio dentro da janela de tempo. O valor é 0 se a fila estiver vazia.

1525342764

Parameter

Description

Example

config_count

Número de configurações do Logtail.

​1

config_get_last_time

Última vez em que a configuração do Logtail foi obtida.

2021-07-20 16:19:22

config_update_count

Número de atualizações da configuração do Logtail desde a inicialização do Logtail.

​1

config_update_item_count

Total de itens de configuração do Logtail atualizados desde a inicialização do Logtail.

​1

config_update_last_time

Timestamp da última atualização da configuração do Logtail.

2021-07-20 16:18:42

env_config

Indica se variáveis de ambiente são usadas para criar a configuração do Logtail.

false

event_tps

Número de eventos por segundo (TPS).

1​

last_read_event_time

Timestamp do último evento lido.

2021-07-20 16:18:42

last_send_time

Timestamp do último envio de dados.

2021-07-20 16:18:42

multi_config

Indica se o mesmo arquivo está sendo coletado por múltiplas configurações do Logtail.

false

net_err_stat

Número de erros de rede ocorridos nos últimos 1, 5 e 15 minutos.

0,0,0

open_fd

Número de descritores de arquivo atualmente abertos.

​1

plugin_enabled

Indica se a funcionalidade de plugin está ativada.

• true: Funcionalidade de plugin ativada.

• false: Funcionalidade de plugin desativada.

false

poll_modify_size

Número de arquivos monitorados quanto a eventos de modificação.

​1

polling_dir_cache

Número de diretórios no cache de polling.

​1

polling_file_cache

Número de arquivos no cache de polling.

​1

process_bytes_ps

Volume de log processado por segundo, em bytes.

​1000

process_lines_ps

Número de linhas de log processadas por segundo.

​1000

process_queue_full

Número de filas de processamento cheias.

​1

process_queue_total

Número de filas de processamento.

​10

process_tps

Número de transações de processamento por segundo (TPS).

​0

reader_count

Número de arquivos atualmente sendo lidos.

​1

region

Região onde a máquina host está localizada.

​cn-hangzhou

register_handler

Número de diretórios registrados para monitoramento.

​1

send_bytes_ps

Volume de logs brutos enviados por segundo, em bytes.

​11111

send_lines_ps

Número de linhas de log enviadas por segundo.

1000​

send_net_bytes_ps

Volume de tráfego de rede enviado por segundo, em bytes.

1000​

send_queue_full

Número de filas de envio cheias.

​1

send_queue_total

Número de filas de envio.

​12

send_request_concurrency

Número máximo de solicitações de envio simultâneas.

10

send_tps

Número de transações de envio por segundo (TPS).

​0,075

sender_invalid

Número de filas de envio em estado de erro.

​0

start_time

Hora de inicialização do processo Logtail.

2021-07-20 16:19:22

used_sending_concurrency

Número atual de solicitações de envio ativas.

0

Parameter

Description

Example

action

Operação realizada pela tarefa. Valores válidos:

• ingest: Lê dados da fonte de dados.

• deliver: Grava dados no destino.

ingest

connector

Tipo da fonte ou destino de dados.

• sls: Simple Log Service

• oss: Object Storage Service (OSS)

• maxcompute: MaxCompute

• cms: CloudMonitor

• cloudtrail: AWS CloudTrail

• kafka: Apache Kafka

• elasticsearch: Elasticsearch

• mysql: MySQL (open source, do Alibaba Cloud ou de terceiros)

• mssql: SQL Server (open source, do Alibaba Cloud ou de terceiros)

oss

instance

Nome da instância de origem ou destino.

my-oss-bucket

task_id

ID da tarefa.

1669277

task_name

Nome da tarefa.

1652765276578_task_0

task_type

Tipo da tarefa. O valor é sempre CONNECTOR.

CONNECTOR

Parameter

Description

Example

state

Status operacional da tarefa.

• 0: Normal. A tarefa está em execução conforme esperado.

• 1: Erro. Ocorreu um erro que pode desacelerar a tarefa.

• 2: Falha. A tarefa falhou e está bloqueada.

0

error

Mensagem de erro da tarefa.

Este campo está presente apenas quando ocorre um erro.

fail to pull logs, unauthorized

lags

Progresso da tarefa.

O campo lags está presente nos logs apenas para tarefas de leitura de dados, ou seja, quando o valor do campo action é ingest. O valor deste campo depende do tipo de fonte de dados (campo connector).

• Quando o campo connector é sls, o campo lags indica o atraso de consumo do Shard em segundos.

• Quando o campo connector é kafka, o valor do campo lags indica o Lag de consumo no nível do Topic.

• Quando o campo connector é cms, o campo lags especifica a latência de leitura do Cloud Monitor em segundos.

0,813

desc

Para tarefas de leitura de dados, ou seja, quando o campo action está definido como ingest, o campo desc está presente no log. O valor deste campo depende do tipo de fonte de dados (campo connector).

• Quando o campo connector é sls, o valor do campo desc está em segundos (s).

• Quando o campo connector é Kafka, o valor do campo desc é a descrição do lag.

• Quando o campo connector é cms, o valor do campo desc está em segundos.

s

events

Número de entradas de dados processadas no intervalo de relatório.

13245

failed

Número de entradas de dados com falha no processamento durante o intervalo de relatório.

3

native_bytes

Tamanho bruto dos dados processados no intervalo de relatório, em bytes.

7539125

events_bytes

Tamanho dos dados analisados processados no intervalo de relatório, em bytes.

13295475

pub_net_bytes

Tráfego de internet gerado pelos dados processados no intervalo de relatório, em bytes.

45678

req_count

Número de solicitações enviadas à fonte ou destino de dados no intervalo de relatório.

89

rep_time

Latência média de solicitação para a fonte ou destino de dados no intervalo de relatório.

38

rate_limit_hits

Número de atingimentos do limite de taxa na fonte ou destino de dados no intervalo de relatório.

1

extras

Informações adicionais. Este campo é incluído apenas se houver um valor presente.

O valor deste campo depende do tipo de fonte de dados (campo connector).

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}