O ingest processor processa os dados de log antes da gravação em um Logstore. Use esse recurso para filtrar dados, extrair ou adicionar campos e mascarar informações sensíveis.
Como funciona
Os dados de log coletados via Logtail, Simple Log Service SDK ou web tracking passam pelo ingest processor antes da gravação em um Logstore. O processamento ocorre no Simple Log Service e não consome recursos do cliente.
O ingest processor, a consulta e análise de logs e a transformação de dados são compatíveis com a sintaxe SPL.
Casos de uso
Extração de campos: Extraia campos de logs brutos por meio de expressões regulares, pares chave-valor ou análise de JSON.
Extensão de campos: Adicione novos campos aos logs brutos.
Exclusão de campos: Remova campos específicos dos logs brutos.
Mascaramento de dados: Mascarare informações sensíveis nos logs brutos.
Filtragem de dados: Descarte entradas de log indesejadas.
Limitações
|
Item |
Limite |
|
Ingest processors por projeto |
Até 100 por projeto. |
|
Comprimento da instrução SPL |
Até 4.000 caracteres por instrução SPL. |
|
Comandos SPL compatíveis |
Apenas comandos de nível de linha. Não há suporte para agregação nem lógica condicional. |
|
Ingest processors por Logstore |
|
|
Tempo para as alterações entrarem em vigor |
Alterações de configuração, exclusões ou atualizações de associação de Logstore entram em vigor em até um minuto. |
Faturamento
A cobrança dos ingest processors é feita em OCUs, conforme os recursos de computação consumidos.
O faturamento dos recursos otimizados para computação do SLS está migrando para um modelo baseado em OCU, que cobra conforme o uso real dos recursos de computação. Em cenários de CPU, uma OCU equivale a aproximadamente 0,5 núcleo de CPU, 2 GB de memória e 3.000 IOPS. O SLS calcula valores separados de OCU com base no consumo de núcleos de CPU, memória e IOPS. O maior desses três valores determina a contagem final de OCU para faturamento.
Preços: Itens faturáveis do modo de pagamento por dados ingeridos e Itens faturáveis do modelo de faturamento por recurso.