O ingest processor processa os dados de log antes da gravação em um Logstore. Utilize-o para filtrar informações, extrair ou adicionar campos e mascarar dados confidenciais.
Como funciona
Os logs coletados por meio do Logtail, do Simple Log Service SDK ou do web tracking passam pelo ingest processor antes de serem gravados em um Logstore. O processamento ocorre internamente no Simple Log Service e não consome recursos do lado do cliente.
-
O ingest processor, o log query and analysis e o data transformation oferecem suporte ao SPL syntax. ## Casos de uso ## Limitações ## Faturamento O faturamento do ingest processor baseia-se nos recursos de computação consumidos durante o processamento de dados. A unidade de cobrança é a OCU.
Extração de campos: extraia campos dos logs brutos utilizando expressões regulares, pares chave-valor ou análise JSON.
Extensão de campos: inclua novos campos nos logs brutos.
Exclusão de campos: remova campos específicos dos logs brutos.
Mascaramento de dados: aplique máscara a informações confidenciais presentes nos logs brutos.
Filtragem de dados: descarte entradas de log desnecessárias.
Item
Limite
Ingest processors por projeto
Até 100 por projeto.
Comprimento da instrução SPL
Até 4.000 caracteres por instrução SPL.
Comandos SPL compatíveis
Somente comandos em nível de linha. Não há suporte para agregação nem para lógica condicional.
Ingest processors por Logstore
-
Um ingest processor por Logstore.
-
Todos os dados gravados em um Logstore associado passam pelo ingest processor.
Tempo para aplicação das alterações
Alterações na configuração, exclusões ou atualizações na associação do Logstore entram em vigor em até um minuto.
A Observability Capacity Unit (OCU) é uma nova unidade de faturamento introduzida pelo Alibaba cloud-native Observability. O consumo de OCU é calculado automaticamente com base no uso de recursos por hora .
A cobrança dos recursos otimizados para computação do SLS está migrando para um modelo baseado em OCU, que fatura de acordo com o consumo real de recursos computacionais. Em cenários de cpu, uma OCU equivale a aproximadamente 0,5 núcleos de cpu, 2 GB de memória e 3.000 IOPS. O SLS calcula valores distintos de OCU conforme o uso de núcleos de cpu, memória e IOPS. O maior desses três valores define a contagem final de OCU para o faturamento.
Considere que sua tarefa de computação utilize 1 núcleo de cpu, 2 GB de memória e 3.000 IOPS. Essa tarefa consome 2 OCUs. Em um ciclo de medição de uma hora, o consumo médio de OCU pode ser estimado da seguinte forma: o processamento de 1 GB de dados com um ingest processor consome aproximadamente 1/3 de uma OCU; o processamento de 1 GB de dados com a transformação de dados (nova versão) consome cerca de 1/3 de uma OCU; e o processamento de 1 GB de dados com consumo baseado em regras consome aproximadamente 0,3 OCUs.
Para consultar a tabela de preços da OCU, acesse Billable items of the pay-by-ingested-data mode e Billable items of the pay-by-feature billing model.