Simple Log Service:Visão geral do consumo baseado em regras

Como funciona

O consumo baseado em regras aplica instruções SPL no lado do servidor para pré-processar dados de log semiestruturados — como filtragem de linhas, remoção de colunas, extração via regex e extração de campos JSON — e entrega dados limpos e estruturados ao cliente. Sintaxe SPL.

Casos de uso

O consumo baseado em regras é ideal para cenários de computação de fluxo e em tempo real que exigem pré-processamento de dados — como filtragem de linhas, remoção de colunas ou extração via regex/JSON-path — antes do consumo. Esse recurso proporciona baixa latência, geralmente na casa dos segundos, e permite períodos personalizados de retenção de dados.

Benefícios

• Redução nos custos de tráfego de internet.

  • A filtragem no lado do servidor elimina dados desnecessários antes da transmissão e diminui o tráfego de rede.

• Economia de recursos locais de CPU e aceleração do processamento.

  • Transfira cálculos complexos para o SLS para liberar recursos locais e agilizar o fluxo de trabalho geral.

Faturamento

• Se o Logstore usar o modo de faturamento por dados ingeridos, o consumo baseado em regras será gratuito. No entanto, extrair dados por um endpoint público do SLS gera taxas de tráfego de leitura pela internet, calculadas com base no tamanho dos dados compactados. Itens faturáveis do modo de pagamento por dados ingeridos.

• Caso o Logstore use o modo de faturamento por recurso, haverá cobrança pela computação no lado do servidor. Além disso, podem ocorrer taxas de tráfego de internet ao usar um endpoint público do SLS. Itens faturáveis do modo de pagamento por recurso.

Consumidores

A tabela a seguir lista os consumidores compatíveis.

Observações de uso

• O processamento SPL no lado do servidor pode adicionar de 10 a 100 ms de latência de leitura a cada 5 MB, dependendo da complexidade da consulta e das características dos dados. Contudo, a latência de ponta a ponta — desde a extração dos dados até a conclusão da computação local — costuma ser menor.

• Erros de sintaxe SPL ou campos source ausentes podem causar falhas ou resultados incompletos. Tratamento de erros.

• O comprimento máximo de uma instrução SPL é de 4 KB.

• Os limites de leitura de shard são idênticos para o consumo baseado em regras e para o consumo regular. O tráfego de leitura é calculado com base no tamanho dos dados brutos antes do processamento SPL. Leitura e gravação de dados.

Perguntas frequentes

• Como resolver o erro ShardReadQuotaExceed durante o consumo baseado em regras?

  • Resolução:

    • Configure o cliente consumidor para aguardar e tentar novamente quando esse erro ocorrer.

    • Divida manualmente o shard para reduzir a velocidade de leitura por shard para novos dados.

• Como funciona a limitação de tráfego no consumo baseado em regras?

  • A política de limitação é a mesma do consumo regular. O tráfego é calculado com base no tamanho dos dados brutos antes do processamento SPL. Leitura e gravação de dados.

    • Por exemplo, se os dados brutos compactados tiverem 100 MB e a instrução SPL * | where method = 'POST' retornar 20 MB ao cliente, o tráfego de leitura ainda será calculado com base nos 100 MB originais.

• Por que o tráfego de saída aparece baixo no gráfico Tráfego/min na página Monitoramento do projeto após ativar o consumo baseado em regras?

  • O gráfico Tráfego/min exibe o tamanho dos dados após o processamento SPL. Se a instrução SPL filtrar linhas ou remover colunas, o fluxo de saída será inferior ao fluxo de entrada.