O Simple Log Service (SLS) oferece Consume Processors para consumo de dados em tempo real. Use SPL para processar e filtrar dados no servidor antes que cheguem aos consumidores, reduzindo custos de transferência e o uso de recursos locais.
Como funciona
Um Consume Processor usa SPL para processar dados do SLS em tempo real, com suporte a softwares de terceiros, aplicações multilíngues, produtos em nuvem e frameworks de computação em fluxo. A SPL é uma linguagem de alto desempenho projetada para logs semiestruturados que permite filtragem de linhas, recorte de colunas e extração baseada em expressões regulares no servidor. Após o processamento, o cliente recebe os dados em formato estruturado. Para mais informações sobre a sintaxe SPL, consulte Sintaxe SPL.
Benefícios
-
Reduz os custos de transferência de dados para consumo via internet.
Por exemplo, ao gravar logs no SLS e consumi-los pela internet, talvez seja necessário filtrá-los antes da distribuição para sistemas internos. Com o consumo baseado em SPL, filtre os logs diretamente no SLS para evitar que grandes volumes de dados irrelevantes cheguem aos consumidores.
-
Economiza recursos locais de CPU e acelera a computação.
Caso você grave logs no SLS e os consuma em uma máquina local para computação, o consumo baseado em SPL transfere o processamento para o SLS, diminuindo o uso de recursos locais.
Regras de faturamento
Se o seu Logstore usar o modo de faturamento por dados gravados, o uso de um Consume Processor não gera taxas extras. A cobrança ocorre apenas sobre a transferência de dados de saída ao extrair dados de um endpoint público do Simple Log Service (SLS). O custo é calculado com base na quantidade de dados compactados. Para mais detalhes, consulte Itens de faturamento do modo por dados gravados.
Quando o Logstore usa o modo de faturamento por recurso, a utilização de um Consume Processor incorre em taxas de computação no servidor. Também pode haver cobrança de transferência de dados de saída se você usar um endpoint público. Para mais informações, veja Itens de faturamento do modo por recurso.
Destinos de consumo
A tabela a seguir lista os destinos de consumo compatíveis com Consume Processors.
|
Tipo |
Destino |
Descrição |
|
Aplicações multilíngues |
Aplicações multilíngues |
Aplicações desenvolvidas em linguagens como Java, Python e Go podem consumir dados do SLS usando grupos de consumidores baseados em Consume Processor. Para mais detalhes, consulte Consumir dados usando uma API e Consumir logs usando um grupo de consumidores. Melhor prática: Consumir logs com base em um Consume Processor (SPL) usando um SDK |
|
Produtos em nuvem |
Alibaba Cloud Flink |
Use a computação em tempo real do Alibaba Cloud Flink para consumir dados do SLS. Para mais informações, consulte Simple Log Service (SLS). Melhores práticas: |
|
Computação em fluxo |
Kafka |
Para solicitar este recurso, abra um ticket. |
Observações de uso
Os Consume Processors executam cálculos complexos no servidor. A latência de leitura de dados no servidor pode aumentar ligeiramente dependendo da complexidade da SPL e das características dos dados. Por exemplo, processar 5 MB de dados pode adicionar de 10 ms a 100 ms de latência. No entanto, a latência geral de ponta a ponta, desde a extração dos dados até a conclusão da computação local, geralmente diminui.
Ao usar um Consume Processor, erros de sintaxe SPL ou campos de source ausentes podem causar perda de dados ou falhas no consumo. Para mais detalhes, consulte Tratamento de erros.
O comprimento máximo de uma instrução SPL na configuração de um Consume Processor é de 4 KB.
Os limites de leitura de shard para Consume Processors são idênticos aos do consumo normal em tempo real. O tráfego de leitura de shard de um Consume Processor é calculado com base no volume de dados brutos antes do processamento SPL. Para saber mais sobre os limites, veja Leitura e gravação de dados.
Limites
|
Item |
Descrição |
|
Quantidade de Consume Processors |
É possível crie no máximo 100 Consume Processors por projeto. Para solicitar uma cota maior, abra um ticket. |
|
Comprimento da instrução SPL na configuração do Consume Processor |
Cada instrução SPL não pode exceder 4.000 caracteres. |
|
Limites de instruções SPL em um Consume Processor |
Somente instruções de processamento de linhas têm suporte. Instruções para agregação, julgamento lógico ou outras operações similares não são permitidas. |
|
Prazo de vigência para atualizações ou exclusões de Consume Processor |
Atualizações ou exclusões na configuração de um Consume Processor entram em vigor dentro de um minuto. |
Perguntas frequentes
-
Como lidar com o erro ShardReadQuotaExceed ao usar um Consume Processor?
-
Esse código de erro indica que o tráfego de leitura do shard ultrapassou a cota. Para resolver, adote uma das seguintes soluções:
Se sua aplicação cliente encontrar esse erro, aguarde um período e tente novamente a operação.
Alternativamente, divida manualmente o shard. Isso reduz a velocidade de leitura de cada shard ao consumir novos dados dos shards resultantes.
-
-
Qual é a política de modelagem de tráfego para Consume Processors?
-
A política de limitação para Consume Processors segue o mesmo padrão do consumo de dados convencional. Para mais informações, consulte Leitura e gravação de dados. O tráfego de um Consume Processor é calculado com base no volume de dados brutos antes do processamento SPL.
Por exemplo, suponha que o tamanho dos dados brutos seja 100 MB (compactados). Após a filtragem pela instrução SPL
* | where method = 'POST', os dados retornados ao cliente totalizam 20 MB (compactados). O tráfego considerado para fins de limitação será calculado como 100 MB.
-
-
Por que o tráfego de saída aparece baixo no gráfico "Traffic/min" em Monitoramento do Projeto após eu usar uma regra para consumir dados?
O tráfego de saída no gráfico Traffic/Minute no Monitoramento do Projeto reflete o volume de dados após o processamento SPL, e não o volume de dados brutos. Se sua instrução SPL incluir filtragem de linhas ou recorte de colunas, o tráfego de saída exibido poderá ser baixo.