O SLS permite consumir dados em tempo real por meio de SDKs, com acesso de leitura sequencial aos dados de log semelhante ao Kafka.
Consumo em tempo real
O consumo em tempo real permite que softwares de terceiros, aplicativos multilíngues, serviços de nuvem e frameworks de computação de fluxo consumam dados do SLS instantaneamente via SDKs. Esse recurso oferece acesso de leitura sequencial a todo o conjunto de dados, de forma similar ao Kafka. Durante o consumo, utilize instruções SPL para processar os dados e obter os resultados correspondentes no SLS. Consumir logs com base em regras.

Tanto o consumo em tempo real quanto a consulta e análise leem dados, mas atendem a propósitos diferentes. Diferenças entre consumo de logs e consulta.
Casos de uso
O consumo em tempo real é ideal para cenários de computação de fluxo e análises em tempo real que exigem entrega de dados com baixa latência, geralmente na casa dos segundos. Configure um período de retenção de dados personalizado conforme necessário.
Benefícios
Principais vantagens do consumo em tempo real:
-
Dados centralizados
O SLS centraliza dados de várias máquinas para viabilizar o consumo em tempo real via SDK.
-
Gerenciamento categorizado
A categorização de dados no SLS permite que aplicativos e serviços de nuvem consumam tipos específicos de dados em projetos distintos.
Faturamento
Se o Logstore utilizar o modelo de faturamento por dados ingeridos, o consumo em tempo real será gratuito. Contudo, extrair dados por um endpoint público do SLS gera cobrança de tráfego de leitura pela internet, calculada com base no tamanho dos dados compactados. Itens faturáveis do modo de faturamento por dados ingeridos. Gerencie um Logstore.
Caso o Logstore use o modelo de faturamento por recurso, o consumo em tempo real incorrerá em cobranças de tráfego de leitura/escrita e solicitações. Itens faturáveis do modo de faturamento por recurso.
Consumidores
O SLS oferece suporte aos seguintes consumidores para consumo em tempo real.
|
Tipo |
Consumidor |
Descrição |
|
Software de terceiros |
Flume |
Consuma dados do SLS em tempo real com o Flume. Consumir dados usando o Flume. |
|
Logstash |
Consuma dados do SLS em tempo real com o Logstash. Consumir dados usando o Logstash. |
|
|
QRadar |
Sistemas SIEM como o QRadar podem consumir dados do SLS em tempo real via HTTPS ou Syslog. Enviar logs para um sistema SIEM. Enviar logs para um sistema SIEM via Syslog. |
|
|
Aplicativos em várias linguagens de programação |
Aplicativos (protocolo de consumo do SLS) |
Aplicativos Java, Python e Go podem consumir dados do SLS como consumidores individuais ou grupos de consumidores. Consumir dados usando uma API. Consumir dados usando um grupo de consumidores. |
|
Frameworks de computação de fluxo |
Flink |
Consuma dados do SLS em tempo real com o Flink. Consumir dados usando o Flink. |
|
Spark |
Consuma dados do SLS em tempo real com o Spark Streaming. Consumir dados usando o Spark Streaming. |
|
|
Serviços de nuvem |
Function Compute |
Consuma dados do SLS em tempo real com o Function Compute. Consumir dados de log usando o Function Compute. |
|
Blink |
Consuma dados do SLS em tempo real com o Realtime Compute for Apache Flink. Consumir dados usando o Realtime Compute for Apache Flink. |