SLS permet la consommation de données en temps réel via des SDK, offrant un accès en lecture séquentielle aux données de journal, similaire à Kafka.
Consommation en temps réel
La consommation en temps réel permet aux logiciels tiers, aux applications multilingues, aux services cloud et aux frameworks de calcul de flux de consommer les données SLS en temps réel via des SDK. Elle offre un accès en lecture séquentielle à l'ensemble des données, à l'instar de Kafka. Utilisez des instructions SPL pour traiter les données lors de la consommation ; SLS renvoie alors les résultats. Consommer des journaux selon des règles.
La consommation en temps réel et l'analyse par requête lisent toutes deux des données, mais répondent à des objectifs différents. Différences entre la consommation de journaux et la requête.
Cas d'utilisation
La consommation en temps réel convient aux scénarios de calcul de flux et d'analyse en temps réel nécessitant une livraison des données à faible latence, généralement de l'ordre de quelques secondes. Configurez une période de rétention des données personnalisée.
Avantages
Voici les principaux avantages de la consommation en temps réel :
-
Centralisation des données
SLS centralise les données provenant de plusieurs machines pour permettre une consommation en temps réel basée sur des SDK.
-
Gestion catégorisée
La catégorisation des données SLS permet à différentes applications et services cloud de consommer des types de données spécifiques depuis des projets distincts.
Facturation
Si votre Logstore utilise le mode de facturation « paiement selon les données ingérées », la consommation en temps réel est gratuite. Toutefois, l'extraction de données depuis un endpoint SLS public entraîne des frais de trafic Internet en lecture, calculés sur la base de la taille des données compressées. Éléments facturables pour le mode de facturation « paiement selon les données ingérées ». Gérer un Logstore.
Si votre Logstore utilise le mode de facturation « paiement selon les fonctionnalités », la consommation en temps réel engendre des frais pour le trafic en lecture/écriture et pour les requêtes. Éléments facturables pour le mode de facturation « paiement selon les fonctionnalités ».
Consommateurs
SLS prend en charge les consommateurs suivants pour la consommation en temps réel.
|
Type |
Consumer |
Description |
|
Logiciels tiers |
Flume |
Consommez les données SLS en temps réel avec Flume. Consommer des données à l'aide de Flume. |
|
Logstash |
Consommez les données SLS en temps réel avec Logstash. Consommer des données à l'aide de Logstash. |
|
|
QRadar |
Les systèmes SIEM tels que QRadar peuvent consommer les données SLS en temps réel via HTTPS ou Syslog. Transférer des journaux vers un système SIEM. Transférer des journaux vers un système SIEM via Syslog. |
|
|
Applications dans divers langages de programmation |
Applications (protocole de consommation SLS) |
Les applications Java, Python et Go peuvent consommer les données SLS en tant que consommateurs individuels ou au sein de groupes de consommateurs. Consommer des données à l'aide d'une API. Consommer des données à l'aide d'un groupe de consommateurs. |
|
Frameworks de calcul de flux |
Flink |
Consommez les données SLS en temps réel avec Flink. Consommer des données à l'aide de Flink. |
|
Spark |
Consommez les données SLS en temps réel avec Spark Streaming. Consommer des données à l'aide de Spark Streaming. |
|
|
Services cloud |
Function Compute |
Consommez les données SLS en temps réel avec Function Compute. Consommer des données de journal à l'aide de Function Compute. |
|
Blink |
Consommez les données SLS en temps réel avec Realtime Compute for Apache Flink. Consommer des données à l'aide de Realtime Compute for Apache Flink. |