Simple Log Service:Présentation de la transformation des données (nouvelle version)

Fonctionnement

La transformation des données (nouvelle version) traite les données de journal en temps réel via des tâches de consommation hébergées et des règles SPL. Syntaxe SPL. Présentation de la consommation standard.

Mécanisme de planification

Le planificateur démarre une ou plusieurs instances par tâche pour traiter les données simultanément. Chaque instance consomme les données d'un ou plusieurs shards du Logstore source. Le nombre d'instances s'ajuste en fonction de l'utilisation des ressources et de la progression du traitement pour une mise à l'échelle élastique. La concurrence maximale par tâche est égale au nombre de shards du Logstore source.

Instances en cours d'exécution

Sur la base des règles SPL de la tâche et des configurations du Logstore de destination, chaque instance consomme les données de journal source depuis les shards alloués, puis distribue et écrit les résultats dans le Logstore de destination. Les instances enregistrent automatiquement les points de contrôle des shards, de sorte qu'une tâche redémarrée reprend à partir du dernier point de contrôle.

Arrêt et reprise des tâches

• Arrêt automatique : une tâche avec une heure de fin configurée s'arrête après avoir traité tous les journaux antérieurs à cette heure. Sans heure de fin, la tâche s'exécute en continu. ETL.

• Traitement reprenable : après un arrêt inattendu, une tâche redémarrée reprend par défaut à partir du dernier point de contrôle de shard enregistré, garantissant ainsi la cohérence des données.

Consultation de l'état d'exécution des tâches

SLS prend en charge la surveillance des tâches de transformation des données. Observation et surveillance des tâches de transformation des données (nouvelle version).

Scénarios

La transformation des données prend en charge les scénarios suivants :

• Normalisation des données et extraction d'informations : extrayez des champs à partir de journaux au format incohérent et normalisez les formats pour produire des données structurées destinées au traitement en flux et à l'analyse entreposée de données.

• Transfert et distribution des données :

  • Collectez des types de journaux mixtes dans un seul Logstore, puis distribuez-les vers des Logstores en aval selon leurs caractéristiques (module source, composant métier) pour l'isolation des données et le calcul spécifique à chaque scénario.

  • Pour les déploiements multi-régions, agrégez les journaux de chaque région dans une région centrale avec accélération inter-régions pour une gestion centralisée.

• Nettoyage et filtrage des données : supprimez les entrées invalides ou les champs inutilisés, puis écrivez les informations clés filtrées dans des Logstores en aval pour une analyse ciblée.

• Masquage des données : masquez les données sensibles telles que les mots de passe, les numéros de téléphone et les adresses.

Fonctionnalités

• SPL fournit un langage unifié pour la collecte, la requête et le traitement des données, réduisant ainsi la nécessité d'apprendre plusieurs syntaxes.

• Le débogage ligne par ligne et la suggestion de code offrent une expérience de codage SPL semblable à celle d'un IDE.

• Traitement en temps réel avec visibilité des données en quelques secondes, mise à l'échelle élastique et débit élevé.

• Instructions de traitement des données intégrées et fonctions SQL pour l'analyse des journaux.

• Métriques d'observabilité en temps réel, tableaux de bord et règles de surveillance personnalisées basées sur les métriques d'exécution.

• Entièrement géré et sans maintenance, avec des intégrations aux écosystèmes big data et open source d'Alibaba Cloud.

Facturation

• Logstores pay-by-ingested-data : la transformation des données (nouvelle version) est gratuite. Le trafic sortant lors de l'extraction ou de l'écriture de données via l'endpoint public SLS est facturé en fonction du volume de données compressées. Éléments facturables pour le mode pay-by-ingested-data.

• Logstores pay-by-feature : vous êtes facturé pour les ressources de calcul et réseau consommées par la transformation des données (nouvelle version). Éléments facturables pour le mode pay-by-feature.

• Le filtrage au sein d'une tâche de transformation des données (nouvelle version) ne réduit pas le volume de données facturable. Cela s'applique au filtrage tel que l'instruction where SPL et aux fonctions de suppression du langage spécifique au domaine (DSL) de la transformation des données (ancienne version). En mode pay-by-ingested-data, la facturation est basée sur les données brutes ingérées dans le LogStore source. Le filtrage dans une tâche de transformation des données affecte uniquement les données écrites dans le LogStore de destination ; il ne modifie pas le volume déjà ingéré dans le LogStore source.

• Pour réduire le volume de données facturable, filtrez les journaux au moment de la collecte. Dans la configuration de collecte Logtail, utilisez un plug-in de filtrage des données tel que le plug-in étendu processor_filter_regex pour collecter uniquement les journaux dont vous avez besoin, par exemple uniquement les journaux dont le niveau est error. Les journaux qui ne sont pas collectés ne sont jamais ingérés dans un LogStore, ce qui réduit le volume de données facturable à la source et les exclut de la transformation des données. Pour plus d'informations, consultez Plug-ins de filtrage des données Logtail.