La transformation des données est une fonctionnalité entièrement gérée qui offre une haute disponibilité et une grande évolutivité dans Simple Log Service (SLS). Utilisez cette fonctionnalité pour normaliser, enrichir, transférer, masquer et filtrer les données.
Processus de transformation
SLS transforme les données en trois étapes :
Un groupe de consommateurs lit les données depuis un Logstore source.
SLS transforme chaque entrée de données selon une règle de transformation.
-
SLS écrit les données transformées dans un Logstore de destination.
Une fois la transformation terminée, consultez les résultats dans le Logstore de destination.
Fonctionnalités
Normalisation des données : SLS extrait des champs à partir de journaux dans différents formats et convertit ces formats afin d'obtenir des données structurées adaptées au traitement en flux et au calcul dans les entrepôts de données.
Enrichissement des données : SLS joint les champs des journaux aux tables de dimension pour associer les journaux aux informations dimensionnelles. Par exemple, SLS peut joindre les champs des journaux de commandes à une table d'informations utilisateur. Cette fonctionnalité facilite l'analyse des données.
Transfert de données : SLS transfère les journaux depuis des régions situées hors de Chine continentale vers une région centrale grâce à la fonctionnalité d'accélération globale. Cela vous aide à gérer vos journaux mondiaux de manière centralisée.
Masquage des données : SLS masque les informations sensibles contenues dans les données, telles que les mots de passe, les numéros de téléphone mobile et les adresses.
Filtrage des données : SLS filtre les journaux afin d'isoler les journaux de service essentiels, ce qui facilite les analyses ultérieures.
Cas d'utilisation
Normalisation des données : les données de journal sont lues depuis un Logstore source, transformées, puis écrites dans un Logstore de destination.
Transfert de données : les données de journal sont lues depuis un Logstore source, transformées, puis écrites dans plusieurs Logstores de destination.
Agrégation de données multi-sources : les données de journal sont lues depuis plusieurs Logstores sources, transformées, puis écrites dans un Logstore de destination.
Syntaxe de transformation
Le langage spécifique au domaine (DSL) de SLS propose plus de 200 fonctions intégrées et plus de 400 expressions régulières. Pour plus d'informations, consultez la rubrique Présentation de la syntaxe.
Avantages
Utilisez le DSL de SLS pour orchestrer des fonctions selon vos besoins métier. Servez-vous de ces fonctions pour filtrer, normaliser, enrichir, transférer et masquer les données.
Traite les données en temps réel et permet de visualiser les résultats en quelques secondes. La fonctionnalité adapte la capacité de calcul à la taille des données et offre un débit élevé.
Propose des fonctions prêtes à l'emploi, adaptées aux cas d'utilisation d'analyse de journaux.
Fournit des tableaux de bord en temps réel, ainsi que des journaux d'exceptions et des alertes.
Offre un service entièrement géré et sans maintenance, pouvant s'intégrer aux services Big Data d'Alibaba Cloud et aux écosystèmes open source.
Facturation
Si vos Logstores utilisent le mode de facturation « paiement selon les données ingérées », la transformation des données n'est pas facturée. Toutefois, si les données sont extraites via un endpoint public SLS, le trafic de lecture sur Internet est facturé. Ce trafic est calculé en fonction de la taille des données après compression. Pour plus d'informations, consultez la rubrique Éléments facturables pour le modèle de paiement selon les données ingérées.
Si vos Logstores utilisent le mode de facturation « paiement selon les fonctionnalités », la transformation des données est facturée en fonction des ressources machine et réseau consommées. Pour plus d'informations, consultez la rubrique Éléments facturables pour le paiement selon les fonctionnalités.
Désactivez la fonctionnalité d'indexation pour les Logstores sources et réduisez la période de rétention des données afin de diminuer les coûts. Pour plus d'informations, consultez les rubriques Guide des performances et Guide d'optimisation des coûts.