Simple Log Service propose quatre solutions de traitement des données couvrant l'intégralité du cycle de vie : les plug-ins de traitement (lors de la collecte), les processeurs d'ingestion (lors de l'écriture), la transformation des données (après le stockage) et les processeurs de consommation (lors de la consommation). Comparez ces solutions pour choisir celle qui répond le mieux à vos exigences en matière de performances, de coûts et de fonctionnalités.
Informations générales
Chaque solution intervient à une étape différente du pipeline de données :
Plug-in de traitement : Le collecteur de données Simple Log Service prend en charge les plug-ins de traitement et les instructions SPL pour traiter les données côté client avant leur ingestion.
Processeur d'ingestion : Un processeur d'ingestion est associé à un Logstore. Par défaut, le processeur d'ingestion traite côté serveur toutes les données écrites dans le Logstore au moment de l'écriture.
Transformation des données : Les données sont d'abord écrites dans un Logstore source, puis traitées selon des règles de transformation avant d'être écrites dans un Logstore de destination.
Processeur de consommation : Un processeur de consommation traite les données du Logstore en temps réel via SPL lors de la consommation. Les processeurs de consommation s'intègrent à des services tiers tels que SDK, Flink et DataWorks.
Comparaison des fonctionnalités
Les plug-ins de traitement, les processeurs d'ingestion, la transformation des données et les processeurs de consommation couvrent l'intégralité du cycle de vie des données : avant le stockage (lors de la collecte), pendant le stockage (lors de l'écriture) et après le stockage. Ces quatre solutions prennent en charge SPL, mais diffèrent par leur périmètre, leur consommation de ressources et les scénarios pris en charge.
|
Dimension |
Plug-in de traitement |
Processeur d'ingestion |
Transformation des données |
Processeur de consommation |
|
Étape de traitement |
Avant le stockage (lors de la collecte) |
Pendant le stockage (lors de l'écriture) |
Après le stockage |
Après le stockage |
|
Écriture dans plusieurs Logstores |
Non pris en charge par une seule configuration de collecte. Utilisez plutôt plusieurs configurations de collecte avec des plug-ins de traitement. |
Non pris en charge |
Pris en charge |
Non pris en charge |
|
Prise en charge de SPL |
Pris en charge |
Pris en charge |
Pris en charge |
Pris en charge |
|
Instructions SPL prises en charge |
Instructions mono-ligne uniquement. Entrée : une ligne ; sortie : zéro ou une ligne. |
Instructions mono-ligne uniquement. Entrée : une ligne ; sortie : zéro ou une ligne. |
Jeu complet d'instructions SPL |
Jeu complet d'instructions SPL |
|
Empêcher l'écriture de données sensibles sur le disque |
Pris en charge |
Pris en charge |
Non pris en charge. Les données transitent par le Logstore source. |
Non pris en charge. Les données transitent par le Logstore source. |
|
Consommation de ressources |
Consomme des ressources côté client |
Mise à l'échelle automatique côté serveur, transparente pour l'utilisateur |
Mise à l'échelle automatique côté serveur, transparente pour l'utilisateur |
Mise à l'échelle automatique côté serveur, transparente pour l'utilisateur |
|
Impact sur les performances |
Les performances de collecte varient légèrement selon le nombre et la complexité des plug-ins. Les performances d'écriture restent inchangées. |
La latence d'écriture augmente de quelques millisecondes à plusieurs dizaines de millisecondes, selon la taille du paquet de données et la complexité de l'instruction SPL. |
Les performances d'écriture du Logstore source ne sont pas affectées. |
Les performances d'écriture du Logstore source ne sont pas affectées. |
|
Couverture des scénarios |
Large |
Moyenne |
Large |
Large |
|
Coût |
Aucun frais de traitement des données Simple Log Service. Consomme des ressources client. |
Des frais de traitement des données s'appliquent. Dans les scénarios de filtrage des données, ces frais sont généralement inférieurs aux économies réalisées grâce à la réduction du trafic et des coûts de stockage. |
Frais du Logstore source plus frais de traitement des données. Pour réduire les coûts du Logstore source, définissez la période de rétention des données sur un jour et désactivez l'indexation. |
Frais du Logstore source plus frais de traitement des données. Pour réduire les coûts du Logstore source, définissez la période de rétention des données sur un jour et désactivez l'indexation. |
|
Tolérance aux pannes |
Configurez la conservation ou non des champs d'origine en cas d'échec du traitement. |
Configurez la conservation ou non des données d'origine en cas d'échec du traitement. |
Les données source étant déjà stockées, vous pouvez retraiter les données si une règle de transformation échoue. Créez plusieurs tâches de transformation pour traiter les données séparément. |
Les données source étant déjà stockées. Les groupes de consommateurs Flink, DataWorks et SDK avec des règles de consommation SPL réessaient automatiquement en cas d'erreur. |
Le tableau suivant compare les quatre solutions dans des scénarios typiques. Utilisez les niveaux de recommandation pour identifier la solution la plus adaptée à chaque cas d'utilisation.
|
Scénario |
Plug-in de traitement |
Processeur d'ingestion |
Transformation des données |
Processeur de consommation |
|
Traitement simple des données impliquant des opérations sur une seule ligne sans logique de calcul complexe |
Recommandé |
Recommandé |
Recommandé |
Recommandé |
|
Traitement complexe des données impliquant une logique multi-conditions, une agrégation par fenêtre ou un enrichissement par table de dimension |
Adéquat |
Adéquat |
Recommandé |
Recommandé |
|
Ressources client limitées, par exemple lorsque Logtail dispose d'une capacité de calcul restreinte |
Adéquat |
Recommandé |
Recommandé |
Recommandé |
|
Contrôle côté client limité, par exemple absence d'autorisation pour modifier les configurations Logtail ou la logique d'écriture SDK |
Non recommandé |
Recommandé |
Recommandé |
Recommandé |
|
Contrôle côté serveur limité, par exemple absence d'autorisation pour modifier les configurations Logstore ou de transformation |
Recommandé |
Non recommandé |
Non recommandé |
Non recommandé |
|
Écritures sensibles à la latence nécessitant la collecte des données brutes aussi rapidement que possible |
Adéquat |
Adéquat |
Recommandé |
Recommandé |
|
Masquage des données lorsque l'écriture de données sensibles sur le disque est autorisée |
Recommandé |
Recommandé |
Recommandé |
Recommandé |
|
Masquage des données lorsque l'écriture de données sensibles sur le disque est interdite |
Recommandé |
Recommandé |
Non recommandé |
Non recommandé |
|
Enrichissement des données à partir de sources internes, par exemple ajout d'un champ avec une valeur statique ou une valeur extraite d'un champ existant |
Adéquat |
Recommandé |
Recommandé |
Recommandé |
|
Enrichissement des données à partir de sources externes, par exemple interrogation d'une table MySQL pour obtenir des données supplémentaires basées sur un champ de journal |
Non recommandé |
Non recommandé |
Recommandé |
Recommandé |
|
Distribution des données qui achemine les données vers différents Logstores en fonction de conditions |
Adéquat |
Non recommandé |
Recommandé |
Non recommandé |
|
Filtrage des données pour supprimer les données brutes et réduire les coûts |
Adéquat |
Recommandé |
Adéquat |
Adéquat |