Découvrez les facteurs qui influencent les performances de la transformation des données et comment optimiser le débit en ajustant les shards et la logique de transformation.
Comme expliqué dans la section Fonctionnement, la vitesse globale d'une tâche de transformation des données dépend du nombre de shards du LogStore source et de la complexité de la logique de transformation. À titre indicatif, prévoyez un débit de traitement de 1 Mo/s de données non compressées par shard, soit environ 85 Go par jour et par shard. Par exemple, si le taux d'écriture des données du LogStore source est de 1 To par jour, divisez-le en au moins 12 shards (1 024 Go / 85 Go par shard ≈ 12). Pour plus d'informations sur le fractionnement des shards, consultez la rubrique Fractionner un shard.
Performances de la transformation des données
La vitesse de transformation des données dépend de la logique de transformation. Les principaux facteurs sont les suivants :
-
Données de sortie
Les performances diminuent à mesure que le volume des données de sortie augmente. La génération d'un plus grand nombre d'entrées de journal (par exemple, en divisant une entrée en plusieurs), l'ajout de champs ou l'augmentation de la taille de leur contenu consomment davantage de ressources CPU et réseau, ce qui réduit le débit.
L'écriture vers plusieurs destinations, l'ajout de nombreux tags à chaque entrée de journal ou la création de plusieurs groupes de journaux ralentissent les performances. Chaque action augmente les interactions réseau et la surcharge.
-
Logique de transformation
Une logique de transformation complexe nécessite davantage de recherches, de calculs et de synchronisations avec des ressources externes. Ces opérations consomment des ressources de calcul et réseau supplémentaires et réduisent le débit.
-
Sources de données externes
Si vous utilisez une source tierce pour enrichir vos données, des volumes plus importants de données extraites ralentissent la transformation. Les extractions de données inter-régions, telles que les objets OSS situés dans une autre région, réduisent encore davantage les performances.
Mise à l'échelle de la transformation du LogStore source
-
Mise à l'échelle de la transformation des données en temps réel.
Augmentez le nombre de shards pour améliorer les performances de la transformation des données en temps réel. Pour plus d'informations sur les méthodes de facturation des shards, consultez la rubrique Facturation à la fonctionnalité.
-
Mise à l'échelle de la transformation des données historiques.
Le fractionnement des shards n'affecte que les données nouvellement écrites. Pour traiter un grand volume de données historiques dans un LogStore comportant peu de shards, créez plusieurs tâches de transformation des données. Configurez chaque tâche pour qu'elle traite une plage horaire distincte et non chevauchante. Par exemple, pour traiter les journaux historiques du 1er au 10 septembre, créez dix tâches afin de traiter les données par incréments quotidiens, tels que
[9/1, 9/2), [9/2, 9/3), ..., [9/10, 9/11).RemarqueL'heure de transformation correspond à l'heure de réception du journal. Pour plus d'informations, consultez la rubrique Créer une tâche de transformation des données.
Mise à l'échelle de la transformation du LogStore de destination
Le nombre de shards requis pour un LogStore de destination dépend de deux facteurs :
-
Débit d'écriture. Un shard de LogStore unique prend en charge un débit d'écriture maximal de 5 Mo/s. Estimez le nombre de shards de destination requis en fonction du nombre de shards source et de la concurrence de traitement.
Par exemple, si le LogStore source comporte 20 shards, le LogStore de destination nécessite au moins 4 shards.
-
Exigences en matière de requête et d'analyse. Si vous créez un index et exécutez des requêtes sur les données du LogStore de destination, planifiez votre nombre de shards en fonction de l'étendue de vos requêtes. En règle générale, provisionnez un shard pour chaque tranche de 50 millions d'entrées de journal interrogées simultanément.
Par exemple, supposons que vous écriviez 10 Go de journaux par jour, avec une entrée de journal moyenne de 1 Ko. Cela représente 10 millions d'entrées de journal par jour. Si vos requêtes doivent couvrir une période de 30 jours, vous interrogerez environ 300 millions d'entrées de journal. Dans ce scénario, configurez le LogStore de destination avec 6 shards (300 millions d'entrées / 50 millions d'entrées par shard).