E-MapReduce:Présentation d'EMR Serverless StarRocks

Framework MPP

StarRocks découpe chaque requête en unités de calcul physiques qui s'exécutent en parallèle sur plusieurs machines, chacune disposant de ressources CPU et mémoire dédiées. Lorsque vous augmentez la taille du cluster, les performances des requêtes individuelles évoluent proportionnellement.

Moteur d'exécution vectorisé

Le moteur d'exécution vectorisé optimise tous les opérateurs, fonctions, modules d'analyse et de filtrage, ainsi que les modules d'importation et d'exportation au niveau du processeur. Il exploite les instructions SIMD (Single Instruction, Multiple Data) pour traiter davantage de données par cycle d'horloge. Les tests de référence effectués sur des jeux de données standards montrent une amélioration des performances globales des opérateurs comprise entre 3 et 10 fois.

Ce moteur intègre également la fonctionnalité Operation on Encoded Data, qui permet d'exécuter des opérateurs de jointure, d'agrégation et d'expression directement sur des chaînes encodées, sans étape de décodage. Cette approche réduit la complexité d'exécution des requêtes SQL et multiplie par plus de deux la vitesse d'interrogation.

Séparation du calcul et du stockage

Introduite avec StarRocks 3.0, l'architecture de séparation du calcul et du stockage dissocie les ressources de calcul des ressources de stockage, permettant à chacune d'évoluer indépendamment. Les nœuds de calcul peuvent être mis à l'échelle en quelques secondes, ce qui élimine le surdimensionnement souvent nécessaire lorsque le calcul et le stockage doivent croître conjointement.

La couche de stockage s'appuie sur divers services de stockage d'objets offrant une capacité quasi illimitée et reste compatible avec le système de fichiers distribués Hadoop (HDFS). Cette architecture de séparation conserve une parité fonctionnelle totale avec l'architecture intégrée : les mises à jour de données, l'analyse de data lake et l'accélération via les vues matérialisées fonctionnent de manière identique. Les performances en écriture de données et en interrogation des données fréquemment utilisées (« hot data ») sont quasiment équivalentes dans les deux architectures.

Optimiseur basé sur les coûts

Dans le cadre de requêtes complexes impliquant des jointures entre plusieurs tables, le nombre de plans d'exécution valides augmente de façon exponentielle avec le nombre de tables, rendant la sélection du plan optimal NP-difficile. Le CBO de StarRocks utilise une architecture de type Cascades, personnalisée pour le moteur d'exécution vectorisé. Il prend en charge :

• La réutilisation des sous-expressions courantes et la réécriture des sous-requêtes.

• Les jointures latérales (Lateral Join) et la réorganisation des jointures (Join Reorder).

• La sélection des politiques d'exécution distribuée des jointures.

• L'optimisation de l'encodage par dictionnaire pour les données à faible cardinalité.

Le CBO prend en charge l'intégralité des 99 instructions SQL TPC-DS.

Moteur de stockage columnaire en temps réel

StarRocks stocke les données dans un format columnaire, ce qui améliore les taux de compression, réduit les entrées/sorties disque et accélère les requêtes qui ne lisent qu'un sous-ensemble de colonnes, schéma courant dans les charges de travail OLAP. StarRocks permet de charger les données en quelques secondes et offre des capacités de traitement des données en quasi temps réel.

Le moteur de stockage garantit les propriétés ACID (atomicité, cohérence, isolation et durabilité) lors des imports de données. Les imports par lots réussissent ou échouent de manière atomique, tandis que les transactions concurrentes bénéficient de l'isolation par instantané. Le moteur prend également en charge les mises à jour partielles et les opérations upsert. Il utilise des index de clé primaire avec un mode Delete-and-Insert pour éviter la surcharge liée au tri et à la fusion lors des lectures. Des index secondaires permettent de gérer les scénarios de mise à jour de données à haut débit.

Vues matérialisées intelligentes

Les vues matérialisées de StarRocks fonctionnent automatiquement :

• Synchronisation automatique — lorsque les données d'une table source changent, la vue matérialisée correspondante détecte et applique la mise à jour en temps réel, garantissant la cohérence des données.

• Réécriture transparente des requêtes — lors de la planification des requêtes, StarRocks identifie si une vue matérialisée peut accélérer l'exécution et réécrit la requête automatiquement, sans modification requise au niveau de l'application.

• Gestion du cycle de vie en arrière-plan — créez et supprimez des vues matérialisées sans intervention manuelle ; le système gère ces opérations en arrière-plan.

• Remplacement de l'ETL — utilisez les vues matérialisées pour transformer et traiter les données directement, remplaçant ainsi les pipelines ETL (extraction, transformation et chargement) traditionnels et le prétraitement en amont.

Analyse de data lake

Utilisez des catalogues externes pour interroger directement les data lakes, sans migration de données. StarRocks prend en charge :

• Formats de table : Apache Hive, Apache Iceberg, Apache Hudi, Delta Lake.

• Formats de fichier : Parquet, ORC, CSV.

• Services de stockage : HDFS, Amazon Simple Storage Service (S3), Object Storage Service (OSS).

Dans ce modèle, les data lakes servent de source unique de vérité (SSOT) pour les charges de travail liées à la BI, à l'IA, aux requêtes ad hoc et au reporting, tandis que StarRocks assure le calcul et l'analyse grâce à son moteur vectorisé et à son CBO.