Pour intégrer transparent votre data lake, Hologres V3.0 et versions ultérieures permettent de créer des tables externes pour les sources de données Paimon dans Data Lake Formation (DLF). Hologres V4.0 introduit les tables dynamiques externes, qui regroupent la transformation des données, la création de la table cible et la réécriture vers le data lake en une seule définition de table. Cette table configure automatiquement les tables externes Paimon, traite les données de manière incrémentielle et écrit les résultats dans le data lake. Vous pouvez ainsi construire des pipelines lakehouse efficaces sans orchestrer plusieurs tâches distinctes.
Architecture
Le diagramme suivant illustre le fonctionnement d'une table dynamique externe : lecture des tables source, traitement incrémentiel des seules données nouvelles ou modifiées, puis écriture des résultats dans Paimon au sein du data lake.
Avantages
Pipeline de données unifié
Une seule table dynamique externe gère la transformation des données, la création de la table cible dans le data lake et la réécriture des données traitées. Cette approche supprime l'orchestration de plusieurs tâches séparées.
Écritures incrémentielles efficaces
Le mode d'actualisation incrémentielle traite et écrit uniquement les données nouvelles ou modifiées dans le data lake. Chaque cycle mobilise moins de données, consomme moins de ressources de calcul et s'exécute plus rapidement qu'une actualisation complète.
Réduction des coûts grâce au serverless
Les tables dynamiques externes s'exécutent sur des ressources serverless avec une tarification paiement à l'utilisation. Les ressources de calcul sont allouées uniquement pendant un cycle d'actualisation et libérées immédiatement après son achèvement ; vous ne payez donc rien pour les périodes d'inactivité. Pour plus de détails, consultez Introduction aux instances serverless.
Cas d'usage
Requêtes quasi temps réel économiques sur le data lake
Utilisez une table Paimon de votre data lake comme source. La table dynamique externe transforme les données de manière incrémentielle et les réécrit dans Paimon : les données ne quittent jamais le data lake. Interrogez les résultats traités via une table externe Hologres pour obtenir des informations en quasi-temps réel.
Construction d'un lakehouse
Prenez une table Hologres ou MaxCompute comme source. La table dynamique externe transforme les données et écrit automatiquement les résultats dans Paimon pour un stockage centralisé. Cela réduit les coûts de stockage, facilite le traitement des données et relie votre entrepôt de données à votre data lake pour former un lakehouse unifié.