Cette rubrique explique comment utiliser l'intégration de données de DataWorks pour synchroniser en temps réel les données d'une base de données vers Hologres.
Lorsque votre base de données source (telle que MySQL, Oracle ou PolarDB) doit alimenter un environnement analytique Hologres avec des données actualisées, l'intégration de données de DataWorks propose trois méthodes de synchronisation en temps réel. Choisissez la méthode adaptée à votre cas d'utilisation, puis configurez successivement la source, la destination et la tâche.
Prérequis
Avant de commencer, assurez-vous d'avoir :
Activé DataWorks. Consultez la section Présentation
Activé ApsaraDB
Vérifié la connectivité réseau si vous prévoyez une synchronisation entre différentes régions. Consultez la section Solutions de connectivité réseau
Contexte
Hologres est un produit d'analyse interactive en temps réel. Il se connecte de manière transparente à l'écosystème du big data et s'intègre profondément à DataWorks, une plateforme intelligente de R&D. Cette intégration prend en charge l'interrogation et l'analyse des données avec une forte concurrence et une faible latence. Parmi les bases de données courantes qui prennent en charge la synchronisation des données en temps réel figurent Oracle, PolarDB et PolarDB for MySQL.
Configurer la synchronisation en temps réel
La configuration comprend trois étapes :
Configurez la source de données.
Configurez la destination de données Hologres.
Choisissez une méthode de synchronisation et configurez la tâche.
Étape 1 : Configurer la source
Configurez la base de données à partir de laquelle vous souhaitez synchroniser les données. Par exemple, pour synchroniser depuis MySQL, ajoutez une source de données MySQL dans DataWorks. Consultez la section Configurer une source de données pour obtenir des instructions détaillées.
Étape 2 : Configurer la destination Hologres
La source de données Hologres doit utiliser un groupe de ressources exclusif pour l'intégration de données.
Ajoutez Hologres en tant que source de données de destination. Consultez la section Configurer une source de données Hologres.
Étape 3 : Choisir une méthode de synchronisation et configurer la tâche
L'intégration de données de DataWorks propose trois méthodes de synchronisation en temps réel. Utilisez le tableau suivant pour choisir celle qui correspond à votre cas d'utilisation.
| Méthode de synchronisation | Quand l'utiliser | Sources prises en charge | Guide de la source de données | Guide des tâches |
|---|---|---|---|---|
| Synchronisation en temps réel d'une seule table | Synchroniser les modifications incrémentielles des tables sélectionnées | Journal binaire MySQL, DataHub, LogHub, Kafka, PolarDB, SQL Server | Source PolarDB, Source MySQL | Configurer la synchronisation en temps réel des données incrémentielles d'une seule table |
| Synchronisation en temps réel de la base de données complète | Synchroniser les modifications incrémentielles de toutes les tables de la base de données source | PolarDB for MySQL, PolarDB, MySQL | Source PolarDB, Source Oracle, Source MySQL | Configurer et gérer une tâche de synchronisation en temps réel |
| Solution de synchronisation | Gérer plusieurs scénarios de synchronisation dans un seul pipeline avec une migration cloud en un clic — chargement initial complet, écritures incrémentielles en temps réel et fusions planifiées dans les partitions de table complète | PolarDB for MySQL, Oracle, MySQL, PolarDB-X, PostgreSQL | Source PolarDB, Source Oracle, Source MySQL, Environnement PolarDB-X, Environnement PostgreSQL | Synchronisation en temps réel en un clic vers Hologres, Ajouter ou supprimer des tables de synchronisation d'une tâche en cours d'exécution, Exploitation et maintenance des tâches de synchronisation complètes et incrémentielles |
Pour ajouter des champs supplémentaires à la table de destination Hologres — par exemple, un champ update_time — consultez la section Configurer et gérer une tâche de synchronisation en temps réel .