Data Integration prend en charge la synchronisation en temps réel d'une table unique vers Hologres à partir de sources telles que DataHub, Hologres, Kafka et LogHub. Une tâche de synchronisation lit les données d'une table source Hologres et les écrit dans une table de destination située dans une autre source de données Hologres. La table de destination est soit créée automatiquement selon le schéma de la table source, soit sélectionnée parmi les tables existantes.
Limites
Les limites suivantes s'appliquent à la synchronisation en temps réel d'une table unique de Hologres vers Hologres :
La version de Hologres doit être la V2.1 ou ultérieure.
La synchronisation incrémentielle des tables partitionnées Hologres n'est pas prise en charge.
La synchronisation des messages de modification DDL des tables Hologres n'est pas prise en charge.
-
La synchronisation incrémentielle depuis Hologres prend en charge les types de données suivants :
INTEGERBIGINTTEXTCHAR(n)VARCHAR(n)REALJSONSERIALOIDINT4[]INT8[]FLOAT8[]BOOLEAN[]TEXT[]
Prérequis
Achetez un groupe de ressources Serverless.
Créez les sources de données Hologres source et de destination. Pour obtenir des instructions, consultez la rubrique Configuration de la source de données.
Établissez la connectivité réseau entre le groupe de ressources et les sources de données. Pour plus de détails, consultez la rubrique Présentation des solutions de connectivité réseau.
Activez le journal binlog Hologres pour la table source. Pour obtenir des instructions, consultez la rubrique Abonnement au journal binlog Hologres.
Procédure
Étape 1 : Sélectionnez le type de tâche de synchronisation
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Integration.
Dans le volet de navigation de gauche, cliquez sur Synchronization Task. En haut de la page, cliquez sur Create Synchronization Task pour ouvrir la page de création de tâche de synchronisation.
-
Configurez les informations de base suivantes :
Data source and destination : Hologres → Hologres.
New Node Name : saisissez un nom personnalisé pour la tâche de synchronisation.
Synchronization Method : sélectionnez Single-Table Real-Time.
Synchronization Mode : sélectionnez Full Sync.
Étape 2 : Configurez le réseau et les ressources
Dans la section Network and Resource Configuration, sélectionnez le Resource Group utilisé par la tâche de synchronisation. Vous pouvez allouer des UC Task Resource Usage à la tâche.
Pour Source Information, sélectionnez une source de données Hologres existante. Pour Destination, sélectionnez une source de données Hologres existante, puis cliquez sur Test Connectivity.
Une fois que les tests de connectivité des sources de données source et de destination ont réussi, cliquez sur Next.
Étape 3 : Configurez le canal de synchronisation
Configurez la source de données Hologres source
En haut de la page, cliquez sur la source de données Hologres et modifiez les Holo source information.
Dans la section Holo source information, sélectionnez le schéma contenant la table Hologres que vous souhaitez lire, puis sélectionnez la table source.
Dans le coin supérieur droit, cliquez sur Data Sampling. Dans la boîte de dialogue Output Preview, spécifiez le Number of Sample Records et cliquez sur Start Sampling pour échantillonner les données de la source Hologres et prévisualiser les données échantillonnées. Les données échantillonnées servent d'entrée pour la prévisualisation des données et la configuration de la visualisation des nœuds de traitement des données ultérieurs.
Prévisualisez la sortie des nœuds de traitement des données
Cliquez sur l'icône 
pour ajouter une méthode de traitement des données. Cinq méthodes de traitement des données sont disponibles : data masking, string replacement, data filtering, JSON parsing et field editing and assignment. Vous pouvez organiser ces méthodes dans n'importe quel ordre. Lors de l'exécution de la tâche, les données sont traitées séquentiellement selon l'ordre configuré.
Après avoir configuré un nœud de traitement des données, cliquez sur le bouton Output Preview dans le coin supérieur droit. Dans la boîte de dialogue qui s'affiche, cliquez sur Retrieve Upstream Output pour simuler le résultat après le traitement des données Hologres échantillonnées par le nœud de traitement des données actuel.
La prévisualisation de la sortie des données dépend de l'opération Data Sampling de la source Hologres. Effectuez l'échantillonnage des données dans le formulaire de la source Hologres avant d'exécuter une prévisualisation de la sortie des données.
Configurez la source de données Hologres de destination
En haut de la page, cliquez sur la destination de données Hologres et modifiez les Destination Information.
-
Dans la section Destination Information, sélectionnez le schéma contenant la table Hologres dans laquelle vous souhaitez écrire, et spécifiez si la table de destination doit être créée automatiquement (Create tables automatically) ou si vous souhaitez utiliser une table existante (Use Existing Table).
Si les tables sont créées automatiquement, la table de destination utilise par défaut le même nom que la table source. Vous pouvez modifier manuellement le nom de la table de destination.
Si vous utilisez une table existante, sélectionnez la table de destination à synchroniser dans la liste déroulante.
(Facultatif) Modifiez la structure de la table.
Lorsque vous sélectionnez Create tables automatically, cliquez sur le bouton Edit Table Schema pour modifier la structure de la table cible dans la boîte de dialogue. Vous pouvez également cliquer sur Regenerate Schema from Upstream Node pour générer automatiquement la structure de la table à partir des colonnes de sortie du nœud amont. Dans la structure générée, vous pouvez sélectionner une colonne à définir comme clé primaire.
La table cible doit posséder une clé primaire. Sinon, vous ne pourrez pas enregistrer la configuration.
-
Définissez le Job Type et la Write Conflict Policy.
-
Job Type :
Replay : fournit une mise en miroir. Lorsqu'un enregistrement est inséré dans la source, un enregistrement est également inséré dans Hologres. Lorsqu'un enregistrement est mis à jour ou supprimé dans la source, l'enregistrement correspondant est mis à jour ou supprimé dans Hologres.
Insert : traite Hologres comme un stockage en flux continu. Toutes les données de la source sont enregistrées à l'aide d'opérations INSERT.
Write Conflict Policy : politique utilisée en cas de conflit d'écriture de données. Valeurs valides : Overwrite et Ignore.
-
Configurez le mappage des champs.
Le système génère automatiquement des mappages entre les colonnes amont et les colonnes cibles selon le principe The same name mapping. Vous pouvez ajuster ces mappages selon vos besoins. Une seule colonne amont peut être mappée à plusieurs colonnes cibles, mais plusieurs colonnes amont ne peuvent pas être mappées à une seule colonne cible. Si une colonne amont n'est mappée à aucune colonne cible, ses données ne seront pas écrites dans la table cible.
4. Alertes
Pour éviter que les erreurs de tâche ne provoquent des retards dans la synchronisation des données métier, vous pouvez définir une politique d'alerte pour la tâche de synchronisation.
Cliquez sur Alert Settings dans le coin supérieur droit de la page pour ouvrir la page de paramètres Alert Rule Configurations for Real-time Synchronization Subnode.
-
Cliquez sur Add Alert Rule pour configurer une règle d'alerte.
RemarqueLes règles d'alerte que vous définissez ici s'appliquent aux sous-tâches de synchronisation en temps réel générées par cette tâche. Après avoir configuré la tâche, vous pouvez afficher et modifier les règles d'alerte pour ces sous-tâches sur la page Exécuter et gérer les tâches de synchronisation en temps réel.
-
Gérez les règles d'alerte.
Pour les règles d'alerte existantes, vous pouvez utiliser le commutateur pour les activer ou les désactiver. Vous pouvez également envoyer des alertes à différents destinataires en fonction du niveau d'alerte.
5. Paramètres avancés
La tâche de synchronisation propose plusieurs paramètres que vous pouvez modifier selon vos besoins.
Avant d'effectuer des modifications, assurez-vous de bien comprendre la fonction de chaque paramètre afin d'éviter des erreurs inattendues ou des problèmes de qualité des données.
Cliquez sur advanced settings dans le coin supérieur droit de la page pour ouvrir la page des paramètres avancés.
Sur la page advanced settings, modifiez les valeurs des paramètres selon vos besoins.
6. Groupe de ressources
Vous pouvez cliquer sur Configure Resource Group dans le coin supérieur droit pour afficher et changer le groupe de ressources actuel de la tâche.
7. Exécution test
Après avoir configuré la tâche, cliquez sur Dry Run dans le coin supérieur droit. Cette fonctionnalité simule l'intégralité de la tâche sur un petit échantillon de données et vous permet de prévisualiser les résultats dans la table cible. En cas d'erreurs de configuration, d'exceptions d'exécution ou de données incorrectes, vous recevrez des messages d'erreur en temps réel. Cela vous aide à vérifier rapidement que la tâche est correctement configurée et produit les résultats attendus.
Dans la boîte de dialogue, définissez les paramètres d'échantillonnage : Start Time et Number of Sample Records.
Cliquez sur Start Sampling pour collecter les données d'échantillon.
Cliquez sur Preview pour simuler le traitement complet de la tâche à l'aide des données échantillonnées.
8. Exécutez la tâche de synchronisation
Une fois tous les paramètres terminés, cliquez sur Complete en bas de la page.
Sur la page , recherchez la tâche que vous avez créée et cliquez sur Start dans la colonne Operations.
Cliquez sur le Name/ID de la tâche correspondante dans la Task List pour afficher son processus d'exécution détaillé.
Démarrer la tâche de synchronisation
Sur la page de la tâche de synchronisation, cliquez sur Start dans la colonne Actions pour démarrer la tâche de synchronisation. Pour gérer la tâche et afficher son état d'exécution, consultez la rubrique Gérer et surveiller les tâches de synchronisation.
O&M des tâches
Gérer et surveiller les tâches de synchronisation
Sur la page de la tâche de synchronisation, vous pouvez afficher la liste des tâches de synchronisation et les informations de base de chaque tâche.
Dans la colonne Actions, cliquez sur Start ou Stop pour démarrer ou arrêter une tâche de synchronisation. Sous More, des opérations telles que Edit et View sont disponibles.
Pour une tâche démarrée, vous pouvez afficher l'état d'exécution de base dans Execution Overview et cliquer sur la zone de synthèse correspondante pour afficher les détails d'exécution. Une tâche de synchronisation en temps réel d'une table unique de Hologres vers Hologres comprend trois étapes :
Schema Migration : indique comment la table de destination est créée, qu'il s'agisse d'une table existante ou d'une création automatique de table. Si les tables sont créées automatiquement, le DDL de création de table est affiché.
Full Data Initialization : si vous définissez le Synchronization Mode sur Full Sync, la progression de l'initialisation complète est affichée.
Real-time Data Synchronization : affiche les statistiques de performance de la synchronisation en temps réel, y compris le trafic de lecture/écriture en temps réel, les données incorrectes, le basculement et les journaux d'exécution.
Réexécuter une tâche
Dans des cas particuliers, par exemple lorsque vous devez modifier les champs synchronisés ou ajuster les informations de la table cible, vous pouvez cliquer sur Rerun dans la colonne Operations de la tâche de synchronisation. Cette action synchronise les champs ajustés et autres modifications vers la cible. Le processus ignore les tables inchangées précédemment synchronisées.
Pour réexécuter la tâche sans aucune modification, cliquez sur Rerun.
Si vous modifiez la tâche, cliquez sur Complete après avoir effectué vos modifications. L'action de la tâche devient Apply Updates. Cliquez sur Apply Updates pour réexécuter la tâche avec la nouvelle configuration.