DataWorks:Single-table real-time synchronization capabilities

Fonctionnalité

Description

Synchronisation des données entre diverses sources

La synchronisation en temps réel prend en charge diverses sources de données. Combinez différentes sources et destinations pour créer un pipeline de synchronisation. Pour plus d'informations, consultez Sources de données et solutions de synchronisation prises en charge.

Synchronisation des données dans des environnements réseau complexes

La synchronisation en temps réel permet le transfert de données depuis les bases de données Alibaba Cloud, les centres de données sur site, les bases de données auto-gérées sur des instances ECS et les bases de données externes à Alibaba Cloud. Avant de commencer, assurez-vous que la connectivité réseau est établie entre votre groupe de ressources, la source et la destination. Pour les détails de configuration, consultez Solutions de connectivité réseau.

Scénarios de synchronisation

La synchronisation en temps réel permet de synchroniser une table unique vers une table de destination et de consolider les données incrémentielles provenant de bases de données et de tables fragmentées (sharding) dans une seule table de destination.

• Data Integration & Data Studio (nouvelle version) : Configuration assistée pour la synchronisation ETL d'une table unique vers une table unique. Outre de riches fonctionnalités de traitement des données, cette méthode prend également en charge des fonctions avancées telles que l'échantillonnage des données, l'exécution à blanc et les paramètres avancés.

• Data Studio (ancienne version) : Configuration par glisser-déposer pour la synchronisation ETL d'une table unique vers une table unique. Elle prend en charge des fonctionnalités de traitement des données telles que le filtrage, le remplacement de chaînes et le masquage des données.

Configuration des tâches de synchronisation en temps réel

Lors de la configuration d'une tâche de synchronisation en temps réel, les capacités suivantes sont disponibles. Collectez des données ETL en temps réel sur une table unique via une configuration simple, sans écrire de code. Pour plus d'informations, consultez Configurer une tâche de synchronisation en temps réel sur une seule table.

Synchronisation en temps réel sur une seule table :

• Méthode de configuration : Développement low-code via une interface graphique par glisser-déposer ou un assistant. Aucune compétence en codage n'est requise, ce qui facilite la prise en main pour les débutants.

• Mappage des champs : Mappage par nom identique, par ligne identique et relations de champs personnalisées. Si un champ source n'a pas de correspondant dans la table de destination, spécifiez une politique de gestion des champs dynamiques pour ajouter une colonne, ignorer le champ ou générer une erreur. La tâche de synchronisation permet également d'assigner dynamiquement des constantes, des variables et des fonctions aux champs de destination.

• Traitement des données : Traitez les données source à l'aide des options Data Filtering, Replace String, Data Masking et JSON Parsing, puis envoyez les données traitées vers la base de données de destination.

• Débogage du code : Échantillonnez les données depuis la source et affichez les résultats intermédiaires à chaque étape du traitement. Utilisez l'option Dry Run pour simuler la sortie finale des données. Les données générées lors de l'Dry Run ne sont pas écrites dans la table de destination, ce qui élimine tout risque d'impact sur les données réelles pendant le débogage.

Exploitation et maintenance (O&M) des tâches de synchronisation en temps réel

Configurez des alertes de surveillance pour les tâches de synchronisation.

• Reprise sur point de contrôle. En cas d'interruption de la tâche ou de perte de données due à des fluctuations imprévues, spécifiez un point de contrôle approprié pour garantir l'intégrité des données.

• Configurez des alertes de surveillance pour la latence métier, le basculement, les politiques DDL et les vérifications de heartbeat. Pour plus d'informations, consultez Configurer des alertes de surveillance pour une tâche de synchronisation en temps réel.

• Les notifications d'alerte sont envoyées aux destinataires par e-mail, SMS, appel téléphonique et message DingTalk, vous permettant de détecter et de résoudre rapidement les exceptions de tâche.

• Contrôle de la fatigue des alertes. Pour éviter la génération d'un grand nombre d'alertes sur une courte période, DataWorks vous permet de configurer une règle limitant l'envoi à une seule alerte dans un intervalle de temps donné.

• Détection de heartbeat : active ou désactive automatiquement les alertes de heartbeat au démarrage ou à l'arrêt de la tâche. Si vous désactivez manuellement cette fonctionnalité, elle reste désactivée.

DI Agent

Utilisez DI Agent pour créer et gérer des tâches de synchronisation en temps réel sur une seule table via des conversations. Au lieu de remplir les formulaires de configuration champ par champ, décrivez vos besoins de synchronisation en langage naturel ; l'Agent se charge alors automatiquement de l'identification des sources de données, du mappage des champs, de l'attribution des groupes de ressources et de la configuration des politiques de planification. Il offre également des capacités d'O&M telles que le diagnostic intelligent et les inspections périodiques. Pour plus d'informations sur DI Agent, consultez Présentation de DI Agent.