Data Transmission Service:Synchronisation de données bidirectionnelle entre les clusters PolarDB for PostgreSQL (Compatible avec Oracle)

Limites de la base de données source

• Bande passante : Le serveur hébergeant le cluster source doit disposer d'une bande passante sortante suffisante. Une bande passante insuffisante dégrade la vitesse de synchronisation.

• Tables sans clé primaire ou unique : Activez la fonctionnalité d'écriture Exactly-Once lors de la configuration de la tâche. Sinon, des enregistrements en double peuvent apparaître dans la destination. Consultez la section Synchroniser des tables sans clé primaire ou contrainte UNIQUE.

• Sélections d'objets volumineuses avec mappage de noms : Si vous devez mapper des noms de tables ou de colonnes et que la tâche inclut plus de 1 000 tables, divisez les tables en plusieurs tâches ou synchronisez la base de données entière à la place. La soumission d'une seule tâche qui mappe plus de 1 000 tables peut entraîner une erreur de requête.

• Rétention des journaux WAL : Si les journaux WAL sont purgés avant que DTS ne les lise, la tâche échoue. Dans les cas extrêmes, une perte de données ou une incohérence peut survenir. Les problèmes causés par une rétention WAL insuffisante ne sont pas couverts par le SLA (Accord de niveau de service).

  • Synchronisation incrémentielle uniquement : conservez les journaux WAL pendant plus de 24 heures.

  • Synchronisation complète + incrémentielle : conservez les journaux WAL pendant au moins 7 jours. Une fois la synchronisation complète terminée, vous pouvez réduire la période de rétention à plus de 24 heures.

• Transactions de longue durée : Les journaux WAL générés avant la validation d'une transaction de longue durée s'accumulent pendant la synchronisation incrémentielle. Cela peut épuiser l'espace disque du cluster source.

• Opérations DDL pendant la synchronisation : N'effectuez pas d'opérations DDL modifiant la structure de la base de données ou des tables pendant la synchronisation du schéma ou la synchronisation complète des données. La tâche échouera.

• Écritures lors d'une synchronisation complète uniquement : N'écrivez pas de nouvelles données dans le cluster source si seule la synchronisation complète des données est sélectionnée. Pour maintenir la cohérence en temps réel, sélectionnez également la synchronisation du schéma et la synchronisation incrémentielle des données.

• Basculement des slots de réplication logique : Pour empêcher l'interruption de la réplication logique lors d'un basculement primaire/secondaire, le cluster source doit prendre en charge et avoir activé la fonction Logical Replication Slot Failover.

  Si le cluster ne prend pas en charge Logical Replication Slot Failover (par exemple, si Database Engine est Oracle syntax compatible 2,0 ), un basculement de haute disponibilité (HA) peut provoquer l'échec de l'instance de synchronisation et la rendre irrécupérable.

• Limite de taille d'une modification unique : Si une seule modification de données incrémentielle dépasse 256 Mo, l'instance de synchronisation peut échouer et ne peut pas être récupérée. Vous devez reconfigurer l'instance de synchronisation.

Limites de la synchronisation bidirectionnelle

• Schéma de prévention des boucles : DTS crée un schéma nommé dts dans chaque cluster de destination pour prévenir les boucles de données. Ne modifiez pas ce schéma pendant l'exécution de la tâche.

• Champs de type SERIAL : Si une table possède un champ de type SERIAL, le cluster source crée automatiquement une séquence pour ce champ. Si vous sélectionnez Schema Synchronization sous Synchronization Types, sélectionnez également Sequence ou synchronisez le schéma entier. Sinon, l'instance de synchronisation peut échouer.

• Portée des données de la tâche : Dans une paire de synchronisation bidirectionnelle, une seule tâche peut synchroniser à la fois les données complètes et incrémentielles. L'autre tâche prend en charge uniquement la synchronisation incrémentielle.

• Direction du flux de données : Les données provenant de la source d'une tâche sont synchronisées uniquement vers la destination de cette tâche. Elles ne sont pas traitées comme des données sources pour l'autre tâche.

• Base de données unique par tâche : Chaque tâche de synchronisation synchronise une seule base de données. Configurez des tâches distinctes pour les bases de données supplémentaires.

• Objets non pris en charge : DTS ne prend pas en charge les tables d'extension TimescaleDB, les tables avec héritage inter-schémas ou les tables avec des index uniques basés sur des expressions.

• Schémas créés par des plugins : Les schémas créés par l'installation de plugins ne peuvent pas être synchronisés.

• `REPLICA IDENTITY FULL` requirement: Exécutez ALTER TABLE schema.table REPLICA IDENTITY FULL; sur les tables du cluster source avant d'y écrire des données dans les scénarios suivants :

  • Lors de la première exécution de l'instance de synchronisation.

  • Lorsque vous sélectionnez Schema comme granularité pour la sélection d'objets, et qu'une nouvelle table est créée ou qu'une table existante est reconstruite à l'aide de la commande RENAME.

  • Lorsque vous utilisez la fonctionnalité de modification des objets de synchronisation.

  Remplacez schema et table par le nom réel du schéma et le nom de la table. Exécutez cette commande pendant les heures creuses. Ne verrouillez pas les tables pendant son exécution — le verrouillage peut provoquer des interblocages. Si vous ignorez les éléments de précontrôle associés, DTS exécute cette commande automatiquement lors de l'initialisation de l'instance.

• Tables temporaires : DTS crée les tables temporaires suivantes dans le cluster source pour capturer les instructions DDL, la structure des tables et les informations de pulsation (heartbeat). Ne les supprimez pas pendant la synchronisation — la tâche échouera. DTS les supprime automatiquement lorsque l'instance est libérée : public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session et public.aliyun_dts_instance.

• Table de pulsation : DTS ajoute une table de pulsation nommée dts_postgres_heartbeat au cluster source pour maintenir la précision des mesures de latence incrémentielle.

• Slot de réplication : DTS crée un slot de réplication avec le préfixe dts_sync_ dans le cluster source. Ce slot permet à DTS d'accéder aux journaux incrémentiels des 15 dernières minutes. Lorsque la tâche de synchronisation échoue ou que l'instance est libérée, DTS tente de supprimer le slot automatiquement.

  Si vous modifiez le mot de passe du compte de la base de données source ou supprimez l'adresse IP de DTS de la liste d'autorisation du cluster source pendant la synchronisation, le slot ne peut pas être supprimé automatiquement. Supprimez-le manuellement pour éviter que les journaux WAL accumulés ne remplissent le disque et ne rendent le cluster source indisponible. En cas de basculement, connectez-vous au cluster secondaire pour supprimer manuellement le slot.

  

• Timing de la synchronisation : Synchronisez les données pendant les heures creuses, lorsque la charge CPU des deux clusters est inférieure à 30 %. La synchronisation complète des données exécute des opérations INSERT concurrentes, ce qui augmente la charge sur les deux clusters et provoque une fragmentation des tables dans la destination. L'espace occupé par la table de destination peut être supérieur à celui de la source après la fin de la synchronisation complète.

• Vérifications des contraintes pendant la synchronisation : Pendant la synchronisation du schéma, DTS synchronise les clés étrangères de la source vers la destination. Pendant la synchronisation complète et incrémentielle, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade de clés étrangères au niveau de la session. Si des opérations de mise à jour ou de suppression en cascade se produisent dans la source pendant l'exécution de la tâche, une incohérence des données peut survenir.

• Précision FLOAT et DOUBLE : DTS lit les valeurs FLOAT et DOUBLE en utilisant ROUND(COLUMN, PRECISION). Si la précision n'est pas explicitement définie, DTS utilise par défaut 38 pour FLOAT et 308 pour DOUBLE. Confirmez que ces valeurs par défaut répondent à vos exigences.

• Récupération de tâche et protection contre l'écriture : DTS tente de récupérer automatiquement les tâches ayant échoué pendant une durée maximale de 7 jours. Avant de basculer votre charge de travail vers le cluster de destination, terminez ou libérez la tâche, ou utilisez REVOKE pour révoquer les autorisations d'écriture du compte de base de données DTS sur la destination. Cela empêche les données sources d'écraser les données de destination si la tâche est récupérée.

• Clés étrangères, déclencheurs et déclencheurs d'événements : DTS définit session_replication_role sur replica au niveau de la session si le compte de destination est un compte privilégié ou dispose des autorisations superutilisateur. Si le compte ne dispose pas de ces autorisations, définissez manuellement session_replication_role sur replica sur la destination. Pendant cette période, les opérations de mise à jour ou de suppression en cascade dans la source peuvent provoquer une incohérence des données. Une fois la tâche libérée, remettez session_replication_role sur origin.

• Support de récupération DTS : Si une tâche échoue, l'équipe de support DTS tente de la restaurer dans un délai de 8 heures et peut redémarrer la tâche ou ajuster les paramètres de la tâche (et non les paramètres de la base de données). Les paramètres susceptibles d'être ajustés sont répertoriés dans la section Modifier les paramètres de l'instance.

• Tables partitionnées : Incluez à la fois la table parente et toutes les partitions enfants en tant qu'objets de synchronisation. La table parente d'une table partitionnée ne stocke aucune donnée directement — toutes les données se trouvent dans les partitions enfants. L'omission de la table parente ou d'une partition enfant peut entraîner une incohérence des données.

Étape 1 : Ouvrir la liste des tâches de synchronisation

Accédez à la liste des tâches de synchronisation de l'une des deux manières suivantes.

Console DTS

1. Connectez-vous à la console DTS.

2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

3. Dans le coin supérieur gauche, sélectionnez la région où se trouve l'instance de synchronisation.

Console DMS

Les étapes peuvent varier en fonction du mode et de la disposition de la console DMS. Consultez les sections Console en mode simple et Personnaliser la disposition et le style de la console DMS .

1. Connectez-vous à la console DMS.

2. Dans la barre de menus supérieure, choisissez Data + AI > DTS (DTS) > Data Synchronization.

3. À droite de Data Synchronization Tasks, sélectionnez la région de l'instance de synchronisation.

Étape 2 : Créer la tâche directe

1. Cliquez sur Create Task.

2. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   —	Task Name	DTS génère automatiquement un nom. Spécifiez un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
   Base de données source	Select Existing Connection	Sélectionnez une instance de base de données enregistrée dans la liste pour remplir automatiquement les champs ci-dessous. Dans la console DMS, ce paramètre est Select a DMS database instance. Si vous n'avez pas enregistré l'instance, remplissez les champs manuellement.
   	Database Type	Sélectionnez PolarDB (Compatible with Oracle).
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside le cluster source.
   	Replicate Data Across Alibaba Cloud Accounts	Sélectionnez No pour une synchronisation au sein du même compte.
   	Instance ID	Sélectionnez l'ID du cluster source.
   	Database Name	Saisissez le nom de la base de données source.
   	Database Account	Saisissez le compte de base de données. Consultez la section Autorisations des comptes de base de données.
   	Database Password	Saisissez le mot de passe du compte.
   Base de données de destination	Select Existing Connection	Identique à la source : sélectionnez une instance enregistrée ou remplissez manuellement. Dans la console DMS, il s'agit de Select a DMS database instance.
   	Database Type	Sélectionnez PolarDB (Compatible with Oracle).
   	Connection Type	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside le cluster de destination.
   	Instance ID	Sélectionnez l'ID du cluster de destination.
   	Database Name	Saisissez le nom de la base de données de destination.
   	Database Account	Saisissez le compte de base de données. Consultez la section Autorisations des comptes de base de données.
   	Database Password	Saisissez le mot de passe du compte.

3. Cliquez sur Test Connectivity and Proceed.

   Ajoutez les blocs CIDR des serveurs DTS aux paramètres de sécurité des deux clusters pour autoriser l'accès à DTS. Consultez la section Ajouter la liste d'autorisation d'adresses IP des serveurs DTS . Si la source ou la destination utilise une méthode d'accès gérée par l'utilisateur (et non Alibaba Cloud Instance ), cliquez également sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers .

4. Sur la page Configure Objects , configurez les paramètres suivants.

   Paramètre	Description
   Synchronization Types	Sélectionnez Schema Synchronization, Full Data Synchronization et Incremental Data Synchronization. DTS synchronise d'abord les données historiques, puis bascule vers la synchronisation incrémentielle.
   Processing mode of conflicting tables	Precheck and Report Errors : vérifie la présence de tables portant le même nom dans la destination. La tâche ne démarre pas si des conflits sont détectés. Pour continuer, renommez la table conflictuelle dans la destination ou utilisez le mappage de noms d'objets. Consultez la section Mappage des noms de colonnes de tables de base de données. Ignore Errors and Proceed : ignore la vérification. Pendant la synchronisation complète, DTS conserve l'enregistrement de destination et ignore l'enregistrement source en cas de conflit de clés. Pendant la synchronisation incrémentielle, DTS écrase l'enregistrement de destination. Si les schémas de table diffèrent, l'initialisation peut échouer. À utiliser avec prudence.
   Synchronization Topology	Sélectionnez Two-way Synchronization.
   Exclude DDL Operations	Sélectionnez Yes pour ignorer la synchronisation DDL dans la tâche directe. Sélectionnez No pour l'inclure. Les tâches inverses filtrent toujours les DDL indépendamment de ce paramètre.
   Conflict Resolution Policy	Sélectionnez la manière dont DTS gère les conflits. Consultez la section Détection de conflits prise en charge pour plus de détails sur chaque politique.
   Capitalization of Object Names in Destination Instance	Configurez la politique de casse pour les noms de bases de données, de tables et de colonnes. La valeur par défaut est DTS default policy. Consultez la section Politique de casse pour les noms d'objets de destination.
   Source Objects	Cliquez sur les objets dans la zone Source Objects, puis cliquez sur l'icône de flèche pour les déplacer vers Selected Objects. Sélectionnez au niveau du schéma ou de la table. La sélection de tables n'inclut pas les vues, les déclencheurs ou les procédures stockées. Si les tables contiennent des types de données SERIAL et que Schema Synchronization est sélectionné, sélectionnez également Sequence ou choisissez la synchronisation du schéma entier.
   Selected Objects	Pour renommer un seul objet dans la destination, faites un clic droit dessus et suivez les instructions de la section Mapper un seul nom d'objet. Pour renommer plusieurs objets en masse, cliquez sur Batch Edit et suivez les instructions de la section Mapper plusieurs noms d'objets en masse. Pour sélectionner des opérations SQL spécifiques ou définir un filtre WHERE pour une table, faites un clic droit sur la table. Consultez la section Définir une condition de filtre. Le mappage de noms d'objets peut empêcher la synchronisation correcte des objets dépendants.

5. Cliquez sur Next: Advanced Settings et configurez les éléments suivants.

   Paramètre	Description
   Dedicated Cluster for Task Scheduling	DTS utilise un cluster partagé par défaut. Pour une stabilité accrue, achetez un cluster dédié. Consultez la section Qu'est-ce qu'un cluster dédié DTS ?.
   Retry Time for Failed Connections	Durée pendant laquelle DTS effectue des tentatives après un échec de connexion. Par défaut : 720 minutes. Plage : 10–1 440 minutes. Recommandé : 30 minutes ou plus. Si la connexion est rétablie dans la fenêtre de nouvelle tentative, la tâche reprend automatiquement. Remarque Lorsque plusieurs instances DTS partagent une source ou une destination, DTS utilise la durée de nouvelle tentative la plus courte configurée parmi toutes les instances. DTS facture l'exécution pendant les nouvelles tentatives.
   Retry Time for Other Issues	Durée pendant laquelle DTS effectue des tentatives après des erreurs autres que les échecs de connexion (telles que les échecs d'exécution DDL ou DML). Par défaut : 10 minutes. Plage : 1–1 440 minutes. Recommandé : 10 minutes ou plus. Cette valeur doit être inférieure à Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Limitez le taux de synchronisation complète pour réduire la charge sur la destination. Définissez QPS to the source database, RPS of Full Data Migration et Data migration speed (MB/s). Disponible uniquement lorsque Full Data Synchronization est sélectionné. Vous pouvez également ajuster le taux après le démarrage de la tâche.
   Enable Throttling for Incremental Data Synchronization	Limitez le taux de synchronisation incrémentielle. Définissez RPS of Incremental Data Synchronization et Data synchronization speed (MB/s).
   Environment Tag	Taggez l'instance pour identifier son environnement. Optionnel.
   Configure ETL	Activez la fonctionnalité ETL (extract, transform, load) pour transformer les données en transit. Consultez les sections Qu'est-ce que l'ETL ? et Configurer l'ETL.
   Monitoring and Alerting	Configurez des alertes pour les échecs de tâche ou la latence dépassant un seuil. Consultez la section Configurer la surveillance et les alertes.

6. Cliquez sur Next: Data Validation pour éventuellement configurer une tâche de validation des données. Consultez la section Configurer la validation des données.

7. Enregistrez la tâche et exécutez le précontrôle.

   • Pour prévisualiser les paramètres API pour cette configuration, survolez Next: Data Verification et cliquez sur Preview OpenAPI parameters.

   • Cliquez sur Next: Data Verification.

   DTS exécute un précontrôle avant de démarrer la tâche. La tâche ne démarre que si le précontrôle réussit. En cas d'échec, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème et relancez le précontrôle. Pour les avertissements non ignorables, corrigez le problème avant de continuer. Pour les avertissements ignorables, cliquez sur Confirm Alert Details > Ignore > OK , puis cliquez sur Precheck Again .

8. Achetez l'instance de synchronisation. La tâche directe apparaît sur la page de synchronisation des données.

   1. Lorsque Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

   2. Sélectionnez la méthode de facturation et les spécifications de l'instance.

      |
      **Parameter**
      |
      **Description**
      | | --- | --- | |
      **Billing Method**
      |
      **Subscription** : payez à l'avance pour une durée fixe. Options mensuelles : 1 à 9 mois. Options annuelles : 1, 2, 3 ou 5 ans. Rentable pour les tâches de longue durée. **Pay-as-you-go** : facturé à l'heure en fonction de l'utilisation réelle. Adapté aux tâches de courte durée ou aux tests.
      | |
      **Resource Group Settings**
      |
      Groupe de ressources pour l'instance. Par défaut : **default resource group**. Consultez la section [Qu'est-ce que Resource Management ?](t1886289.xdita#).
      | |
      **Instance Class**
      |
      Détermine les performances de synchronisation. Consultez la section [Spécifications des liens de synchronisation de données](t17073.xdita#).
      |
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      

   3. Cochez la case Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Purchase and Start, puis cliquez sur OK dans la boîte de dialogue de confirmation.

   Si Full Data Synchronization et Incremental Data Synchronization sont tous deux sélectionnés, la tâche est répertoriée comme une seule tâche Incremental Data Synchronization sur la page de liste des tâches.

Étape 3 : Configurer la tâche inverse

Une fois la tâche directe en cours d'exécution, configurez la tâche inverse pour finaliser la configuration bidirectionnelle.

1. Attendez que le Status de la tâche directe soit Running.

2. Dans la colonne Actions de la tâche inverse, cliquez sur Configure Task.

3. Configurez la tâche inverse en suivant les mêmes étapes que pour la tâche directe (étapes 2 à 7 ci-dessus). La tâche inverse inverse la source et la destination — les principales différences sont présentées ci-dessous.

   Important

   Confirmez que les informations de l'instance (nom de la base de données, compte et mot de passe) sont correctes pour chaque direction. La source et la destination sont inversées dans la tâche inverse.

   Paramètre	Tâche directe	Tâche inverse
   Source database	Cluster A (source d'origine)	Cluster B (destination d'origine)
   Destination database	Cluster B (destination d'origine)	Cluster A (source d'origine)
   DDL synchronization	Configurable via Exclude DDL Operations	Toujours filtré automatiquement
   Processing mode of conflicting tables	Vérifie les conflits avec toutes les tables de destination	Ne vérifie pas les tables synchronisées par la tâche directe
   Synchronization objects	Votre sélection	Doit être inclus dans les Selected Objects de la tâche directe
   Instance Region	Configurable	Fixe — ne peut pas être modifié
   Object name mapping	Pris en charge	À éviter — peut provoquer une incohérence des données

4. Lorsque Success Rate atteint 100 %, cliquez sur Back.

5. Attendez que le Status des deux tâches soit Running. La synchronisation de données bidirectionnelle est désormais active.