Data Transmission Service:Synchronisation bidirectionnelle entre des clusters PolarDB for PostgreSQL

Exigences relatives à la base de données source

• Les tables doivent avoir une clé primaire ou un index unique non nul.

• Évitez les transactions de longue durée sur le cluster source. Les transactions non validées provoquent une accumulation des journaux de transaction anticipés (WAL), ce qui peut épuiser l'espace disque.

• Si une seule modification incrémentielle dépasse 256 Mo, l'instance de synchronisation échoue et ne peut pas être récupérée. Reconfigurez la tâche depuis le début.

• N'exécutez pas d'opérations DDL pendant la synchronisation du schéma ou la synchronisation complète des données. DTS crée des verrous de métadonnées lors de la synchronisation complète qui peuvent bloquer les opérations DDL sur la source.

Objets non pris en charge

DTS ne synchronise pas :

• Les tables d'extension TimescaleDB

• Les tables avec héritage inter-schémas

• Les tables avec des index uniques basés sur des expressions

• Les schémas créés par l'installation de plugins

Tables partitionnées

Incluez à la fois la table parente et toutes les partitions enfants comme objets de synchronisation. Une table partitionnée PostgreSQL ne stocke aucune donnée dans la table parente — toutes les données résident dans les partitions enfants. Si vous omettez une partition enfant, ces données ne seront pas synchronisées.

Colonnes SERIAL et séquences

Si une table synchronisée possède une colonne SERIAL, PostgreSQL crée automatiquement une séquence sous-jacente. Lorsque Schema Synchronization est sélectionné, sélectionnez également Sequence ou synchronisez l'intégralité du schéma pour éviter les échecs de l'instance de synchronisation.

Après un basculement métier vers le cluster destination, les séquences ne reprennent pas automatusement à partir de la valeur maximale de la source. Avant le basculement, exécutez la requête suivante sur le cluster source pour obtenir les valeurs actuelles des séquences, puis appliquez les instructions setval retournées sur le cluster destination :

do language plpgsql $$
declare
  nsp name;
  rel name;
  val int8;
begin
  for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
  loop
    execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
    raise notice '%',
    format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
  end loop;
end;
$$;

La requête renvoie des instructions setval pour toutes les séquences de la base de données source. Exécutez uniquement les instructions pertinentes pour les tables que vous avez synchronisées.

Tables nécessitant REPLICA IDENTITY FULL

Exécutez ALTER TABLE schema.table REPLICA IDENTITY FULL; sur les tables sources avant d'écrire des données dans l'une des trois situations suivantes :

1. Lorsque l'instance de synchronisation s'exécute pour la première fois.

2. Lors de l'utilisation de la sélection d'objets au niveau du schéma et qu'une nouvelle table est ajoutée au schéma, ou qu'une table existante est reconstruite avec RENAME.

3. Lors de l'utilisation de la fonctionnalité de modification des objets de synchronisation.

Exécutez cette commande pendant les heures creuses et évitez les verrouillages de table pour prévenir les interblocages. Si vous ignorez les éléments de précontrôle associés, DTS exécute cette commande automatiquement lors de l'initialisation.

Clés étrangères, déclencheurs et déclencheurs d'événements

Pour les tables avec des clés étrangères, des déclencheurs ou des déclencheurs d'événements, DTS définit temporairement session_replication_role sur replica au niveau de la session si le compte de la base de données destination est un compte privilégié ou dispose des autorisations superutilisateur. Si le compte ne dispose pas de ces autorisations, définissez manuellement session_replication_role sur replica sur la destination. Les opérations de mise à jour ou de suppression en cascade sur la source durant cette période peuvent provoquer une incohérence des données. Une fois la tâche DTS libérée, réinitialisez session_replication_role sur origin.

Slots de réplication

DTS crée un slot de réplication avec le préfixe dts_sync_ dans la base de données source pour lire les journaux incrémentiels datant jusqu'à 15 minutes. Lorsqu'une tâche de synchronisation échoue ou que son instance est libérée, DTS tente de nettoyer automatiquement le slot.

Le slot ne peut pas être nettoyé automatiquement si vous modifiez le mot de passe du compte de la base de données source ou si vous supprimez les adresses IP DTS de la liste d'autorisation du cluster source. Dans ces cas, supprimez manuellement le slot de réplication dans la base de données source pour éviter l'épuisement du disque. En cas de basculement, connectez-vous au nœud secondaire pour effacer le slot.

Tables temporaires

DTS crée les tables temporaires suivantes dans la base de données source pour capturer les instructions DDL, les structures de table incrémentielles et les données de pulsation. Ne supprimez pas ces tables tant que la tâche est en cours d'exécution — elles sont supprimées automatiquement lorsque l'instance DTS est libérée :

public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

Autres limites

• Une seule tâche de synchronisation peut synchroniser une seule base de données. Créez une tâche distincte pour chaque base de données supplémentaire.

• N'écrivez pas de données dans le cluster destination à partir de sources autres que DTS pendant la synchronisation. Cela provoque une incohérence des données.

• Une tâche de synchronisation bidirectionnelle comprend des tâches de synchronisation directe et inverse. Lors de la configuration ou de la réinitialisation de la tâche, si l'objet destination d'une tâche correspond à l'objet de synchronisation de l'autre tâche : une seule tâche peut effectuer une synchronisation complète et incrémentielle ; l'autre prend uniquement en charge la synchronisation incrémentielle. Les données de la source d'une tâche sont synchronisées uniquement vers la destination de cette tâche — elles ne deviennent pas des données source pour l'autre tâche.

• La synchronisation complète des données exécute des opérations INSERT concurrentes et consomme des ressources de lecture et d'écriture sur les deux clusters. Exécutez la synchronisation complète pendant les heures creuses lorsque la charge CPU sur les deux clusters est inférieure à 30 %. Attendez-vous à ce que l'espace de table destination soit plus grand que celui de la source après la synchronisation complète en raison de la fragmentation des tables.

• DTS valide le contenu des données mais ne valide pas les métadonnées telles que les séquences. Validez les métadonnées manuellement.

• Si une tâche échoue, l'assistance DTS tente de la restaurer dans un délai de 8 heures. La restauration peut impliquer le redémarrage de la tâche ou l'ajustement des paramètres de la tâche (et non des paramètres de la base de données). Consultez Modifier les paramètres de l'instance pour la liste des paramètres ajustables.

Politiques de résolution des conflits

Sélectionnez une politique lors de la configuration de la tâche de synchronisation bidirectionnelle :

Ces politiques s'appliquent uniquement lorsque la tâche s'exécute normalement. Si la tâche est mise en pause ou redémarrée avec une latence, DTS écrase par défaut les données de destination quelle que soit la politique configurée.

Différences de configuration entre les tâches directes et inverses

Avant de commencer, examinez les différences entre les deux tâches. La configuration incorrecte des paramètres dans la tâche inverse est la source d'erreurs la plus courante.

Étape 1 : Ouvrir la liste des tâches de synchronisation des données

Ouvrez la liste des tâches DTS en utilisant soit la console DTS, soit la console DMS.

Étape 2 : Créer la tâche

Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

Étape 3 : Configurer les bases de données source et destination

Cliquez sur Test Connectivity and Proceed en bas de la page.

DTS doit pouvoir atteindre les deux clusters. Ajoutez les blocs d'adresses IP du service DTS aux paramètres de sécurité des deux clusters — soit automatiquement pendant le test de connectivité, soit manuellement au préalable. Consultez Ajouter la liste d'autorisation d'adresses IP des serveurs DTS .

Étape 4 : Configurer les objets de synchronisation

Sur la page Configure Objects , définissez les options suivantes :

Cliquez sur Next: Advanced Settings .

Étape 5 : Configurer les paramètres avancés

Étape 6 : Configurer la vérification des données (facultatif)

Cliquez sur Data Verification pour configurer une tâche de vérification des données. Consultez Configurer la vérification des données .

DTS valide le contenu des données mais ne valide pas les métadonnées telles que les séquences. Validez les métadonnées manuellement après la synchronisation.

Étape 7 : Enregistrer les paramètres, exécuter le précontrôle et acheter l'instance

1. Pour prévisualiser les paramètres API avant l'enregistrement, survolez Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters .

2. Cliquez sur Next: Save Task Settings and Precheck . DTS exécute un précontrôle avant de démarrer la tâche.

   • Si le précontrôle échoue, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème et relancez le précontrôle.

   • Si le précontrôle affiche des avertissements :

     • Pour les avertissements non ignorables : cliquez sur View Details , corrigez le problème et relancez.

     • Pour les avertissements ignorables : cliquez sur Confirm Alert Details > Ignore > OK > Precheck Again . Ignorer les avertissements peut provoquer des incohérences de données.

3. Lorsque Success Rate atteint 100% , cliquez sur Next: Purchase Instance .

4. Sur la page Purchase , sélectionnez les options de facturation et d'instance :

   Option	Description
   Billing Method	Subscription : Payez à l'avance pour une durée fixe. Adapté aux tâches continues à long terme. Pay-as-you-go : Facturé à l'heure. Adapté aux tâches de courte durée ou de test.
   Resource Group Settings	Le groupe de ressources pour l'instance. Par défaut : default resource group . Consultez Qu'est-ce que Resource Management ?
   Instance Class	Sélectionnez en fonction du débit de synchronisation requis. Consultez Spécifications des canaux de synchronisation de données .
   Subscription Duration	Disponible lorsque Subscription est sélectionné. Mensuel : 1 à 9 mois. Annuel : 1, 2, 3 ou 5 ans.

5. Cochez la case Data Transmission Service (Pay-as-you-go) Service Terms , puis cliquez sur Buy and Start > OK .

La tâche de synchronisation directe apparaît sur la page de synchronisation des données.

Étape 8 : Configurer la tâche de synchronisation inverse

1. Attendez que le Status de la tâche directe indique Running .

2. Dans la colonne Actions pour la tâche inverse, cliquez sur Configure Task .

3. Répétez les étapes 3 à 6 pour la tâche inverse, avec les différences suivantes :

   Important

   • La source et la destination sont inversées : la destination de la tâche directe est la source de la tâche inverse, et vice versa. Vérifiez attentivement les ID d'instance, les noms de base de données, les comptes et les mots de passe.

   • Instance Region ne peut pas être modifiée pour la tâche inverse. Moins d'options de configuration sont disponibles.

   • Processing Mode of Conflicting Tables pour la tâche inverse ne vérifie pas les tables déjà synchronisées par la tâche directe.

   • La tâche inverse ne peut synchroniser que des objets déjà présents dans la liste Selected Objects de la tâche directe.

   • N'utilisez pas la fonctionnalité de mappage des noms d'objets dans la tâche inverse — cela peut provoquer une incohérence des données.

4. Lorsque Success Rate indique 100% , cliquez sur Back .

5. Attendez que les tâches directe et inverse indiquent toutes deux Status comme Running .

La synchronisation bidirectionnelle est désormais active.