Data Transmission Service:Synchronisation unidirectionnelle entre clusters PolarDB for PostgreSQL

Type

Description

Limitations de la base de données source

• Dans un cluster PolarDB for PostgreSQL, les tables à synchroniser doivent avoir une clé primaire ou un index unique non nul.

• Si la base de données source comporte des transactions de longue durée et que l'instance dispose d'une tâche de synchronisation incrémentielle, les journaux WAL (write-ahead log) générés avant la validation des transactions de longue durée peuvent s'accumuler. Cela peut entraîner un espace disque insuffisant pour la base de données source.

• Pour garantir le bon fonctionnement de la tâche de synchronisation et empêcher l'interruption de la réplication logique par un basculement primaire/secondaire, le cluster PolarDB for PostgreSQL doit prendre en charge et activer le basculement de slot de réplication logique.

  Remarque

  Si le cluster PolarDB for PostgreSQL source ne prend pas en charge le basculement de slot de réplication logique (par exemple, si le Database Engine du cluster est PostgreSQL 14), un basculement haute disponibilité (HA) dans la base de données source peut entraîner l'échec de l'instance de synchronisation et la rendre irrécupérable.

• En raison des limitations inhérentes aux abonnements logiques dans la base de données source, si un seul enregistrement de données à synchroniser dépasse 256 Mo après une modification incrémentielle, l'instance de synchronisation échouera et devra être reconfigurée.

• N'exécutez pas d'opérations DDL qui modifient les schémas de base de données ou de tables pendant la synchronisation du schéma ou la synchronisation complète. Sinon, la tâche de synchronisation échouera.

  Remarque

  Pendant la synchronisation complète, DTS interroge la base de données source. Cela crée des verrous de métadonnées qui peuvent bloquer les opérations DDL sur la base de données source.

• Les tables avec des colonnes générées dans PostgreSQL 18 ne prennent pas en charge la synchronisation. Si vous configurez la synchronisation pour de telles tables, les opérations DML sur ces tables seront bloquées.

Autres limitations

• Une seule tâche de synchronisation de données peut synchroniser une seule base de données. Pour synchroniser plusieurs bases de données, vous devez configurer une tâche distincte pour chacune.

• DTS ne prend pas en charge la synchronisation des tables du plug-in TimescaleDB, des tables avec héritage inter-schéma ou des tables avec des index uniques basés sur des expressions.

• Les schémas créés par l'installation de plugins ne peuvent pas être synchronisés. Vous ne pouvez pas obtenir d'informations sur ces schémas dans la console lors de la configuration de la tâche.

• Dans les trois scénarios suivants, vous devez exécuter la commande ALTER TABLE schema.table REPLICA IDENTITY FULL; sur les tables source avant d'y écrire des données pour garantir la cohérence des données. N'effectuez pas d'opérations de verrouillage de table pendant l'exécution de cette commande pour éviter les interblocages. Si vous ignorez cette vérification lors de la prévérification, DTS exécute automatiquement cette commande lors de l'initialisation de l'instance.

  • Lors de la première exécution de l'instance.

  • Lorsque vous sélectionnez des objets au niveau du schéma et qu'une nouvelle table est créée dans le schéma ou qu'une table est reconstruite à l'aide de la commande RENAME.

  • Lorsque vous utilisez la fonctionnalité de modification des objets de synchronisation.

  Remarque

  • Remplacez schema et table dans la commande par les noms du schéma et de la table à synchroniser.

  • Effectuez cette opération pendant les heures creuses.

• Si une table à synchroniser contient une colonne de type SERIAL, la base de données source crée automatiquement une séquence pour cette colonne. Par conséquent, lors de la configuration des Source Objects, si vous sélectionnez Schema Synchronization pour les Synchronization Types, nous vous recommandons de sélectionner également Sequence ou de synchroniser l'intégralité du schéma. Sinon, l'instance de synchronisation peut échouer.

• La synchronisation initiale des données complètes consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui augmente la charge de la base de données. Par conséquent, évaluez les performances des bases de données source et de destination avant de synchroniser les données et effectuez la synchronisation pendant les heures creuses.

• La synchronisation initiale des données complètes exécute des opérations INSERT concurrentes. Cela provoque une fragmentation des tables dans la base de données de destination. Par conséquent, l'espace de table dans l'instance de destination est plus grand que celui de l'instance source une fois la synchronisation initiale des données complètes terminée.

• Pendant la synchronisation DTS, n'écrivez pas de données dans la base de données de destination à partir de sources autres que DTS. Sinon, une incohérence des données entre les bases de données source et de destination peut se produire.

• Pendant la synchronisation des données, DTS crée un slot de réplication avec le préfixe dts_sync_ dans la base de données source pour répliquer les données. Ce slot de réplication permet à DTS d'obtenir les journaux incrémentiels générés au cours des 15 dernières minutes à partir de la base de données source. Lorsqu'une tâche de synchronisation de données échoue ou que l'instance est libérée, DTS tente de supprimer automatiquement ce slot de réplication.

  Remarque

  • Si vous modifiez le mot de passe du compte de base de données source ou supprimez la liste d'autorisation IP pour DTS pendant la synchronisation des données, le slot de réplication ne sera pas nettoyé automatiquement. Nettoyez manuellement le slot de réplication dans la base de données source pour éviter qu'il ne consomme de l'espace disque et ne rende la base de données source indisponible.

  • Si la base de données source bascule, connectez-vous à la base de données de secours pour effectuer le nettoyage manuellement.

  Exécutez l'instruction SQL SELECT * FROM pg_replication_slots; pour afficher tous les slots de réplication dans la base de données source. Dans les résultats, le slot de réplication DTS est l'enregistrement dont la valeur slot_name commence par dts_sync_ et dont la valeur active est true.

• DTS valide le contenu des données mais ne prend pas en charge la validation des métadonnées telles que les séquences. Vous devez valider les métadonnées vous-même.

• DTS crée les tables temporaires suivantes dans la base de données source pour obtenir les instructions DDL pour les données incrémentielles, le schéma des tables incrémentielles et les informations de pulsation. Ne supprimez pas ces tables temporaires pendant la synchronisation. Sinon, la tâche DTS peut échouer. Les tables temporaires sont automatiquement supprimées après la libération de l'instance DTS.

  public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session et public.aliyun_dts_instance.

• Après avoir basculé votre activité vers la base de données de destination, les séquences ne continuent pas automatiquement à partir de la valeur maximale des séquences correspondantes dans la base de données source. Avant le basculement, vous devez mettre à jour les valeurs de séquence dans la base de données de destination. Pour plus d'informations, consultez Mettre à jour les valeurs de séquence dans la base de données de destination.

• Pour les tâches de synchronisation de données complètes ou incrémentielles, si les tables source à synchroniser contiennent des clés étrangères, des déclencheurs ou des déclencheurs d'événement, DTS définit temporairement le paramètre session_replication_role sur replica au niveau de la session. Si le compte de base de données de destination ne dispose pas des autorisations requises, vous devez définir manuellement le paramètre session_replication_role sur replica dans la base de données de destination. Pendant cette période, si des opérations de mise à jour ou de suppression en cascade se produisent dans la base de données source alors que session_replication_role est défini sur replica, une incohérence des données peut se produire. Après la libération de la tâche DTS, remettez le paramètre session_replication_role sur origin.

• Si une tâche échoue, le personnel de support DTS tentera de la restaurer dans un délai de huit heures. Lors de la restauration, ils peuvent redémarrer la tâche ou ajuster ses paramètres.

  Remarque

  Seuls les paramètres de tâche DTS sont modifiés, pas les paramètres de base de données. Les paramètres qui peuvent être ajustés incluent ceux répertoriés dans Modifier les paramètres de l'instance.

• Lorsque vous synchronisez des tables partitionnées, vous devez inclure à la fois la table parente et ses partitions enfants comme objets de synchronisation. Sinon, les données de la table partitionnée peuvent devenir incohérentes.

  Important

  • La table parente d'une table partitionnée PostgreSQL ne stocke pas directement les données. Toutes les données sont stockées dans les partitions enfants. Une tâche de synchronisation de données doit inclure la table parente et toutes ses partitions enfants. Sinon, les données des partitions enfants peuvent être manquantes, entraînant une incohérence des données entre la source et la destination.

  • La synchronisation de tables partitionnées et de tables d'héritage (tables parent-enfant) entre différentes bases de données n'est pas prise en charge. Assurez-vous que les tables partitionnées et toutes leurs partitions, ainsi que les tables parentes et toutes leurs tables enfants, se trouvent dans la même base de données.

Type de synchronisation

Tarification

Synchronisation du schéma et synchronisation complète des données

Gratuit.

Synchronisation incrémentielle des données

Facturé. Pour plus d'informations, consultez Aperçu de la facturation.

Type d'opération

Instruction SQL

DML

INSERT, UPDATE, DELETE

DDL

• La synchronisation DDL est prise en charge uniquement pour les tâches de synchronisation de données créées après le 1er octobre 2020.

  Important

  • Pour les tâches de synchronisation de données créées avant le 12 mai 2023, vous devez créer des déclencheurs et des fonctions dans la base de données source pour capturer les informations DDL avant de configurer la tâche. Pour plus d'informations, consultez Implémenter la migration incrémentielle DDL PostgreSQL via des déclencheurs et des fonctions.

  • La synchronisation incrémentielle des données ne prend pas en charge le type de données BIT.

• Si la base de données source utilise un compte privilégié, la tâche de synchronisation de données prend en charge les opérations DDL suivantes :

  • CREATE TABLE, DROP TABLE

  • ALTER TABLE (y compris RENAME TABLE, ADD COLUMN, ADD COLUMN DEFAULT, ALTER COLUMN TYPE, DROP COLUMN, ADD CONSTRAINT, ADD CONSTRAINT CHECK et ALTER COLUMN DROP DEFAULT)

  • TRUNCATE TABLE (le cluster PolarDB for PostgreSQL source doit utiliser un moteur de base de données PostgreSQL 11 ou version ultérieure.)

  • CREATE INDEX ON TABLE