Data Transmission Service:Synchroniser PostgreSQL autonome vers PolarDB for PostgreSQL (Compatible avec Oracle)

Type

Description

Limites relatives à la base de données source

• Les tables que vous synchronisez doivent posséder une clé primaire ou une contrainte d'unicité. À défaut, des données en double peuvent apparaître dans la base de données de destination.

  Remarque

  Si vous créez manuellement la table de destination (sans sélectionner New Instance Class comme Subscription), vous devez vous assurer que la table de destination possède la même clé primaire ou la même contrainte d'unicité non nulle que la table source. À défaut, des données en double peuvent apparaître dans la base de données de destination.

• Si vous synchronisez des données au niveau des tables et devez modifier les objets, tels que le mappage des noms de tables ou de colonnes, pour plus de 5 000 tables dans une seule tâche de synchronisation des données, nous vous recommandons de les répartir sur plusieurs tâches ou de configurer une tâche pour synchroniser l'intégralité de la base de données. À défaut, la tâche pourrait échouer lors de la soumission.

• Le nom de la base de données à synchroniser ne doit pas contenir de traits d'union (-), par exemple dts-testdata.

• Journalisation anticipée (WAL) :

  • Vous devez activer WAL en définissant le paramètre wal_level sur logical.

  • Pour une tâche de synchronisation incrémentielle des données, DTS exige que le WAL de la base de données source soit conservé pendant plus de 24 heures. Pour une tâche effectuant à la fois une synchronisation complète et incrémentielle des données, le WAL doit être conservé pendant au moins sept jours. Vous pouvez modifier la période de rétention à plus de 24 heures une fois la synchronisation complète des données terminée. Si une tâche échoue car DTS ne peut pas obtenir le WAL en raison d'une période de rétention trop courte, cet échec peut entraîner, dans des cas extrêmes, une incohérence ou une perte de données. Les problèmes causés par une période de rétention WAL insuffisante ne sont pas couverts par l'accord de niveau de service (SLA) de DTS.

• Un basculement principal/secondaire sur la base de données source PostgreSQL autonome entraîne l'échec de la tâche de synchronisation des données.

• Assurez-vous que les valeurs des paramètres max_wal_senders et max_replication_slots sont toutes deux supérieures à la somme du nombre de slots de réplication utilisés dans la base de données et du nombre d'instances DTS que vous souhaitez créer avec cette base de données comme source.

• Si la base de données source contient des transactions de longue durée et que l'instance est configurée pour la synchronisation incrémentielle des données, les données WAL générées avant la validation de ces transactions ne peuvent pas être effacées. Cela peut provoquer une accumulation des données WAL et entraîner un manque d'espace disque sur la base de données source.

• Si la source est une instance Cloud SQL for PostgreSQL, vous devez saisir un compte de base de données disposant de l'autorisation cloudsqlsuperuser dans le champ Database Account. Lors de la sélection des objets à synchroniser, vous devez choisir des objets que ce compte est autorisé à gérer, ou accorder l'autorisation OWNER sur ces objets à ce compte. Par exemple, exécutez la commande GRANT <owner_of_objects> TO <source_account_for_task> pour permettre au compte d'effectuer des opérations en tant que propriétaire des objets.

  Remarque

  Un compte disposant de l'autorisation cloudsqlsuperuser ne peut pas gérer les données appartenant à d'autres comptes disposant également de l'autorisation cloudsqlsuperuser.

• En raison des limitations inhérentes aux abonnements logiques dans la base de données source, si un seul enregistrement de données à synchroniser dépasse 256 Mo après une modification incrémentielle, l'instance de synchronisation échouera et devra être reconfigurée.

• N'exécutez pas d'opérations DDL modifiant les schémas de base de données ou de tables pendant la synchronisation du schéma ou la synchronisation complète. À défaut, la tâche de synchronisation échouera.

  Remarque

  Pendant la synchronisation complète, DTS interroge la base de données source. Cela crée des verrous de métadonnées qui peuvent bloquer les opérations DDL sur la base de données source.

• Si vous effectuez une mise à niveau majeure de la base de données source pendant qu'une instance de synchronisation est en cours d'exécution, celle-ci échouera et devra être reconfigurée.

Autres limites

• Pour la synchronisation complète ou incrémentielle des données, si les tables synchronisées contiennent des clés étrangères, des déclencheurs ou des déclencheurs d'événements, DTS définit temporairement le paramètre session_replication_role sur replica au niveau de la session. Si le compte de la base de données de destination ne dispose pas de cette autorisation, vous devez définir manuellement le paramètre session_replication_role sur replica dans la base de données de destination. Pendant cette période (lorsque session_replication_role est défini sur replica), des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade se produisent dans la base de données source. Une fois la tâche de synchronisation des données DTS libérée, vous pouvez remettre le paramètre session_replication_role à origin.

• Si une table à synchroniser contient une colonne de type SERIAL, la base de données source crée automatiquement une séquence pour cette colonne. Par conséquent, lorsque vous configurez les Source Objects, si vous sélectionnez Schema Synchronization pour les Synchronization Types, nous vous recommandons de sélectionner également Sequence ou de synchroniser l'intégralité du schéma. À défaut, l'instance de synchronisation pourrait échouer.

• Une seule tâche de synchronisation des données ne peut synchroniser qu'une seule base de données. Pour synchroniser plusieurs bases de données, vous devez configurer une tâche distincte pour chacune d'elles.

• DTS ne prend pas en charge la synchronisation des tables du plug-in TimescaleDB, des tables avec héritage inter-schéma ou des tables avec des index uniques basés sur des expressions.

• Les schémas créés par l'installation de plug-ins ne sont pas pris en charge pour la synchronisation. Vous ne pouvez pas récupérer les informations sur ces schémas dans la console lors de la configuration d'une tâche.

• Dans les trois scénarios suivants, vous devez exécuter la commande ALTER TABLE schema.table REPLICA IDENTITY FULL; sur les tables sources avant d'y écrire des données afin de garantir la cohérence des données. N'effectuez pas d'opérations de verrouillage de table pendant l'exécution de cette commande pour éviter les interblocages. Si vous ignorez cette vérification lors de la pré-vérification, DTS exécute automatiquement cette commande lors de l'initialisation de l'instance.

  • Lors de la première exécution de l'instance.

  • Lorsque vous sélectionnez des objets au niveau du schéma et qu'une nouvelle table est créée dans le schéma ou qu'une table est reconstruite à l'aide de la commande RENAME.

  • Lorsque vous utilisez la fonctionnalité de modification des objets de synchronisation.

  Remarque

  • Remplacez schema et table dans la commande par les noms du schéma et de la table à synchroniser.

  • Effectuez cette opération pendant les heures creuses.

• DTS vérifie le contenu des données mais ne prend pas en charge la vérification des métadonnées telles que les séquences. Vous devez vérifier ces métadonnées vous-même.

• Après avoir basculé votre activité vers la base de données de destination, les séquences ne reprennent pas automatiquement à partir de la valeur maximale des séquences correspondantes dans la base de données source. Avant le basculement, vous devez mettre à jour les valeurs des séquences dans la base de données de destination. Pour plus d'informations, consultez Mettre à jour les valeurs des séquences dans la base de données de destination.

• DTS crée les tables temporaires suivantes dans la base de données source pour obtenir les instructions DDL pour les données incrémentielles, le schéma des tables incrémentielles et les informations de pulsation. Ne supprimez pas ces tables temporaires pendant la synchronisation. À défaut, la tâche DTS pourrait échouer. Les tables temporaires sont automatiquement supprimées après la libération de l'instance DTS.

  public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session et public.aliyun_dts_instance.

• Pour garantir l'exactitude de la latence de synchronisation affichée, DTS ajoute une table de pulsation nommée dts_postgres_heartbeat à la base de données source.

• Pendant la synchronisation des données, DTS crée un slot de réplication avec le préfixe dts_sync_ dans la base de données source pour répliquer les données. Ce slot de réplication permet à DTS d'obtenir les journaux incrémentiels générés au cours des 15 dernières minutes à partir de la base de données source. Lorsqu'une tâche de synchronisation des données échoue ou que l'instance est libérée, DTS tente de supprimer automatiquement ce slot de réplication.

  Remarque

  • Si vous modifiez le mot de passe du compte de la base de données source ou supprimez la liste d'autorisation IP pour DTS pendant la synchronisation des données, le slot de réplication ne sera pas nettoyé automatiquement. Nettoyez manuellement le slot de réplication dans la base de données source pour éviter qu'il ne consomme de l'espace disque et ne rende la base de données source indisponible.

  • Si la base de données source subit un basculement, connectez-vous à la base de données de secours pour effectuer le nettoyage manuellement.

  Exécutez l'instruction SQL SELECT * FROM pg_replication_slots; pour afficher tous les slots de réplication dans la base de données source. Dans les résultats, le slot de réplication DTS correspond à l'enregistrement dont la valeur slot_name commence par dts_sync_ et dont la valeur active est true.

• Avant de démarrer la synchronisation des données, évaluez les performances des bases de données source et de destination. Effectuez la synchronisation pendant les heures creuses. La synchronisation complète des données consomme des ressources de lecture et d'écriture sur les deux bases de données, ce qui peut augmenter leur charge.

• La synchronisation complète des données effectue des opérations INSERT concurrentes, ce qui peut provoquer une fragmentation des tables dans la base de données de destination. Par conséquent, l'espace de table de l'instance de destination sera plus grand que celui de l'instance source une fois la synchronisation complète des données terminée.

• Pour la synchronisation des données au niveau des tables, si aucune donnée provenant d'autres sources que DTS n'est écrite dans la base de données de destination, vous pouvez utiliser DMS pour effectuer des modifications DDL en ligne. Pour plus d'informations, consultez Modifier les schémas sans verrouiller les tables.

• Pendant la synchronisation DTS, n'écrivez pas de données dans la base de données de destination depuis une autre source. Cela pourrait entraîner une incohérence des données. Par exemple, si vous utilisez Data Management (DMS) pour effectuer des modifications DDL en ligne pendant que des données sont écrites depuis d'autres sources, cela peut provoquer une perte de données dans la base de données de destination.

• Si une tâche échoue, l'équipe d'assistance DTS tentera de la restaurer dans un délai de huit heures. Lors de la restauration, elle peut redémarrer la tâche ou ajuster ses paramètres.

  Remarque

  Seuls les paramètres de la tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans Modifier les paramètres de l'instance.

• Lorsque vous synchronisez des tables partitionnées, vous devez inclure à la fois la table parente et ses partitions enfants comme objets de synchronisation. À défaut, les données de la table partitionnée pourraient devenir incohérentes.

  Important

  • La table parente d'une table partitionnée PostgreSQL ne stocke pas directement les données. Toutes les données sont stockées dans les partitions enfants. Une tâche de synchronisation des données doit inclure la table parente et toutes ses partitions enfants. À défaut, les données des partitions enfants pourraient être omises, entraînant une incohérence des données entre la source et la destination.

  • La synchronisation de tables partitionnées et de tables d'héritage (tables parent-enfant) entre différentes bases de données n'est pas prise en charge. Assurez-vous que les tables partitionnées et toutes leurs partitions, ainsi que les tables parentes et toutes leurs tables enfants, se trouvent dans la même base de données.

Type de synchronisation

Frais

Synchronisation du schéma et synchronisation complète

Gratuit.

Synchronisation incrémentielle

Des frais s'appliquent. Consultez la rubrique Présentation de la facturation.

Type d'opération

Opération SQL

DML

INSERT, UPDATE, DELETE

DDL

• La synchronisation DDL est prise en charge uniquement pour les tâches de synchronisation des données créées après le .

  Important

  • Pour les tâches de synchronisation des données créées avant le 12 mai 2023 (heure de Singapour), vous devez créer un déclencheur et une fonction dans la base de données source afin de capturer les informations DDL avant de configurer la tâche. Pour plus d'informations, consultez la rubrique Utilisation de déclencheurs et de fonctions pour implémenter la migration DDL incrémentielle pour PostgreSQL.

  • Le type de données BIT n'est pas pris en charge lors de la synchronisation incrémentielle des données.

• La tâche de synchronisation prend en charge les opérations DDL suivantes, à condition que le compte de la base de données source dispose de privilèges élevés.

  • CREATE TABLE, DROP TABLE

  • ALTER TABLE (y compris RENAME TABLE, ADD COLUMN, ADD COLUMN DEFAULT, ALTER COLUMN TYPE, DROP COLUMN, ADD CONSTRAINT, ADD CONSTRAINT CHECK et ALTER COLUMN DROP DEFAULT)

  • TRUNCATE TABLE (nécessite que la base de données source soit PostgreSQL 11 ou version ultérieure)

  • CREATE INDEX ON TABLE

  Important

  • Les instructions DDL contenant des informations supplémentaires, telles que CASCADE ou RESTRICT, ne sont pas prises en charge.

  • Les instructions DDL exécutées dans une session utilisant la commande SET session_replication_role = replica ne sont pas synchronisées.

  • Les instructions DDL exécutées en appelant une FUNCTION ou un bloc de code anonyme ne sont pas prises en charge.

  • Si une validation (commit) contient à la fois des opérations DML et DDL, les opérations DDL ne sont pas synchronisées.

  • Si une validation (commit) contient des opérations DDL sur des objets qui ne sont pas synchronisés, ces opérations ne sont pas synchronisées.

  • Les instructions DDL exécutées directement au sein d'un plugin via l'interface SPI (Server Programming Interface) ne sont pas prises en charge.

Base de données

Autorisations requises

Création de compte et autorisation

PostgreSQL autogéré

Autorisation superuser.

Utilisez l'instruction CREATE USER et gérez les autorisations des utilisateurs.

PolarDB for PostgreSQL (compatible Oracle)

Autorisation de propriétaire (owner) sur la base de données.

Créer un compte de base de données.