Data Transmission Service:Synchroniser des données d'une instance ApsaraDB RDS for PostgreSQL vers une instance AnalyticDB for PostgreSQL

Exigences relatives aux tables et aux schémas

• Les tables doivent posséder une contrainte PRIMARY KEY ou UNIQUE avec tous les champs uniques. Sans cela, la base de données de destination peut contenir des enregistrements en double.

  Remarque

  Si vous créez une table de destination en dehors de DTS (sans sélectionner Schema Synchronization pour Synchronization Types), assurez-vous que la table de destination possède les mêmes contraintes PRIMARY KEY ou NOT NULL UNIQUE que la table source.

• Seules les tables peuvent être sélectionnées comme objets de synchronisation, et non les vues, les fonctions ou d'autres types d'objets.

• Une tâche ne peut synchroniser les données que d'une seule base de données. Pour synchroniser plusieurs bases de données, créez une tâche distincte pour chacune d'elles.

• Les tables ayant des relations d'héritage entre différents schémas ne peuvent pas être synchronisées.

• La table de destination ne peut pas être une table optimisée pour l'ajout (AO).

• DTS ne synchronise pas les types de données suivants : VARBIT, GEOMETRY, UUID, TSQUERY, TSVECTOR et TXID_SNAPSHOT.

Mappage des colonnes et différences de schéma

• Si vous utilisez le mappage de colonnes pour une synchronisation partielle des tables, ou si les schémas des tables source et de destination diffèrent, les données des colonnes présentes dans la source mais absentes dans la destination seront perdues.

• Si vous renommez des tables ou des colonnes dans la base de données de destination à l'aide de la fonctionnalité de mappage des noms d'objets, la synchronisation de plus de 5 000 tables dans une seule tâche provoque une erreur de requête. Pour les tables dépassant ce nombre, configurez plusieurs tâches ou synchronisez des bases de données entières.

Exigences relatives aux journaux WAL

La base de données source doit respecter les exigences suivantes en matière de journalisation préalable à l'écriture (WAL) :

• Définissez wal_level sur logical.

• Pour une synchronisation uniquement incrémentielle : conservez les journaux WAL pendant plus de 24 heures.

• Pour une synchronisation complète puis incrémentielle : conservez les journaux WAL pendant au moins 7 jours. Une fois la synchronisation complète terminée, vous pouvez définir la période de rétention sur plus de 24 heures.

Le non-respect de ces exigences peut empêcher DTS d'obtenir les journaux WAL, entraînant l'échec de la tâche ou, dans des cas exceptionnels, une incohérence ou une perte de données.

Contraintes d'exécution

• N'exécutez pas d'instructions DDL pendant la synchronisation du schéma ou la synchronisation complète des données, sous peine d'échec de la tâche.

• Si vous ajoutez une table à un schéma synchronisé ou renommez une table à l'aide de RENAME, exécutez ALTER TABLE schema.table REPLICA IDENTITY FULL; avant d'écrire des données dans la table. Cela permet d'éviter toute incohérence des données. Effectuez cette opération pendant les heures creuses pour éviter les interblocages.

  Remarque

  Remplacez schema et table par le nom réel du schéma et le nom de la table.

• Ne supprimez pas les tables temporaires créées par DTS dans la base de données source : public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session et public.aliyun_dts_instance. DTS supprime automatiquement ces tables lors de la libération de l'instance.

• Les transactions de longue durée dans la base de données source peuvent provoquer une accumulation des journaux WAL et épuiser l'espace disque.

• Si la base de données source fait l'objet d'une mise à niveau majeure de version pendant l'exécution de la tâche, celle-ci échoue et ne peut pas être récupérée. Reconfigurez la tâche.

• Une modification unique de données incrémentielles ne doit pas dépasser 256 Mo. Si tel est le cas, la tâche échoue et ne peut pas être récupérée. Reconfigurez la tâche.

Slots de réplication

DTS crée un slot de réplication préfixé par dts_sync_ dans la base de données source. Ce slot conserve les journaux incrémentiels des 15 dernières minutes.

DTS ajoute également une table de heartbeat nommée dts_postgres_heartbeat à la base de données source pour suivre la latence de synchronisation.

Contraintes spécifiques à la source

ApsaraDB RDS for PostgreSQL :

• Ne modifiez pas le point de terminaison ni la zone de l'instance RDS for PostgreSQL source pendant l'exécution de la tâche, sous peine d'échec de celle-ci.

• Pour effectuer un basculement primaire/secondaire sur l'instance source, activez d'abord la fonctionnalité Logical Replication Slot Failover. Consultez la rubrique Logical Replication Slot Failover.

PostgreSQL auto-géré :

• Définissez max_wal_senders et max_replication_slots sur des valeurs supérieures à la somme des slots de réplication existants et du nombre d'instances DTS à créer.

• Un basculement primaire/secondaire sur une base de données PostgreSQL auto-gérée entraîne l'échec de la tâche.

Google Cloud SQL for PostgreSQL :

• Définissez le paramètre Database Account sur un compte disposant de l'autorisation cloudsqlsuperuser. Lors de la sélection des objets à synchroniser, choisissez uniquement les objets que le compte est autorisé à gérer, ou accordez l'autorisation OWNER sur ces objets au compte.

  Remarque

  Un compte disposant de l'autorisation cloudsqlsuperuser ne peut pas gérer les données appartenant à d'autres comptes dotés de la même autorisation.

Cohérence des données

• Évaluez l'impact sur les performances des bases de données source et de destination avant de démarrer la tâche. Exécutez la tâche pendant les heures creuses.

• Lors de la synchronisation complète des données, les opérations INSERT simultanées créent une fragmentation des tables dans la base de données de destination ; ainsi, l'espace de table de destination peut être plus grand que celui de la source une fois la synchronisation complète terminée.

• Une incohérence des données survient si des données provenant de sources autres que DTS sont écrites dans la base de données de destination pendant la synchronisation. Si vous utilisez Data Management (DMS) pour effectuer des opérations DDL en ligne pendant que d'autres sources écrivent dans la destination, une perte de données peut se produire.

• Si vous n'utilisez que DTS pour écrire des données dans la destination, utilisez DMS pour effectuer des opérations DDL en ligne sur les tables sources pendant la synchronisation. Consultez la rubrique Modifier les schémas sans verrouiller les tables.

Récupération des tâches

En cas d'échec d'une tâche DTS, le support technique DTS tente une récupération dans un délai de 8 heures. Pendant la récupération, la tâche peut être redémarrée et les paramètres de la tâche (et non ceux de la base de données) peuvent être modifiés. Pour plus de détails sur les paramètres susceptibles de changer, consultez la section Modifier les paramètres de l'instance de la rubrique Modifier les paramètres d'une instance DTS.

Étape 1 : Accéder aux tâches de synchronisation des données

1. Connectez-vous à la console Data Management (DMS).

2. Dans la barre de navigation supérieure, cliquez sur Data + AI.

3. Dans le volet de navigation de gauche, choisissez DTS (DTS) > Data Synchronization.

   Remarque

   • La navigation peut varier selon le mode et la disposition de la console DMS. Consultez les rubriques Mode simple et Personnaliser la disposition et le style de la console DMS.

   • Vous pouvez également accéder directement à la page Tâches de synchronisation des données de la nouvelle console DTS.

Étape 2 : Créer une tâche

1. À droite de Data Synchronization Tasks, sélectionnez la région où résidera l'instance de synchronisation.

   Remarque

   Dans la nouvelle console DTS, sélectionnez la région dans la barre de navigation supérieure.

2. Cliquez sur Create Task.

3. (Facultatif) Cliquez sur New Configuration Page dans le coin supérieur droit.

   Remarque

   • Ignorez cette étape si Back to Previous Version s'affiche à la place.

   • Utilisez la nouvelle page de configuration, car certains paramètres diffèrent selon les versions.

Étape 3 : Configurer les bases de données source et de destination

Configurez les paramètres suivants :

Task name

Source database

Destination database

Étape 4 : Tester la connectivité

Cliquez sur Test Connectivity and Proceed.

DTS ajoute automatiquement ses blocs CIDR de serveur aux listes d'autorisation des instances de base de données Alibaba Cloud et aux règles de groupe de sécurité des bases de données hébergées sur ECS. Pour les bases de données auto-gérées dans des centres de données ou sur des plateformes cloud tierces, ajoutez manuellement les blocs CIDR du serveur DTS à la liste d'autorisation de la base de données. Consultez la rubrique Blocs CIDR des serveurs DTS.

Étape 5 : Configurer les objets de synchronisation

Configurer les objets et la gestion des conflits

Paramètre	Description
DDL and DML Operations to Be Synchronized	Opérations SQL à synchroniser. Pour configurer par table, faites un clic droit sur un objet dans Selected Objects et sélectionnez les opérations. Consultez la rubrique Opérations SQL prenant en charge la synchronisation incrémentielle.
Processing Mode of Conflicting Tables	Precheck and Report Errors : échoue la vérification préalable si les tables de destination partagent des noms avec les tables source. Utilisez le mappage des noms d'objets pour résoudre les conflits. Ignore Errors and Proceed : ignore la vérification des conflits de noms. Lors de la synchronisation complète, les enregistrements de destination existants avec des clés primaires ou uniques correspondantes sont conservés ; lors de la synchronisation incrémentielle, ils sont écrasés. Si les schémas diffèrent, l'initialisation peut échouer partiellement.
Capitalization of Object Names in Destination Instance	Façon dont DTS gère la casse des noms de bases de données, de tables et de colonnes dans la destination. La valeur par défaut est DTS default policy. Consultez la rubrique Spécifier la casse des noms d'objets dans l'instance de destination.
Source Objects	Sélectionnez des objets dans cette section et cliquez sur pour les ajouter à Selected Objects. Granularité sélectionnable : colonnes, tables ou schémas.
Selected Objects	Faites un clic droit sur une table pour la renommer, définir des filtres de données ou configurer des opérations SQL par table. Pour renommer plusieurs objets à la fois, cliquez sur Batch Edit. Consultez les rubriques Mapper les noms d'objets et Définir les conditions de filtrage.

Remarque

Le renommage d'un objet à l'aide du mappage des noms d'objets peut entraîner l'échec de la synchronisation des objets dépendants.

Étape 6 : Enregistrer les paramètres et exécuter une vérification préalable

Cliquez sur Next: Save Task Settings and Precheck.

Étape 7 : Acheter et démarrer l'instance

Attendez que le Success Rate atteigne 100 %, puis cliquez sur Next: Purchase Instance.

Sur la page d'achat, configurez les éléments suivants :

Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms, puis cliquez sur Buy and Start. Dans la boîte de dialogue de confirmation, cliquez sur OK.

La tâche apparaît dans la liste des tâches. Vous pouvez y surveiller sa progression.