Data Transmission Service:Synchronize data from a self-managed PostgreSQL database to an ApsaraDB RDS for PostgreSQL instance

Limites de la base de données source

• Les tables à synchroniser doivent comporter des contraintes PRIMARY KEY ou UNIQUE, et tous les champs doivent être uniques. Dans le cas contraire, la base de données de destination peut contenir des enregistrements en double.

  Si vous créez une tâche de synchronisation des données sans sélectionner Schema Synchronization , assurez-vous que la table de destination possède les mêmes contraintes PRIMARY KEY ou NOT NULL UNIQUE que la table source.

• Si vous sélectionnez des tables comme objets de synchronisation et que vous devez renommer des tables ou des colonnes dans la base de données de destination, une seule tâche prend en charge jusqu'à 5 000 tables. Pour plus de 5 000 tables, configurez plusieurs tâches ou synchronisez plutôt la base de données entière.

• DTS ne peut pas synchroniser les tables temporaires, les déclencheurs internes ni les procédures et fonctions internes écrites en C. DTS peut synchroniser les paramètres personnalisés des types COMPOSITE, ENUM et RANGE. Les tables doivent comporter des contraintes PRIMARY KEY, FOREIGN KEY, UNIQUE ou CHECK.

• Exigences relatives aux journaux WAL :

  • Définissez wal_level sur logical.

  • Pour la synchronisation incrémentielle uniquement : conservez les journaux de pré-écriture (WAL) pendant plus de 24 heures.

  • Pour la synchronisation complète + incrémentielle : conservez les journaux WAL pendant au moins 7 jours. Une fois la synchronisation complète terminée, vous pouvez réduire la période de conservation à plus de 24 heures.

  • Si les journaux WAL ne sont pas conservés pendant la durée requise, DTS peut échouer à les lire, ce qui entraîne l'échec de la tâche ou une perte de données.

• Les valeurs max_wal_senders et max_replication_slots doivent chacune être supérieures à la somme suivante : le nombre d'emplacements de réplication actuellement utilisés dans la base de données source, plus le nombre d'instances DTS dont la source est cette base de données.

• Si un basculement primaire/secondaire se produit sur la base de données source pendant l'exécution d'une tâche de synchronisation, la tâche échoue. Après le basculement, connectez-vous à la base de données secondaire pour supprimer l'emplacement de réplication préfixé par dts_sync_.

• Si la base de données source exécute des transactions de longue durée pendant la synchronisation incrémentielle, les journaux WAL générés avant la validation de ces transactions peuvent s'accumuler et épuiser l'espace disque.

• Si la source est une instance Cloud SQL for PostgreSQL sur Google Cloud Platform, vous devez définir le paramètre Database Account sur un compte de base de données disposant de l'autorisation cloudsqlsuperuser. Lorsque vous sélectionnez les objets à synchroniser, vous ne devez sélectionner que les objets que le compte spécifié est autorisé à gérer. Sinon, vous devez accorder l'autorisation OWNER sur les objets sélectionnés au compte spécifié.

  Un compte cloudsqlsuperuser ne peut pas gérer les données appartenant à d'autres comptes cloudsqlsuperuser .

• Si une modification unique des données incrémentielles dépasse 256 Mo, la tâche de synchronisation échoue et ne peut pas être récupérée. Reconfigurez la tâche.

• Pendant la synchronisation du schéma et la synchronisation complète des données, n'exécutez pas d'instructions DDL modifiant les schémas de base de données ou de tables. La tâche échouerait.

• Si la base de données source fait l'objet d'une mise à niveau majeure de version pendant l'exécution d'une tâche, la tâche échoue et ne peut pas être récupérée. Reconfigurez la tâche.

Autres limites

• Une seule tâche de synchronisation des données peut synchroniser les données d'une seule base de données. Pour synchroniser à partir de plusieurs bases de données, créez une tâche distincte pour chacune.

• DTS ne peut pas synchroniser les tables ayant des relations d'héritage inter-schémas.

• Si vous sélectionnez un schéma comme objet de synchronisation : lorsque vous créez une table dans le schéma ou renommez une table avec RENAME, exécutez l'instruction suivante avant d'écrire des données dans la table :

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Remplacez schema et table par les noms réels. Exécutez cette instruction pendant les heures creuses sans verrouiller la table afin d'éviter les interblocages.

• DTS ne valide pas les métadonnées telles que les séquences. Vérifiez manuellement la validité des séquences avant et après la tâche.

• Après avoir basculé vos charges de travail vers la base de données de destination, les nouvelles séquences écrites ne continuent pas à partir de la valeur maximale de la source. Mettez à jour la valeur de départ des séquences dans la base de données de destination avant le basculement.

• DTS crée les tables temporaires suivantes dans la base de données source pendant la synchronisation. Ne les supprimez pas pendant l'exécution de la tâche. Elles sont automatiquement supprimées lors de la libération de l'instance DTS :

  • public.dts_pg_class

  • public.dts_pg_attribute

  • public.dts_pg_type

  • public.dts_pg_enum

  • public.dts_postgres_heartbeat

  • public.dts_ddl_command

  • public.dts_args_session

• DTS ajoute une table de heartbeat nommée dts_postgres_heartbeat à la base de données source pour suivre la latence de synchronisation.

• DTS crée un emplacement de réplication préfixé par dts_sync_ sur la base de données source et l'utilise pour lire les journaux incrémentiels des 15 dernières minutes. L'emplacement est automatiquement supprimé lorsque la tâche est libérée ou échoue. Si un basculement primaire/secondaire se produit, supprimez manuellement l'emplacement de la base de données secondaire.

  

• Évaluez l'impact sur les performances des deux bases de données avant de démarrer la synchronisation et planifiez la tâche pendant les heures creuses. Lors de la synchronisation complète initiale, DTS utilise les ressources de lecture et d'écriture des deux bases de données, ce qui augmente la charge du serveur.

• Lors de la synchronisation complète initiale, les opérations INSERT concurrentes provoquent une fragmentation des tables dans la base de données de destination. L'espace de tablespace utilisé par la base de données de destination sera plus grand que celui de la base de données source une fois la synchronisation complète terminée.

• Si DTS est la seule source écrivant dans la base de données de destination, vous pouvez utiliser Data Management Service (DMS) pour exécuter des opérations DDL en ligne sur les tables sources pendant la synchronisation. Consultez Modifier les schémas sans verrouiller les tables.

• Si des données provenant d'autres sources sont écrites dans la base de données de destination pendant la synchronisation, une incohérence des données peut survenir. L'exécution d'instructions DDL en ligne dans DMS pendant que d'autres sources écrivent dans la destination peut entraîner une perte de données.

• Si vous utilisez un compte privilégié ou superuser pour la base de données de destination et que les tables en cours de synchronisation contiennent des clés étrangères, des déclencheurs ou des déclencheurs d'événements, DTS définit temporairement session_replication_role sur replica au niveau de la session. Si le compte de destination ne dispose pas des autorisations suffisantes, définissez manuellement session_replication_role sur replica. Les opérations UPDATE ou DELETE en cascade sur la source pendant cette période peuvent provoquer une incohérence des données. Une fois la tâche libérée, réinitialisez session_replication_role sur origin.

• En cas d'échec d'une tâche DTS, le support technique DTS tentera de la restaurer dans un délai de 8 heures. Pendant la restauration, la tâche peut être redémarrée et certains paramètres de tâche peuvent être modifiés (les paramètres de base de données ne sont pas modifiés). Pour connaître les paramètres susceptibles d'être modifiés, consultez Modifier les paramètres de l'instance.

Limites de la synchronisation DDL

La synchronisation DDL est disponible uniquement pour les tâches créées après le 1er octobre 2020.

Pour la synchronisation DDL, le compte de la base de données source doit être un compte privilégié et la version mineure de la base de données doit être 20210228 ou ultérieure. Instructions DDL prises en charge :

• CREATE TABLE et DROP TABLE

• ALTER TABLE : RENAME TABLE, ADD COLUMN, ADD COLUMN DEFAULT, ALTER COLUMN TYPE, DROP COLUMN, ADD CONSTRAINT, ADD CONSTRAINT CHECK, ALTER COLUMN DROP DEFAULT

• TRUNCATE TABLE (PostgreSQL 11 ou version ultérieure)

• CREATE INDEX ON TABLE

Instructions DDL qui ne peuvent pas être synchronisées :

• Instructions avec les modificateurs CASCADE ou RESTRICT

• DDL provenant de sessions ayant exécuté SET session_replication_role = replica

• DDL exécutées en invoquant des fonctions

• DDL mélangées avec DML dans la même validation

• DDL pour des objets non sélectionnés pour la synchronisation

Étape 1 : Vérifier et configurer les paramètres WAL

1. Connectez-vous au serveur hébergeant la base de données PostgreSQL auto-gérée.

2. Interrogez le nombre d'emplacements de réplication actuellement utilisés :

   SELECT count(1) FROM pg_replication_slots;

3. Ouvrez postgresql.conf et définissez les paramètres suivants. Les valeurs de max_wal_senders et max_replication_slots doivent chacune dépasser la somme suivante : le nombre actuel d'emplacements de réplication utilisés plus le nombre d'instances DTS ciblant cette base de données.

   # Replication settings
   wal_level = logical          # Change requires restart
   
   max_wal_senders = 10         # Max number of walsender processes; change requires restart
   max_replication_slots = 10   # Max number of replication slots; change requires restart

   Redémarrez la base de données après avoir enregistré ces modifications.

Étape 2 : Autoriser l'accès au serveur DTS

Ajoutez les blocs CIDR des serveurs DTS à pg_hba.conf. Ajoutez uniquement les blocs CIDR des serveurs DTS situés dans la même région que la base de données de destination. Consultez Ajouter les blocs CIDR des serveurs DTS.

Après avoir mis à jour pg_hba.conf, exécutez l'instruction suivante ou redémarrez la base de données pour appliquer les modifications :

SELECT pg_reload_conf();

Ignorez cette étape si pg_hba.conf contient déjà 0.0.0.0/0 . Pour obtenir des références sur le format du fichier, consultez Le fichier pg_hba.conf .

Étape 3 : Créer la base de données et le schéma de destination

Dans l'instance RDS, créez une base de données et un schéma correspondant à la source. Les noms des schémas dans les bases de données source et de destination doivent être identiques. Consultez Créer une base de données et Gérer les comptes à l'aide de schémas.

Étapes supplémentaires pour PostgreSQL 9.4.8 à 10.0

Si la version de votre base de données source se situe entre PostgreSQL 9.4.8 et 10.0, effectuez les étapes suivantes avant de configurer la tâche de synchronisation.

1. Compiler et installer PostgreSQL à partir du code source

1. Connectez-vous au serveur.

2. Téléchargez le code source de votre version PostgreSQL depuis le site Web officiel de PostgreSQL.

3. Exécutez les commandes suivantes pour configurer, compiler et installer :

   Important

   - La version du système d'exploitation doit être compatible avec la version de GNU Compiler Collection (GCC) utilisée. - Si sudo ./configure échoue avec une erreur telle que readline library not found, ajoutez l'indicateur --without-readline : sudo ./configure --without-readline. - Si vous installez PostgreSQL à l'aide d'une autre méthode, compilez ali_decoding dans un environnement de test avec les mêmes versions de système d'exploitation et de GCC.

   sudo ./configure
   sudo make
   sudo make install

2. Compiler et installer l'extension ali_decoding

1. Téléchargez ali_decoding.

2. Copiez le répertoire ali_decoding dans le répertoire contrib de l'installation PostgreSQL compilée.

   

3. Dans le répertoire ali_decoding, remplacez le contenu du Makefile par ce qui suit :

   # contrib/ali_decoding/Makefile
   MODULE_big = ali_decoding
   MODULES = ali_decoding
   OBJS    = ali_decoding.o
   
   DATA = ali_decoding--0.0.1.sql ali_decoding--unpackaged--0.0.1.sql
   
   EXTENSION = ali_decoding
   
   NAME = ali_decoding
   
   ifdef USE_PGXS
   PG_CONFIG = pg_config
   PGXS := $(shell $(PG_CONFIG) --pgxs)
   include $(PGXS)
   else
   subdir = contrib/ali_decoding
   top_builddir = ../..
   include $(top_builddir)/src/Makefile.global
   include $(top_srcdir)/contrib/contrib-global.mk
   endif

4. Dans le répertoire ali_decoding, compilez et installez l'extension :

   sudo make
   sudo make install

5. Copiez les fichiers générés dans les répertoires indiqués ci-dessous.

   

6. Créez la base de données et le schéma de destination dans l'instance RDS, comme décrit dans Étape 3 : Créer la base de données et le schéma de destination.

Étape 1 : Accéder à la page Data Synchronization

Utilisez la console DTS ou la console DMS.

Console DTS :

1. Connectez-vous à la console DTS.

2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

3. Dans le coin supérieur gauche, sélectionnez la région où l'instance de synchronisation sera hébergée.

Console DMS :

La disposition peut varier selon le mode de votre console DMS. Consultez les rubriques Simple mode et Customize the layout and style of the DMS console.

1. Connectez-vous à la console DMS.

2. Dans la barre de navigation supérieure, placez le pointeur sur Data + AI, puis choisissez DTS (DTS) > Data Synchronization.

3. Dans la liste déroulante située à côté de Data Synchronization Tasks, sélectionnez la région cible.

Étape 2 : Créer la tâche

Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

Si la page affiche un bouton New Configuration Page dans le coin supérieur droit, cliquez dessus pour basculer vers la nouvelle version.

Si Back to Previous Version s'affiche à la place, vous êtes déjà sur la nouvelle page de configuration. La nouvelle version est recommandée.

Étape 3 : Configurer les bases de données source et de destination

Étape 4 : Tester la connectivité

Cliquez sur Test Connectivity and Proceed en bas de la page.

Les blocs CIDR du serveur DTS doivent être ajoutés aux paramètres de sécurité des bases de données source et de destination. Consultez la rubrique Add the CIDR blocks of DTS servers.

Si la méthode d'accès à la base de données source n'est pas Alibaba Cloud Instance, cliquez sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers qui s'affiche.

Étape 5 : Configurer les objets de synchronisation

À l'étape Configure Objects, définissez les paramètres suivants.

Étape 6 : Configurer les paramètres avancés

Cliquez sur Next: Advanced Settings et configurez les paramètres suivants.

Étape 7 : Configurer la vérification des données

Cliquez sur Next Step: Data Verification pour configurer la vérification. Consultez la rubrique Configure a data verification task.

Étape 8 : Exécuter la prévérification

Cliquez sur Next: Save Task Settings and Precheck.

Pour afficher un aperçu des paramètres API pour cette configuration, placez le pointeur sur Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters.

DTS exécute une prévérification avant que la tâche ne puisse démarrer. La tâche ne commence qu'après la réussite de la prévérification.

Si la prévérification échoue, cliquez sur View Details à côté de chaque élément ayant échoué, résolvez les problèmes, puis cliquez sur Precheck Again.

Pour les éléments d'alerte qui peuvent être ignorés en toute sécurité : cliquez sur Confirm Alert Details, puis sur Ignore et confirmez. Ensuite, cliquez sur Precheck Again. Ignorer les alertes peut entraîner une incohérence des données.

Étape 9 : Acheter l'instance de synchronisation

Attendez que le Success Rate atteigne 100 %, puis cliquez sur Next: Purchase Instance.

Sur la page Buy, configurez les paramètres suivants.

Sélectionnez Data Transmission Service (Pay-as-you-go) Service Terms, puis cliquez sur Buy and Start. Dans la boîte de dialogue, cliquez sur OK.

Une fois l'instance achetée, la tâche démarre automatiquement. Surveillez sa progression dans la liste des tâches.

Vérifier la cohérence des données

Une fois que la tâche atteint la phase de synchronisation incrémentielle, vérifiez que les données des bases de données source et de destination sont cohérentes avant de basculer vos charges de travail.

Pour une vérification complète, utilisez la fonctionnalité de vérification des données DTS. Consultez la rubrique Configure a data verification task.

Basculer les charges de travail vers la base de données de destination

Avant de basculer les charges de travail, assurez-vous que la latence de synchronisation est égale ou proche de 0. Vous pouvez surveiller la latence depuis la liste des tâches dans la console DTS.

Avant le basculement :

1. Arrêtez les écritures dans la base de données source pour permettre la synchronisation des modifications restantes.

2. Attendez que la latence de synchronisation atteigne 0.

3. Mettez à jour la valeur de départ des séquences dans la base de données de destination. Les nouvelles séquences écrites ne continuent pas à partir de la valeur maximale de la source après le basculement.

Après le basculement, si session_replication_role était défini sur replica pendant la synchronisation, réinitialisez-le sur origin.