Data Transmission Service:Configurer la synchronisation unidirectionnelle des données entre des instances ApsaraDB RDS for PostgreSQL

Exigences relatives à la base de données source

• Les tables doivent posséder une contrainte PRIMARY KEY ou UNIQUE, avec tous les champs uniques. Sans ces contraintes, la base de données de destination peut contenir des enregistrements en double.

  Si vous créez la tâche de synchronisation sans sélectionner Schema Synchronization , la table de destination doit avoir les mêmes contraintes PRIMARY KEY ou NOT NULL UNIQUE que la table source. Sinon, des enregistrements en double peuvent apparaître.

• Si vous sélectionnez des tables comme objets de synchronisation et souhaitez renommer des tables ou des colonnes dans la destination, une seule tâche prend en charge un maximum de 5 000 tables. Pour plus de 5 000 tables, répartissez la charge de travail sur plusieurs tâches ou synchronisez au niveau de la base de données plutôt qu'au niveau de la table.

• DTS ne peut pas synchroniser les tables temporaires, les déclencheurs internes ni certaines procédures et fonctions internes écrites en C. DTS peut synchroniser les paramètres personnalisés des types COMPOSITE, ENUM et RANGE. Les tables doivent avoir des contraintes PRIMARY KEY, FOREIGN KEY, UNIQUE ou CHECK.

• DTS crée un slot de réplication préfixé par dts_sync_ sur la base de données source, donnant à DTS accès aux journaux incrémentiels des 15 dernières minutes. L'accumulation de slots de réplication peut épuiser l'espace disque. Configurez une alerte d'utilisation du disque sur l'instance source lorsque la réplication logique est active. Comportement de nettoyage des slots de réplication :

  • Après la libération de l'instance DTS, le slot est supprimé automatiquement, sauf si vous avez modifié le mot de passe de la base de données source ou retiré les adresses IP de DTS de la liste d'autorisation IP, auquel cas vous devez supprimer le slot manuellement.

  • En cas de basculement primaire/secondaire sur la source, connectez-vous à la base de données secondaire et supprimez le slot manuellement.

• DTS crée les tables temporaires suivantes dans la base de données source pour capturer les instructions DDL, les schémas de table incrémentiels et les informations de pulsation. Ne les supprimez pas pendant l'exécution de la synchronisation ; elles sont supprimées automatiquement lors de la libération de l'instance DTS : public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session

• DTS ajoute une table de pulsation nommée dts_postgres_heartbeat à la base de données source pour suivre avec précision la latence de synchronisation.

• Pour effectuer un basculement primaire/secondaire sur l'instance source ApsaraDB RDS for PostgreSQL sans interrompre la synchronisation, activez d'abord la fonctionnalité Logical Replication Slot Failover. Consultez la rubrique Logical Replication Slot Failover.

• Si une modification incrémentielle unique des données dépasse 256 Mo, l'instance de synchronisation en cours d'exécution échoue et ne peut pas être récupérée ; vous devez reconfigurer la tâche.

• Pendant la synchronisation du schéma et la synchronisation complète des données, n'exécutez pas d'instructions DDL qui modifient les schémas de base de données ou de tables. La tâche échouerait dans ce cas.

• Si la base de données source contient des transactions de longue durée pendant la synchronisation incrémentielle des données, les journaux WAL générés avant la validation de ces transactions peuvent s'accumuler et épuiser l'espace disque.

• Si une mise à niveau majeure de version est effectuée sur la base de données source pendant l'exécution d'une instance de synchronisation, l'instance échoue et ne peut pas être récupérée ; vous devez reconfigurer la tâche.

Autres exigences

• Une seule tâche synchronise les données d'une seule base de données. Pour synchroniser plusieurs bases de données, créez une tâche distincte pour chacune.

• DTS ne peut pas synchroniser les tables ayant des relations d'héritage entre différents schémas.

• Si vous sélectionnez un schéma comme objet de synchronisation, exécutez l'instruction suivante avant d'écrire des données dans toute nouvelle table ou table renommée de ce schéma :

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Remplacez schema et table par les noms réels. Exécutez cette instruction pendant les heures creuses et évitez de verrouiller la table ; un verrouillage lors de l'exécution de cette instruction peut provoquer un interblocage.

• DTS ne valide pas les métadonnées telles que les séquences. Vérifiez manuellement la validité des séquences.

• Avant de basculer les charges de travail vers la base de données de destination, mettez à jour la valeur de départ des séquences dans la destination. Après le basculement, les nouvelles séquences écrites ne continuent pas à partir de la valeur maximale de la source.

• Lorsque le compte de destination est un compte privilégié ou superutilisateur et que les tables synchronisées contiennent des clés étrangères, des déclencheurs ou des déclencheurs d'événements, DTS définit temporairement session_replication_role sur replica au niveau de la session. Si le compte de destination ne dispose pas des autorisations requises, définissez ce paramètre manuellement sur replica. Les opérations UPDATE ou DELETE en cascade sur la source pendant cette période peuvent entraîner une incohérence des données. Après la libération de la tâche, redéfinissez le paramètre sur origin.

• L'écriture de données provenant d'autres sources dans la base de données de destination pendant la synchronisation provoque une incohérence des données. Par exemple, l'exécution d'instructions DDL en ligne depuis DMS pendant que d'autres sources écrivent dans la base de données de destination peut entraîner une perte de données.

• En cas d'échec d'une tâche, le support technique DTS tentera de la restaurer sous 8 heures. Pendant la restauration, la tâche peut être redémarrée et les paramètres de la tâche (et non les paramètres de la base de données) peuvent être modifiés.

Exigences pour des types spécifiques de bases de données sources

Source ApsaraDB RDS for PostgreSQL

Ne modifiez pas le point de terminaison ni la zone de l'instance source pendant l'exécution de la synchronisation. Cela entraînerait l'échec de la tâche.

Source PostgreSQL géré soi-même

Les valeurs de max_wal_senders et de max_replication_slots doivent chacune être supérieures à la somme du nombre de slots de réplication actuellement utilisés et du nombre d'instances DTS que vous prévoyez de créer pour cette base de données.

Source Cloud SQL for PostgreSQL (Google Cloud)

Définissez Database Account sur un compte disposant de l'autorisation cloudsqlsuperuser. Lors de la sélection des objets à synchroniser, choisissez uniquement les objets que le compte est autorisé à gérer, ou accordez l'autorisation OWNER sur ces objets au compte.

Un compte disposant de l'autorisation cloudsqlsuperuser ne peut pas gérer les données appartenant à d'autres comptes disposant de la même autorisation.

Étape 1 : Ouvrir la page de synchronisation des données

Utilisez la console DTS ou la console DMS.

Étape 2 : Créer la tâche

1. Cliquez sur Create Task.

2. Si la page affiche un bouton New Configuration Page dans le coin supérieur droit, cliquez dessus.

   Ignorez cette étape si Back to Previous Version est affiché à la place. Les pages de configuration nouvelle et précédente peuvent différer légèrement ; utilisez la nouvelle version.

Étape 3 : Configurer les bases de données source et de destination

Étape 4 : Tester la connectivité

Cliquez sur Test Connectivity and Proceed en bas de la page.

Les blocs CIDR du serveur DTS doivent être ajoutés aux paramètres de sécurité des deux bases de données. Consultez la rubrique Ajouter les blocs CIDR des serveurs DTS . Si l'une des bases de données est gérée soi-même et n'est pas configurée pour l'accès Alibaba Cloud Instance , cliquez sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers .

Étape 5 : Configurer les objets à synchroniser

À l'étape Configure Objects , définissez les paramètres suivants :

Étape 6 : Configurer les paramètres avancés

Cliquez sur Next: Advanced Settings et configurez les éléments suivants :

Étape 7 : Configurer la vérification des données (facultatif)

Cliquez sur Next Step: Data Verification pour configurer la vérification. Consultez la rubrique Configurer une tâche de vérification des données.

Étape 8 : Exécuter la vérification préalable

Cliquez sur Next: Save Task Settings and Precheck.

Pour prévisualiser les paramètres API pour cette configuration de tâche, survolez le bouton et cliquez sur Preview OpenAPI parameters avant de continuer.

DTS exécute une vérification préalable avant que la tâche ne puisse démarrer. Si la vérification préalable échoue :

• Cliquez sur View Details à côté de chaque élément ayant échoué, résolvez le problème, puis cliquez sur Precheck Again.

• Si un élément affiche une alerte pouvant être ignorée, cliquez sur Confirm Alert Details > Ignore > OK, puis cliquez sur Precheck Again. Ignorer les alertes peut entraîner une incohérence des données.

Étape 9 : Acheter et démarrer l'instance

1. Attendez que le Success Rate atteigne 100%, puis cliquez sur Next: Purchase Instance.

2. Sur la page d'achat, configurez les éléments suivants :

   Section	Paramètre	Description
   New Instance Class	Méthode de facturation	Abonnement : Vous payez un abonnement lors de la création d'une instance de synchronisation des données. La méthode de facturation par abonnement est plus rentable que la méthode de facturation au paiement à l'utilisation pour une utilisation à long terme. Paiement à l'utilisation : Une instance au paiement à l'utilisation est facturée à l'heure. La méthode de facturation au paiement à l'utilisation convient pour une utilisation à court terme. Si vous n'avez plus besoin d'une instance de synchronisation des données au paiement à l'utilisation, vous pouvez la libérer pour réduire les coûts.
   	Paramètres du groupe de ressources	Le groupe de ressources auquel appartient l'instance de synchronisation des données. Valeur par défaut : default resource group. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?
   	Classe d'instance	DTS propose des classes d'instance variant en fonction de la vitesse de synchronisation. Vous pouvez sélectionner une classe d'instance en fonction de vos besoins métier. Pour plus d'informations, consultez la rubrique Classes d'instance des instances de synchronisation des données.
   	Durée de l'abonnement	Si vous sélectionnez la méthode de facturation par abonnement, spécifiez la durée de l'abonnement et le nombre d'instances de synchronisation des données que vous souhaitez créer. La durée de l'abonnement peut être de un à neuf mois, un an, deux ans, trois ans ou cinq ans. Remarque Ce paramètre est disponible uniquement si vous sélectionnez la méthode de facturation Subscription.

3. Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

4. Cliquez sur Buy and Start, puis cliquez sur OK dans la boîte de dialogue.

Consultez la progression de la tâche dans la liste des tâches.