Utilisez Data Transmission Service (DTS) pour synchroniser les données d'une instance ApsaraDB RDS for PostgreSQL vers un cluster PolarDB for PostgreSQL.
Prérequis
-
Créez un cluster de destination PolarDB for PostgreSQL. Sa capacité de stockage doit être supérieure à l'espace de stockage utilisé par l'instance source ApsaraDB RDS for PostgreSQL. Pour plus d'informations, consultez la rubrique Créer un cluster de base de données.
RemarquePour connaître les versions prises en charge des bases de données source et de destination, consultez la rubrique Scénarios de synchronisation des données.
Créez une base de données dans le cluster de destination PolarDB for PostgreSQL pour recevoir les données synchronisées. Pour plus d'informations, consultez la rubrique Gestion des bases de données.
Notes
Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade sont effectuées sur la base de données source pendant l'exécution de la tâche.
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
|
Cas particuliers |
|
Tarification
|
Type de synchronisation |
Frais |
|
Synchronisation du schéma et synchronisation complète |
Gratuit. |
|
Synchronisation incrémentielle |
Des frais s'appliquent. Consultez la rubrique Présentation de la facturation. |
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle en cascade
Synchronisation unidirectionnelle plusieurs-à-un
Pour plus d'informations sur les topologies de synchronisation prises en charge et les notes d'utilisation, consultez la rubrique Topologies de synchronisation des données.
Objets pris en charge
-
SCHEMA,TABLE.RemarqueCela inclut
PRIMARY KEY,UNIQUE KEY,FOREIGN KEY,DATATYPE(types de données intégrés) etDEFAULT CONSTRAINT. VIEW,PROCEDURE(nécessite PostgreSQL 11 ou version ultérieure),FUNCTION,RULE,SEQUENCE,EXTENSION,TRIGGER,AGGREGATE,INDEX,OPERATOR,DOMAIN.
Opérations SQL prises en charge
|
Type d'opération |
Opération SQL |
|
DML |
|
|
DDL |
|
Autorisations requises pour le compte de base de données
|
Base de données |
Autorisations requises |
Création de compte et autorisation |
|
RDS PostgreSQL |
Un compte à privilèges élevés qui doit également être le propriétaire (compte autorisé) de la base de données sélectionnée. Remarque
Si vous avez uniquement besoin de synchroniser les opérations DML pour une instance source RDS PostgreSQL 9.4, le compte nécessite uniquement l'autorisation |
|
|
PolarDB for PostgreSQL |
Autorisation de propriétaire sur le Remarque
Vous pouvez utiliser le propriétaire de la base de données que vous avez spécifié lors de la création de la base de données. |
Créer un compte de base de données et gérer la base de données. |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans l'angle supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menus supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Section
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez PostgreSQL.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région de l'instance ApsaraDB RDS for PostgreSQL source.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, la synchronisation est effectuée au sein du même compte Alibaba Cloud. Sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance ApsaraDB RDS for PostgreSQL source.
Database Name
Saisissez le nom de la base de données de l'instance ApsaraDB RDS for PostgreSQL source qui contient les objets de synchronisation.
Database Account
Saisissez le compte de base de données pour l'instance ApsaraDB RDS for PostgreSQL source. Pour plus d'informations sur les exigences en matière d'autorisations, consultez la section Autorisations requises pour le compte de base de données.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
Encryption
Indique s'il faut chiffrer la connexion à la base de données source. Vous pouvez configurer ce paramètre en fonction de vos besoins métier. Dans cet exemple, l'option Non-encrypted est sélectionnée.
Si vous souhaitez établir une connexion chiffrée SSL avec la base de données source, procédez comme suit : sélectionnez SSL-encrypted, téléchargez le CA Certificate, le Client Certificate et la Private Key of Client Certificate selon vos besoins, puis spécifiez le Private Key Password of Client Certificate.
Remarque-
Si vous définissez le paramètre Encryption sur SSL-encrypted pour une base de données PostgreSQL autogérée, vous devez télécharger le CA Certificate.
-
Si vous souhaitez utiliser le certificat client, vous devez télécharger le Client Certificate et la Private Key of Client Certificate, puis spécifier le Private Key Password of Client Certificate.
-
Pour savoir comment configurer le chiffrement SSL pour une instance ApsaraDB RDS for PostgreSQL, consultez la rubrique Chiffrement SSL.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez PolarDB for PostgreSQL.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région du cluster PolarDB for PostgreSQL de destination.
Instance ID
Sélectionnez l'ID du cluster PolarDB for PostgreSQL de destination.
Database Name
Saisissez le nom de la base de données du cluster PolarDB for PostgreSQL cible qui recevra les données.
Database Account
Saisissez le compte de base de données pour le cluster PolarDB for PostgreSQL de destination. Pour plus d'informations sur les exigences en matière d'autorisations, consultez la section Autorisations requises pour le compte de base de données.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données autogérée (où la méthode Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Parameter
Description
Synchronization Types
Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la prévérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de base pour la synchronisation incrémentielle des données ultérieure.
Synchronization Topology
Sélectionnez One-way Synchronization.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la prévérification réussit. Si une table du même nom existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Map table and column names.
-
Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité en péril. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
-
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.Remarque-
Sélectionnez les objets à synchroniser au niveau du schéma ou de la table. Si vous sélectionnez des tables comme objets de synchronisation, les autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
-
Si une table à synchroniser contient un champ de type SERIAL et que Synchronization Types est sélectionné pour Schema Synchronization, nous vous recommandons de sélectionner également Sequence ou l'intégralité du schéma.
Selected Objects
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Map a single database, table, or column.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Map databases, tables, and columns in a batch.
Remarque-
Pour sélectionner des opérations SQL au niveau de la base de données ou de la table, faites un clic droit sur un objet dans la zone Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
-
Pour filtrer les données à l'aide d'une clause WHERE, faites un clic droit sur une table dans la zone Selected Objects et spécifiez la condition de filtre dans la boîte de dialogue. Pour plus d'informations, consultez Filter task data with an SQL condition.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Parameter
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez What is a DTS dedicated cluster?.
Retry Time for Failed Connections
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins professionnels ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et commence immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization.
-
Vous pouvez également ajuster le taux de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Sélectionnez un tag d'environnement pour identifier l'instance. Dans cet exemple, aucune sélection n'est requise.
Configure ETL
Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez What is ETL? Valeurs valides :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configure ETL in a data migration or data synchronization task.
-
No : désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configure monitoring and alerting during task configuration.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir des instructions de configuration.
-
-
Enregistrez la tâche et exécutez une prévérification.
Pour afficher les paramètres API permettant de configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
Une fois que vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer que si tous les éléments de prévérification réussissent.
Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la prévérification.
-
Si la prévérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la prévérification.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et réexécuter la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Category
Parameter
Description
New Instance Class
Billing Method
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est élevée.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
Resource Group Configuration
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez What is Resource Management?.
Link Specification
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario professionnel. Pour plus d'informations, consultez Data synchronization link specifications.
Subscription Duration
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Subscription.
-
Une fois la configuration terminée, lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.