Data Transmission Service (DTS) synchronise les données d'un cluster PolarDB for PostgreSQL (Compatible with Oracle) vers un cluster AnalyticDB for MySQL 3,0.
Prérequis
Un cluster de destination AnalyticDB for MySQL 3,0 a été créé. Pour plus d'informations, consultez la rubrique Créer un cluster.
Dans le cluster source PolarDB for PostgreSQL (Compatible with Oracle), le paramètre wal_level est défini sur logical. Ce paramètre ajoute au journal des transactions à anticipation d'écriture (WAL) les informations nécessaires au décodage logique. Pour plus d'informations, consultez la rubrique Définir les paramètres du cluster.
L'espace de stockage disponible de l'instance de destination AnalyticDB for MySQL 3,0 doit être supérieur à l'espace de stockage utilisé par l'instance source PolarDB for PostgreSQL (Compatible with Oracle).
Limites
Lors de la synchronisation du schéma de la base de données et des tables, DTS ne synchronise pas les clés étrangères de la base de données source vers la base de données de destination.
Pendant toute la durée de la synchronisation complète et incrémentielle, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Si des mises à jour ou des suppressions en cascade se produisent dans la base de données source pendant l'exécution de la tâche, des incohérences de données peuvent survenir.
DTS ne prend pas en charge la synchronisation des vues matérialisées vers l'instance AnalyticDB MySQL de destination lors de la synchronisation du schéma ; si des vues matérialisées sont requises, vous devez les créer manuellement sur l'instance de destination une fois la synchronisation terminée.
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Facturé. Pour plus d'informations, consultez la rubrique Présentation de la facturation. |
Opérations SQL prises en charge
Type d'opération | Instruction SQL |
DML | INSERT, UPDATE, DELETE Remarque
Lors de l'écriture des données dans le cluster AnalyticDB for MySQL, l'instruction UPDATE est automatiquement convertie en instruction REPLACE INTO. |
Autorisations des comptes de base de données
|
Base de données |
Autorisations requises |
Création de compte et autorisation |
|
Instance source PolarDB for PostgreSQL (Compatible with Oracle) |
Autorisations d'un compte privilégié. |
|
|
Instance de destination AnalyticDB for MySQL 3,0 |
Autorisations de lecture et d'écriture pour les objets de synchronisation dans la base de données de destination. |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Section
Paramètre
Description
S.O.
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez PolarDB (Compatible with Oracle).
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où réside l'instance PolarDB for PostgreSQL (Compatible with Oracle) source.
Instance ID
Sélectionnez l'ID de l'instance PolarDB for PostgreSQL (Compatible with Oracle) source.
Database Name
Saisissez le nom de la base de données dans l'instance PolarDB for PostgreSQL (Compatible with Oracle) source qui contient les objets de synchronisation.
Database Account
Saisissez le compte de base de données pour l'instance PolarDB for PostgreSQL (Compatible with Oracle) source. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations du compte de base de données.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez AnalyticDB for MySQL 3.0.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où réside l'instance AnalyticDB for MySQL 3,0 de destination.
Instance ID
Sélectionnez l'ID de l'instance AnalyticDB for MySQL 3,0 de destination.
Database Account
Saisissez le compte de base de données pour l'instance AnalyticDB for MySQL 3,0 de destination. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations du compte de base de données.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données autogérée (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Parameter
Description
Synchronization Types
Les types de synchronisation. Par défaut, l'option Incremental Data Synchronization est sélectionnée. Vous devez également sélectionner les options Schema Synchronization et Full Data Synchronization. Une fois la prévérification terminée, DTS synchronise les données historiques des objets sélectionnés depuis la base de données source vers le cluster de destination. Ces données historiques constituent la base de la synchronisation incrémentielle ultérieure.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table homonyme n'existe, la prévérification réussit. En revanche, si une telle table existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table homonyme dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Map table and column names.
-
Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et mettre votre activité en péril. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase celui de la base de données de destination.
-
-
Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Agissez avec prudence.
-
DDL and DML Operations to Be Synchronized
Sélectionnez les opérations SQL pour la synchronisation incrémentielle des données au niveau de l'instance. Pour obtenir la liste des opérations prises en charge, consultez la section Supported SQL operations.
RemarquePour sélectionner les opérations SQL de synchronisation incrémentielle au niveau de la base de données ou de la table, cliquez avec le bouton droit sur un objet de synchronisation dans le volet Selected Objects et choisissez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
Merge Tables
-
Sélectionnez l'option Yes : dans les scénarios OLTP, le partitionnement de bases de données et de tables est souvent utilisé pour améliorer le temps de réponse des tables métier. Dans les scénarios OLAP, comme c'est le cas pour la base de données de destination dans cet exemple, une seule table de données peut stocker des volumes massifs de données, ce qui rend les requêtes sur table unique plus pratiques. Dans de tels scénarios, vous pouvez utiliser la fonctionnalité de fusion multi-tables de DTS pour synchroniser plusieurs tables ayant le même schéma (tables partitionnées) depuis la base de données source vers une table unique dans la base de données de destination. Pour des instructions détaillées, consultez la rubrique Enable multi-table merge.
Remarque-
Après avoir sélectionné plusieurs tables dans la base de données source, vous devez utiliser la fonctionnalité de mappage de noms d'objets pour leur attribuer le même nom de table dans la base de données de destination. Pour en savoir plus sur cette fonctionnalité, consultez la rubrique Map table and column names.
-
DTS ajoute la colonne
__dts_data_sourcede type texte à la table de destination afin de stocker la source des données. La valeur de cette colonne utilise le formatDTS instance ID:database name:schema name:table namepour identifier l'origine de la table, par exempledts****:dtstestdata:testschema:customer1. -
La fonctionnalité de fusion multi-tables s'applique au niveau de la tâche, ce qui signifie que vous ne pouvez pas effectuer de fusion multi-tables au niveau de la table. Si vous souhaitez fusionner certaines tables mais pas d'autres, vous devez créer deux tâches de synchronisation des données distinctes.
AvertissementN'exécutez pas d'opérations DDL pour modifier le schéma de la base de données ou de la table dans la base de données source. Sinon, des incohérences de données ou un échec de la tâche de synchronisation peuvent survenir.
-
-
Sélectionnez l'option No. Il s'agit de l'option par défaut.
Capitalization of Object Names in Destination Instance
Configurez la casse des noms d'objets (bases de données, tables et colonnes) dans l'instance de destination. La valeur par défaut est la DTS default policy, mais vous pouvez sélectionner une politique correspondant à la casse de la base de données source ou de destination. Pour plus d'informations, consultez la rubrique Capitalization of object names in the destination instance.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.Remarque-
Vous pouvez sélectionner des colonnes, des tables ou des bases de données comme objets à synchroniser. Si vous sélectionnez des tables ou des colonnes, DTS ne synchronise pas d'autres objets tels que les vues, les déclencheurs ou les procédures stockées vers la base de données de destination.
-
Si vous sélectionnez une base de données comme objet à synchroniser, DTS applique les règles par défaut suivantes :
-
Si la table source possède une clé primaire (sur une seule colonne ou composite), les colonnes de clé primaire sont utilisées comme clés de distribution.
-
Si la table source ne possède pas de clé primaire, une colonne de clé primaire à incrémentation automatique est générée dans la table de destination. Cela peut entraîner des incohérences de données entre les bases de données source et de destination.
-
Selected Objects
-
Pour définir le nom d'un objet de synchronisation dans l'instance de destination ou spécifier quel objet reçoit les données, cliquez avec le bouton droit sur l'objet de synchronisation dans la zone Selected Objects et modifiez-le. Pour plus d'informations, consultez la rubrique Map table and column names.
-
Pour supprimer un objet de synchronisation, cliquez dessus dans la zone Selected Objects, puis cliquez sur
pour le déplacer vers la zone Source Objects.
Remarque-
Si vous utilisez la fonctionnalité de mappage de noms d'objets, la synchronisation d'autres objets dépendant de l'objet mappé peut échouer.
-
Pour définir une clause WHERE afin de filtrer les données, cliquez avec le bouton droit sur la table à synchroniser dans la zone Selected Objects. Dans la boîte de dialogue qui s'affiche, définissez la condition de filtre. Pour plus d'informations, consultez la rubrique Set filter conditions.
-
Pour sélectionner les opérations SQL pour la synchronisation incrémentielle, cliquez avec le bouton droit sur l'objet de synchronisation dans la zone Selected Objects et sélectionnez les opérations souhaitées dans la boîte de dialogue qui s'affiche.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Parameter
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner de cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique What is a DTS dedicated cluster?.
Retry Time for Failed Connections
Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir une durée d'au moins 30 minutes. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, sera appliquée aux deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Une fois la tâche de synchronisation démarrée, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser cette durée dans une plage allant de 1 à 1 440 minutes. Nous vous recommandons de la définir à au moins 10 minutes. Si les opérations concernées aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur définie pour Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque l'option Synchronization Types est définie sur Full Data Synchronization.
-
Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins métier. Dans cet exemple, vous n'avez pas besoin de sélectionner de tag d'environnement.
Configure ETL
Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez la rubrique What is ETL? Valeurs valides :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configure ETL in a data migration or data synchronization task.
-
No : désactive la fonctionnalité ETL.
Monitoring and Alerting
Indiquez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configure monitoring and alerting during task configuration.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez la rubrique Configurer la validation des données pour obtenir des instructions de configuration.
-
Facultatif : Une fois la configuration précédente terminée, cliquez sur Next: Configure Database and Table Fields pour définir le Type, la Primary Key Column, la Distribution Key et les informations de clé de partition (Partition Key, Partitioning Rules et Partition Lifecycle) pour la table à synchroniser dans la base de données de destination.
RemarqueCette étape n'est disponible que si vous sélectionnez l'option Schema Synchronization pour Synchronization Types lors de la configuration des objets de la tâche. Vous pouvez ensuite définir Definition Status sur All pour effectuer des modifications.
La Primary Key Column peut être une clé primaire composite constituée de plusieurs colonnes. Vous devez sélectionner une ou plusieurs colonnes dans la Primary Key Column pour servir de Distribution Key et de Partition Key. Pour plus d'informations, consultez la rubrique CREATE TABLE.
-
-
Enregistrez la tâche et exécutez une prévérification.
Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer que si tous les éléments de prévérification réussissent.
Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la prévérification.
-
Si la prévérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour résoudre le problème, puis relancez la prévérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'avertissement et de relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Category
Parameter
Description
New Instance Class
Billing Method
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
Resource Group Configuration
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique What is Resource Management?.
Link Specification
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le débit de synchronisation. Vous pouvez choisir une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez la rubrique Data synchronization link specifications.
Subscription Duration
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option n'est disponible que lorsque la méthode de facturation est définie sur Subscription.
-
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.