Data Transmission Service (DTS) prend en charge la synchronisation des données d'une instance ApsaraDB RDS for MySQL vers une instance AnalyticDB for PostgreSQL, ce qui permet une analyse centralisée des données métier.
Bases de données source prises en charge
Les bases de données MySQL source suivantes peuvent être synchronisées vers une instance AnalyticDB for PostgreSQL. Cette rubrique utilise une instance ApsaraDB RDS for MySQL comme exemple. La procédure est similaire pour les autres bases de données source.
Instance ApsaraDB RDS for MySQL
Base de données autogérée hébergée sur Elastic Compute Service (ECS)
Base de données autogérée connectée via Express Connect, VPN Gateway ou Smart Access Gateway
Base de données autogérée connectée via Database Gateway
Base de données autogérée connectée via Cloud Enterprise Network (CEN)
Prérequis
Vous avez créé une instance AnalyticDB for PostgreSQL cible instance.
Vous avez créé une base de données dans l'instance AnalyticDB for PostgreSQL cible pour recevoir les données. Pour plus d'informations, consultez la section Syntaxe SQL.
Notes d'utilisation
Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade sont effectuées sur la base de données source pendant l'exécution de la tâche.
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
|
Cas particuliers |
|
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Payant. Pour plus d'informations, consultez la section Présentation de la facturation. |
Opérations SQL prises en charge
-
Opérations DML : INSERT, UPDATE et DELETE.
RemarqueLe système convertit automatiquement les instructions UPDATE en instructions REPLACE INTO lors de l'écriture des données dans une instance AnalyticDB for PostgreSQL de destination. Si une instruction UPDATE modifie une clé primaire, le système la convertit plutôt en une instruction DELETE et une instruction INSERT.
Opération DDL : ALTER TABLE.
Mappage des termes et concepts
|
MySQL |
AnalyticDB for PostgreSQL |
|
database |
schema |
|
table |
table |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Catégorie
Paramètre
Description
N/A
Data Synchronization
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Data Synchronization Tasks
Create Task
Sélectionnez Task Name.
Source Database
Sélectionnez Database Type.
MySQL
Sélectionnez la région de l'instance ApsaraDB RDS for MySQL source.
Connection Type
Dans ce scénario, les données sont synchronisées au sein du même compte Alibaba Cloud. Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez l'ID de l'instance ApsaraDB RDS for MySQL source.
RemarqueLes instances RDS MySQL source et de destination peuvent être différentes ou identiques. Cela signifie que vous pouvez utiliser DTS pour synchroniser des données entre deux instances RDS MySQL ou au sein de la même instance RDS MySQL.
Cross-account
Saisissez le compte de base de données de l'instance ApsaraDB RDS for MySQL source. Le compte doit disposer des autorisations REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW et SELECT.
No
Saisissez le mot de passe correspondant au compte de base de données.
RDS Instance ID
Sélectionnez Database Account ou Database Password selon vos besoins. Si vous sélectionnez Encryption, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
Non-encrypted
SSL-encrypted
Sélectionnez SSL-encrypted.
Destination Database
Sélectionnez Database Type.
AnalyticDB for PostgreSQL
Sélectionnez la région de l'instance AnalyticDB for PostgreSQL de destination.
Connection Type
Sélectionnez l'ID de l'instance AnalyticDB for PostgreSQL de destination.
Alibaba Cloud Instance
Saisissez le nom de la base de données pour l'objet de synchronisation dans l'instance AnalyticDB for PostgreSQL de destination.
Instance Region
Saisissez le compte initial de l'instance AnalyticDB for PostgreSQL de destination.
RemarqueVous pouvez également saisir un compte disposant de l'autorisation RDS_SUPERUSER. Pour plus d'informations sur la création d'un tel compte, consultez Gestion des autorisations utilisateur.
Instance ID
Saisissez le mot de passe correspondant au compte de base de données.
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la méthode Database Name), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Paramètre
Description
Database Account
Database Password est sélectionné. Par défaut, vous devez également sélectionner Test Connectivity and Proceed et Access Method. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure.
Alibaba Cloud Instance
-
Test Connectivity : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes.
-
CIDR Blocks of DTS Servers : ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de Configure Objects peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement dans la base de données de destination a la même valeur de clé primaire ou de clé unique qu'un enregistrement dans la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement dans la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation uniquement des données de certaines colonnes ou un échec complet de la synchronisation. Procédez avec prudence.
-
Synchronization Types
Sélectionnez les opérations DDL ou DML à synchroniser au niveau de l'instance. Pour les opérations prises en charge, consultez Opérations SQL prises en charge.
RemarquePour sélectionner les opérations SQL à synchroniser pour une base de données ou une table, cliquez avec le bouton droit sur l'objet de synchronisation dans la zone Incremental Data Synchronization. Dans la boîte de dialogue qui s'affiche, sélectionnez les opérations SQL.
Schema Synchronization
-
Full Data Synchronization : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes.
-
Processing Mode for Existing Tables in Destination : ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de Precheck and Report Errors peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement dans la base de données de destination a la même valeur de clé primaire ou de clé unique qu'un enregistrement dans la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement dans la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation uniquement des données de certaines colonnes ou un échec complet de la synchronisation. Procédez avec prudence.
-
Ignore Errors and Proceed
Sélectionnez le type de moteur de stockage pour les tables de destination. La valeur par défaut est Beam.
RemarqueCe paramètre est disponible uniquement lorsque la version du noyau de l'instance AnalyticDB for PostgreSQL de destination est v7.0.6.6 ou ultérieure, et que Ignore Errors and Proceed est sélectionné pour Select DDL and DML operations for instance-level synchronization.
Selected Objects
Dans la zone Processing Mode of Conflicting Tables, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Precheck and Report Errors.RemarqueVous pouvez sélectionner des tables comme objets de synchronisation.
Ignore Errors and Proceed
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, cliquez avec le bouton droit sur l'objet dans la zone Ignore Errors and Proceed. Pour plus d'informations sur le renommage des objets, consultez Mapper une seule base de données, table ou colonne.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Storage Engine Type dans le coin supérieur droit de la zone Synchronization Types. Pour plus d'informations, consultez Mapper des bases de données, tables et colonnes par lot.
Remarque-
Si vous utilisez la fonctionnalité de mappage de noms d'objets, d'autres objets qui dépendent de l'objet renommé peuvent ne pas être synchronisés.
-
Pour filtrer les données à l'aide d'une clause WHERE, cliquez avec le bouton droit sur la table à synchroniser dans la section Schema Synchronization et configurez les conditions de filtre dans la boîte de dialogue. Pour plus d'informations, consultez Définir les conditions de filtre.
-
Pour sélectionner des opérations SQL au niveau de la base de données ou de la table, cliquez avec le bouton droit sur l'objet de synchronisation dans la section Source Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue contextuelle.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Source Objects
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Selected Objects
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Selected Objects
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et commence immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes réussissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Selected Objects doit être inférieure à celle de Batch Edit.
Selected Objects
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Selected Objects, Selected Objects et Next: Advanced Settings.
Remarque-
Cet élément de configuration est disponible uniquement lorsque Dedicated Cluster for Task Scheduling est défini sur Retry Time for Failed Connections.
-
Vous pouvez également ajuster le débit de synchronisation complète après le démarrage de l'instance de synchronisation.
Retry Time for Other Issues
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres Retry Time for Other Issues et Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Sélectionnez une balise d'environnement pour identifier l'instance. Ce paramètre est facultatif.
Queries per second (QPS) to the source database
Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides :
-
RPS of Full Data Migration : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
Data migration speed for full migration (MB/s) : désactive la fonctionnalité ETL.
Synchronization Types
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
Full Data Synchronization : aucune alerte n'est configurée.
-
Enable Throttling for Incremental Data Synchronization : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour les instructions de configuration.
-
Une fois la configuration terminée, cliquez sur Next: Configure Database and Table Fields en bas de la page pour définir la colonne de clé primaire et la colonne de distribution pour la table à synchroniser dans la destination AnalyticDB for PostgreSQL.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
Si vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
RPS of Incremental Data Synchronization
Méthode de facturation
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est élevée.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
Configuration du groupe de ressources
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?.
Spécification de lien
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Spécifications de lien de synchronisation de données.
Durée d'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Data synchronization speed for incremental synchronization (MB/s).
-
Une fois la configuration terminée, lisez et acceptez les <!--@uicontrol {"id":"01885c0969srx","data-isbold="true"}-->Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.