Cette rubrique explique comment utiliser Data Transmission Service (DTS) pour synchroniser des données d'une instance PolarDB-X 2,0 vers un cluster AnalyticDB for MySQL V3.0. Cette approche vous permet de mettre en place rapidement des systèmes tels que la business intelligence (BI) interne, les requêtes interactives et le reporting en temps réel.
Prérequis
Une instance source PolarDB-X 2,0 est créée.
Le cluster de destination AnalyticDB for MySQL V3.0 est créé. Pour plus d'informations, consultez la page Créer un cluster.
L'espace de stockage disponible du cluster de destination AnalyticDB for MySQL V3.0 doit être supérieur à l'espace de stockage utilisé par l'instance source PolarDB-X 2,0.
Précautions
Lors de la synchronisation des schémas de bases de données et de tables, DTS ne synchronise pas les clés étrangères de la base de données source vers la base de données de destination.
Tout au long des phases de synchronisation complète et incrémentielle, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Si des mises à jour ou des suppressions en cascade se produisent dans la base de données source pendant l'exécution de la tâche, des incohérences de données peuvent survenir.
DTS ne prend pas en charge la synchronisation des vues matérialisées vers l'instance AnalyticDB MySQL de destination lors de la synchronisation des schémas. Si vous avez besoin de vues matérialisées, vous devez les créer manuellement sur l'instance de destination une fois la synchronisation terminée.
|
Type |
Description |
|
Limitations de la base de données source |
|
|
Autres limitations |
|
|
Autres précautions |
DTS met régulièrement à jour la table |
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Payant. Pour plus d'informations, consultez la page Présentation de la facturation. |
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation en cascade unidirectionnelle
Synchronisation unidirectionnelle plusieurs-à-un
Pour plus d'informations sur les topologies de synchronisation et leurs limites, consultez la page Présentation des topologies de synchronisation des données.
Opérations SQL pouvant être synchronisées
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT, UPDATE et DELETE Remarque
Lors de l'écriture des données dans le cluster AnalyticDB for MySQL, l'instruction UPDATE est automatiquement convertie en instruction REPLACE INTO. |
|
DDL |
CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE, ADD COLUMN et DROP COLUMN |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la Data Transmission Service (DTS) console.
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Simple mode et Customize the layout and style of the DMS interface.
Connectez-vous à Data Management (DMS).
Dans la barre de menus supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Le non-respect de ces limites peut entraîner l'échec de la tâche ou une incohérence des données.
Section
Parameter
Description
N/A
Data Synchronization
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Data + AI
Data Transmission (DTS)
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Data Synchronization.
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Data Synchronization Tasks
Sélectionnez Create Task.
Task Name
Sélectionnez Source Database.
Select Existing Connection
Sélectionnez la région où réside l'instance PolarDB-X 2,0 source.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, les instances source et de destination appartiennent au même compte Alibaba Cloud. Sélectionnez Database Type.
PolarDB-X 2.0
Sélectionnez l'ID de l'instance PolarDB-X 2,0 source.
Connection Type
Saisissez le compte de base de données de l'instance PolarDB-X 2,0 source. Le compte doit disposer des autorisations REPLICATION SLAVE et REPLICATION CLIENT, ainsi que de l'autorisation SELECT sur les objets à synchroniser.
RemarquePour savoir comment accorder des autorisations, consultez Account permission issues during data synchronization.
Alibaba Cloud Instance
Saisissez le mot de passe correspondant au compte de base de données.
Instance Region
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Instance ID
Sélectionnez Database Account.
Database Password
Sélectionnez Destination Database.
Instance Region
Sélectionnez la région où réside le cluster AnalyticDB for MySQL V3.0 de destination.
Select a DMS database instance.
Dans cet exemple, les instances source et de destination appartiennent au même compte Alibaba Cloud. Sélectionnez Database Type.
AnalyticDB for MySQL 3.0
Sélectionnez l'ID du cluster AnalyticDB for MySQL V3.0 de destination.
Connection Type
Saisissez le compte de base de données du cluster AnalyticDB for MySQL V3.0 de destination. Le compte doit disposer des autorisations de lecture et d'écriture.
Alibaba Cloud Instance
Saisissez le mot de passe correspondant au compte de base de données.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Add the IP address CIDR blocks of DTS servers to a whitelist.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Parameter
Description
Synchronization Types
Replicate Data Across Alibaba Cloud Accounts est sélectionné. Par défaut, vous devez également sélectionner No et Instance ID. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés de l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure des données.
RemarqueSi Database Account est sélectionné, vous pouvez synchroniser le schéma et les données de la table créée par l'exécution de l'instruction CREATE TABLE vers la base de données de destination.
Database Password
-
Test Connectivity and Proceed : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Map table and column names.
-
Configure Objects : ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation uniquement des données de certaines colonnes ou un échec complet de la synchronisation. Procédez avec prudence.
-
Incremental Data Synchronization
-
Sélectionnez Schema Synchronization : dans les scénarios OLTP, le partitionnement de base de données et de table est souvent utilisé pour améliorer le temps de réponse des tables métier. Dans les scénarios OLAP, tels que la base de données de destination dans cet exemple, une seule table de données peut stocker des quantités massives de données, ce qui rend les requêtes sur une seule table plus pratiques. Dans de tels scénarios, vous pouvez utiliser la fonctionnalité de fusion multi-tables de DTS pour synchroniser plusieurs tables ayant le même schéma (tables partitionnées) de la base de données source vers une seule table dans la base de données de destination. Pour des instructions spécifiques, consultez Enable multi-table merge.
Remarque-
Après avoir sélectionné plusieurs tables de la base de données source, vous devez utiliser la fonctionnalité de mappage de nom d'objet pour modifier leurs noms afin qu'ils correspondent au même nom de table dans la base de données de destination. Pour plus d'informations sur la fonctionnalité de mappage de nom d'objet, consultez Map table and column names.
-
DTS ajoute la colonne
__dts_data_sourcede type texte à la table de destination pour stocker la source des données. La valeur de la colonne utilise le formatDTS instance ID:database name:schema name:table namepour identifier la source de la table, par exempledts****:dtstestdata:testschema:customer1. -
La fonctionnalité de fusion multi-tables s'applique au niveau de la tâche, ce qui signifie que vous ne pouvez pas effectuer de fusion multi-tables au niveau de la table. Si vous souhaitez fusionner certaines tables mais pas d'autres, vous devez créer deux tâches de synchronisation des données.
AvertissementN'exécutez pas d'opérations DDL pour modifier le schéma de la base de données ou de la table dans la base de données source. Sinon, une incohérence des données ou un échec de la tâche de synchronisation peut survenir.
-
-
Sélectionnez Full Data Synchronization. Il s'agit de l'option par défaut.
Full Data Synchronization
Dans la zone Processing Mode for Existing Tables in Destination, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Precheck and Report Errors.Remarque-
Vous pouvez sélectionner des colonnes, des tables ou des bases de données comme objets à synchroniser. Si vous sélectionnez des tables ou des colonnes, DTS ne synchronise pas d'autres objets tels que les vues, les déclencheurs ou les procédures stockées vers la base de données de destination.
-
Si vous sélectionnez une base de données comme objet à synchroniser, DTS applique les règles par défaut suivantes :
-
Si la table source possède une clé primaire (simple ou composite), les colonnes de clé primaire sont utilisées comme clés de distribution.
-
Si la table source ne possède pas de clé primaire, une colonne de clé primaire à incrémentation automatique est générée dans la table de destination. Cela peut entraîner une incohérence des données entre les bases de données source et de destination.
-
Ignore Errors and Proceed
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Map a single database, table, or column.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Merge Multiple Tables dans le coin supérieur droit de la zone Yes. Pour plus d'informations, consultez Map databases, tables, and columns in a batch.
RemarquePour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, faites un clic droit sur les objets à synchroniser dans la section No, puis sélectionnez les opérations SQL requises dans la boîte de dialogue qui s'affiche.
Pour filtrer les données à l'aide d'une condition WHERE, faites un clic droit sur une table à synchroniser dans la section Source Objects, puis configurez les conditions de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Filter task data with an SQL condition.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Parameter
Description
Source Objects
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez What is a DTS dedicated cluster?.
Selected Objects
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Selected Objects
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et commence immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Batch Edit.
Selected Objects
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Selected Objects, Selected Objects et Next: Advanced Settings.
Remarque-
Cet élément de configuration est disponible uniquement lorsque Dedicated Cluster for Task Scheduling est défini sur Retry Time for Failed Connections.
-
Vous pouvez également ajuster le taux de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
Retry Time for Other Issues
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Sélectionnez une balise d'environnement pour identifier l'instance en fonction de vos besoins métier. Aucune sélection n'est requise pour cet exemple.
Queries per second (QPS) to the source database
Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
RPS of Full Data Migration : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard.
-
Data migration speed for full migration (MB/s) : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Synchronization Types
Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez What is ETL? Valeurs valides :
-
Full Data Synchronization : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configure ETL in a data migration or data synchronization task.
-
Enable Throttling for Incremental Data Synchronization : désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
Data synchronization speed for incremental synchronization (MB/s) : aucune alerte n'est configurée.
-
Environment Tag : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configure monitoring and alerting during task configuration.
-
-
Facultatif : Après avoir terminé la configuration précédente, cliquez sur Next: Configure Database and Table Fields pour définir les informations de Whether to delete SQL operations on heartbeat tables of forward and reverse tasks, Yes, No et de clé de partition (Configure ETL, Yes et No) pour la table à synchroniser dans la base de données de destination.
RemarqueCette étape est disponible uniquement si vous sélectionnez Schema Synchronization pour Synchronization Types lors de la configuration des objets de la tâche. Vous pouvez ensuite définir Definition Status sur All pour effectuer des modifications.
La Primary Key Column peut être une clé primaire composite composée de plusieurs colonnes. Vous devez sélectionner une ou plusieurs colonnes dans la Primary Key Column pour servir de Distribution Key et de Partition Key. Pour plus d'informations, consultez CREATE TABLE.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
Si vous avez terminé la consultation des paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Category
Parameter
Description
New Instance Class
Billing Method
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser sur les coûts.
Resource Group Configuration
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez What is Resource Management?.
Link Specification
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Data synchronization link specifications.
Subscription Duration
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est No.
-
Une fois la configuration terminée, lisez et sélectionnez Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.