DTS synchronise les données de MySQL vers un cluster PolarDB for MySQL.
Bases de données sources prises en charge
Les bases de données MySQL sources suivantes peuvent être synchronisées vers un cluster PolarDB for MySQL. Cette rubrique utilise une instance RDS MySQL comme exemple. La procédure est similaire pour les autres bases de données sources.
Instance ApsaraDB RDS for MySQL
Base de données auto-gérée hébergée sur Elastic Compute Service (ECS)
Base de données auto-gérée connectée via Express Connect, VPN Gateway ou Smart Access Gateway
Base de données auto-gérée connectée via Database Gateway
Base de données auto-gérée connectée via Cloud Enterprise Network (CEN)
Prérequis
Une instance source RDS for MySQL.
Un cluster cible PolarDB for MySQL. Pour plus d'informations, consultez Créer un cluster à la demande et Créer un cluster par abonnement.
L'espace de stockage du cluster PolarDB for MySQL doit être supérieur à celui de l'instance RDS for MySQL.
Notes d'utilisation
Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade sont effectuées sur la base de données source pendant l'exécution de la tâche.
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
|
Cas particuliers |
|
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Facturé. Pour plus d'informations, consultez Présentation de la facturation. |
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle en cascade
Synchronisation unidirectionnelle plusieurs-à-un
Pour plus d'informations sur les topologies de synchronisation et leur utilisation, consultez Topologies de synchronisation des données.
Instructions SQL prises en charge
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT, UPDATE, DELETE |
|
DDL |
|
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la Data Transmission Service (DTS) console.
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Simple mode et Customize the layout and style of the DMS interface.
Connectez-vous à Data Management (DMS).
Dans la barre de menus supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Le non-respect de ces limites peut entraîner l'échec de la tâche ou une incohérence des données.
Catégorie
Paramètre
Description
N/A
Data Synchronization
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Data Synchronization Tasks
Create Task
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Task Name.
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Source Database
Sélectionnez MySQL.
Connection Type
Sélectionnez Database Type.
Instance Region
Sélectionnez la région où se trouve l'instance ApsaraDB RDS for MySQL source.
Cross-account
Pour une synchronisation au sein du même compte Alibaba Cloud, sélectionnez Alibaba Cloud Instance.
RDS Instance ID
Sélectionnez l'ID de l'instance ApsaraDB RDS for MySQL source.
Database Account
Saisissez le compte de base de données de l'instance ApsaraDB RDS for MySQL source. Le compte doit disposer des autorisations REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW et SELECT.
No
Saisissez le mot de passe correspondant au compte de base de données.
Encryption
Sélectionnez Non-encrypted ou Database Password selon vos besoins. Si vous sélectionnez SSL-encrypted, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez Use a cloud certificate to quickly enable SSL encryption.
Non-encrypted
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Destination Database
Sélectionnez Select Existing Connection.
Select a DMS database instance.
Sélectionnez Database Type.
PolarDB for MySQL
Sélectionnez la région où se trouve le cluster PolarDB for MySQL de destination.
Connection Type
Sélectionnez l'ID du cluster PolarDB for MySQL de destination.
Alibaba Cloud Instance
Saisissez le compte de base de données du cluster PolarDB for MySQL de destination. Le compte doit disposer des autorisations de lecture et d'écriture.
Instance Region
Saisissez le mot de passe correspondant au compte de base de données.
PolarDB Cluster ID
Sélectionnez une option en fonction de vos besoins. Pour plus d'informations, consultez Configure SSL encryption.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Add the IP address CIDR blocks of DTS servers to a whitelist.
Si la base de données source ou de destination est une base de données autogérée (où la méthode Database Account), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Database Password, configurez les objets à synchroniser.
Parameter
Description
Encryption
Test Connectivity and Proceed est sélectionné. Par défaut, vous devez également sélectionner Access Method et Alibaba Cloud Instance. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de base de référence pour la synchronisation incrémentielle des données ultérieure.
Test Connectivity
Sélectionnez une méthode de synchronisation des déclencheurs. Si aucun déclencheur n'est concerné, ignorez ce paramètre. Pour plus d'informations, consultez Configurer la synchronisation ou la migration des déclencheurs.
RemarqueCe paramètre ne peut être configuré que lorsque CIDR Blocks of DTS Servers est défini sur Configure Objects.
Synchronization Types
Sélectionnez Incremental Data Synchronization.
Schema Synchronization
-
Full Data Synchronization : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la pré-vérification réussit. Si une table du même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes.
-
Method to Migrate Triggers in Source Database : ignore la vérification des doublons de noms de tables dans la base de données de destination.
AvertissementLa sélection de l'option Synchronization Types peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
-
Schema Synchronization
Spécifiez si vous souhaitez synchroniser les événements de la base de données source selon vos besoins. Si vous sélectionnez Synchronization Topology, vous devez également respecter les exigences pertinentes et effectuer les opérations suivantes. Pour plus d'informations, consultez Synchroniser ou migrer des événements.
One-way Synchronization
Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes qui sont synchronisés vers l'instance de destination. Par défaut, la stratégie Processing Mode of Conflicting Tables est sélectionnée. Vous pouvez également choisir d'utiliser les stratégies par défaut des bases de données source et de destination. Pour plus d'informations, consultez Politique de sensibilité à la casse pour les noms d'objets de destination.
Precheck and Report Errors
Dans la zone Ignore Errors and Proceed, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Ignore Errors and Proceed.RemarqueVous pouvez sélectionner des objets à synchroniser au niveau de la base de données ou de la table.
Whether to migrate Event
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Yes. Pour plus d'informations sur le renommage des objets, consultez Mapper une seule base de données, table ou colonne.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Capitalization of Object Names in Destination Instance dans le coin supérieur droit de la zone DTS default policy. Pour plus d'informations, consultez Mapper des bases de données, des tables et des colonnes par lot.
Remarque-
Pour sélectionner des opérations SQL au niveau de la base de données ou de la table, faites un clic droit sur l'objet de synchronisation dans la section Source Objects et sélectionnez les opérations souhaitées dans la boîte de dialogue. Pour plus d'informations, consultez Opérations SQL prises en charge.
-
Pour filtrer les données, faites un clic droit sur la table à synchroniser dans la section Source Objects et définissez les conditions de filtre dans la boîte de dialogue. Pour plus d'informations, consultez Définir les conditions de filtre.
-
Si vous utilisez la fonctionnalité de mappage de noms d'objets, la synchronisation d'autres objets dépendant de l'objet mappé peut échouer.
-
-
Cliquez sur Selected Objects pour configurer les paramètres avancés.
Parameter
Description
Selected Objects
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Selected Objects
Sélectionnez le type de moteur pour la base de données de destination.
-
InnoDB : le moteur de stockage par défaut.
-
X-Engine : un moteur de stockage de base de données OLTP (On-Line Transaction Processing).
Batch Edit
Si vous utilisez Data Management (DMS) ou gh-ost pour effectuer des modifications DDL en ligne dans la base de données source, vous pouvez choisir de synchroniser ou non les données des tables temporaires générées par les modifications DDL en ligne.
Important-
Les tâches DTS ne prennent pas en charge l'utilisation d'outils tels que pt-online-schema-change pour effectuer des modifications DDL en ligne. L'utilisation de tels outils entraînera l'échec de la tâche DTS.
-
Les méthodes de traitement pour chaque étape sont les suivantes : Les étapes Selected Objects et Selected Objects n'autorisent pas les opérations DDL qui modifient le schéma de la base de données ou de la table. Par conséquent, ces étapes ne sont pas contrôlées par la stratégie DDL en ligne.
-
Selected Objects : cette étape n'est pas contrôlée par la stratégie DDL en ligne. Les tables temporaires associées sont créées.
-
Next: Advanced Settings : cette étape n'est pas contrôlée par la stratégie DDL en ligne. Les tables temporaires ne sont pas incluses dans les objets de synchronisation complète. Toutes les tables dont les noms correspondent à l'expression régulière (
^_(.+)_(?:gho|new)$ou^_(.+)_(?:ghc|del|old)$) sont filtrées. -
Dedicated Cluster for Task Scheduling : cette étape est contrôlée par la stratégie DDL en ligne.
-
Select the engine type of the destination database : synchronise les modifications de données dans les tables temporaires (par exemple,
_table-name_gho) générées par les opérations DDL en ligne. -
Copy the temporary table of the Online DDL tool that is generated in the source table to the destination database. et Schema Synchronization : filtre les modifications de données dans les tables temporaires (par exemple,
_table-name_gho) générées par des outils tels que gh-ost, selon des règles d'expression régulière.
-
-
-
Full Data Synchronization : synchronise les données des tables temporaires générées par les modifications DDL en ligne.
RemarqueSi les données des tables temporaires générées par les modifications DDL en ligne sont trop volumineuses, cela peut entraîner une latence de synchronisation.
-
Schema Synchronization : ne synchronise pas les données des tables temporaires générées par les opérations DDL en ligne. Il synchronise uniquement les instructions DDL d'origine exécutées à l'aide de Data Management (DMS) dans la base de données source.
RemarqueCette option provoque le verrouillage des tables dans la base de données de destination.
-
Full Data Synchronization : ne synchronise pas les données des tables temporaires générées par les modifications DDL en ligne. Il prend en charge les règles de filtrage personnalisées. DTS filtre les modifications de données dans les tables temporaires (par exemple,
_table-name_gho) générées par des outils tels que gh-ost, selon des règles d'expression régulière. Vous pouvez modifier les expressions régulières par défaut utilisées pour faire correspondre les tables fantômes et les tables inutiles selon vos besoins :-
Table fantôme :
^_(.+)_(?:gho|new)$ -
Table inutile :
^_(.+)_(?:ghc|del|old)$
RemarqueCette option provoque le verrouillage des tables dans la base de données de destination.
-
Incremental Data Synchronization
Spécifiez si vous souhaitez synchroniser les informations de compte de la base de données source. Si vous sélectionnez Yes, sélectionnez les comptes à synchroniser et confirmez les autorisations de compte. Pour plus d'informations sur les méthodes d'autorisation, consultez Migrer les comptes de base de données.
No, Adapt to DMS Online DDL
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à réessayer la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
No, Adapt to gh-ost
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Yes doit être inférieure à celle de No, Adapt to DMS Online DDL.
No, Adapt to gh-ost
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Whether to Migrate Accounts, Yes et Retry Time for Failed Connections.
Remarque-
Cet élément de configuration est disponible uniquement lorsque Retry Time for Other Issues est défini sur Retry Time for Other Issues.
-
Vous pouvez également ajuster le taux de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
Retry Time for Failed Connections
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres Enable Throttling for Full Data Synchronization et Queries per second (QPS) to the source database.
RPS of Full Data Migration
Facultatif. Sélectionnez un tag pour aider à identifier l'instance.
Data migration speed for full migration (MB/s)
Choisissez s'il faut écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
Synchronization Types : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard.
-
Full Data Synchronization : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Enable Throttling for Incremental Data Synchronization
Choisissez d'activer ou non la fonctionnalité ETL (extract, transform, load). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides :
-
RPS of Incremental Data Synchronization : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
Data synchronization speed for incremental synchronization (MB/s) : désactive la fonctionnalité ETL.
Environment Tag
Spécifiez s'il faut configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
Cliquez sur No pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir des instructions de configuration.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API pour la configuration de cette instance, placez le curseur sur le bouton Configure ETL et cliquez sur Yes dans la bulle.
Une fois que vous avez terminé de consulter les paramètres API, cliquez sur No en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
Si la pré-vérification échoue, cliquez sur Monitoring and Alerting pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur No à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Yes, Next: Data Validation, Next: Save Task Settings and Precheck et Preview OpenAPI parameters pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Next: Save Task Settings and Precheck atteint 100 %, cliquez sur View Details.
-
Sur la page View Details, sélectionnez la méthode de facturation et les spécifications du lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
Confirm Alert Details
Billing Method
-
Abonnement : vous réglez le paiement lors de la création de l'instance. Cette option convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : la facturation s'effectue à l'heure. Cette formule répond aux besoins ponctuels. Vous pouvez libérer l'instance immédiatement après utilisation pour réduire les coûts.
Resource Group Configuration
Groupe de ressources auquel l'instance appartient. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que Resource Management ?.
Link Specification
DTS propose des spécifications de synchronisation offrant différents niveaux de performance. Les spécifications du lien de synchronisation influent sur le débit de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Spécifications des liens de synchronisation des données.
Subscription Duration
En mode abonnement, indiquez la durée et la quantité pour l'instance abonnée. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option n'est disponible que lorsque la méthode de facturation est définie sur Ignore.
-
Une fois la configuration terminée, lisez et acceptez les OK.
-
Cliquez sur Precheck Again. Dans la boîte de dialogue Success Rate, cliquez sur Next: Purchase Instance.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.