Cette rubrique explique comment utiliser Data Transmission Service (DTS) pour synchroniser en temps réel les données incrémentielles d'une instance PolarDB-X 2,0 vers une instance ApsaraDB RDS for MySQL.
Prérequis
Une instance source PolarDB-X 2,0 a été créée.
Une instance de destination ApsaraDB RDS for MySQL a été créée. Pour plus d'informations, consultez la page Créer une instance ApsaraDB RDS for MySQL.
L'instance de destination ApsaraDB RDS for MySQL doit disposer d'un espace de stockage supérieur à celui de l'instance source PolarDB-X 2,0.
Limites
Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète des données et la synchronisation incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade sont effectuées sur la base de données source pendant l'exécution de la tâche.
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
|
Autres précautions |
DTS met régulièrement à jour la table |
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Payant. Pour plus d'informations, consultez la page Présentation de la facturation. |
Opérations SQL prises en charge
Type d'opération | Instruction SQL |
DML | INSERT, UPDATE, DELETE |
DDL |
|
Précautions
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Le non-respect de ces limites peut entraîner l'échec de la tâche ou une incohérence des données.
Catégorie
Paramètre
Description
N/A
Data Synchronization
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Data Synchronization Tasks
Create Task
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Task Name.
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Source Database
Sélectionnez PolarDB-X 2.0.
Connection Type
Sélectionnez Database Type.
Instance Region
Sélectionnez la région où réside l'instance PolarDB-X 2,0 source.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple illustre une synchronisation au sein du même compte Alibaba Cloud. Sélectionnez Alibaba Cloud Instance.
Instance ID
Sélectionnez l'ID de l'instance PolarDB-X 2,0 source.
Database Account
Saisissez le compte de base de données pour l'instance PolarDB-X 2,0 source. Le compte doit disposer des autorisations REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à synchroniser.
RemarquePour savoir comment accorder des autorisations, consultez Problèmes d'autorisation de compte lors de la synchronisation des données.
No
Saisissez le mot de passe correspondant au compte de base de données.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez Select Existing Connection.
Select a DMS database instance.
Sélectionnez Alibaba Cloud Instance.
MySQL
Sélectionnez la région où réside l'instance ApsaraDB RDS for MySQL de destination.
Connection Type
Cet exemple illustre une synchronisation au sein du même compte Alibaba Cloud. Sélectionnez No.
Instance Region
Sélectionnez l'ID de l'instance ApsaraDB RDS for MySQL de destination.
Replicate Data Across Alibaba Cloud Accounts
Saisissez le compte de base de données pour l'instance ApsaraDB RDS for MySQL de destination. Le compte doit disposer des autorisations de lecture et d'écriture.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
RDS Instance ID
Sélectionnez Database Account ou SSL-encrypted selon vos besoins. Si vous sélectionnez Connection Method, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données autogérée (où la méthode d'accès Non-encrypted n'est pas SSL-encrypted), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Paramètre
Description
SSL-encrypted
Test Connectivity and Proceed est sélectionné. Par défaut, vous devez également sélectionner Access Method et Alibaba Cloud Instance. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés de l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle des données ultérieure.
Test Connectivity
-
CIDR Blocks of DTS Servers : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes.
-
Configure Objects : ignore la vérification des doublons de noms de tables dans la base de données de destination.
AvertissementLa sélection de Synchronization Types peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
-
Incremental Data Synchronization
Dans la zone Schema Synchronization, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Full Data Synchronization.RemarqueVous pouvez sélectionner des bases de données, des tables et des colonnes comme objets de synchronisation. Si vous sélectionnez des tables ou des colonnes, d'autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
Processing Mode for Existing Tables in Destination
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Precheck and Report Errors. Pour plus d'informations sur le renommage des objets, consultez Mapper une seule base de données, table ou colonne.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Ignore Errors and Proceed dans le coin supérieur droit de la zone Ignore Errors and Proceed. Pour plus d'informations, consultez Mapper des bases de données, tables et colonnes par lot.
RemarquePour sélectionner des opérations SQL au niveau de la base de données ou de la table, faites un clic droit sur un objet de synchronisation dans la zone Source Objects et choisissez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
Pour définir une clause WHERE afin de filtrer les données, faites un clic droit sur une table dans la zone Source Objects et définissez les conditions de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Définir des conditions de filtre.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Selected Objects
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Selected Objects
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Selected Objects
Après le démarrage de la tâche de migration, si un problème autre que la connectivité, tel qu'une exception d'exécution DDL ou DML, se produit dans la base de données source ou de destination, DTS signale une erreur et commence immédiatement à retenter l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser la durée de nouvelle tentative à une valeur comprise entre 1 et 1 440 minutes. Nous vous recommandons de définir la durée à plus de 10 minutes. Si les opérations associées réussissent dans la durée de nouvelle tentative spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Batch Edit doit être inférieure à la valeur de Selected Objects.
Selected Objects
Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Selected Objects, Next: Advanced Settings et Dedicated Cluster for Task Scheduling.
Remarque-
Cet élément de configuration est disponible uniquement lorsque Retry Time for Failed Connections est défini sur Retry Time for Other Issues.
-
Vous pouvez également ajuster le taux de synchronisation complète après le démarrage de l'instance de synchronisation.
Retry Time for Other Issues
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres Retry Time for Failed Connections et Enable Throttling for Full Data Synchronization.
Queries per second (QPS) to the source database
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Dans cet exemple, aucune sélection n'est nécessaire.
RPS of Full Data Migration
Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides :
-
Data migration speed for full migration (MB/s) : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
Synchronization Types : désactive la fonctionnalité ETL.
Full Data Synchronization
Choisissez d'écrire ou non les informations SQL de heartbeat dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
Enable Throttling for Incremental Data Synchronization : les informations SQL de heartbeat ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS.
-
RPS of Incremental Data Synchronization : écrit les informations SQL de heartbeat dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Data synchronization speed for incremental synchronization (MB/s)
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
Environment Tag : aucune alerte n'est configurée.
-
Configure ETL : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir des instructions de configuration.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
Si vous avez terminé la consultation des paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la spécification de lien pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.
Catégorie
Paramètre
Description
Yes
No
Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de lien affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Spécifications de lien de migration de données.
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK qui s'affiche, cliquez sur OK.
Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks.
RemarqueSi la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Après l'arrêt de la tâche, son Status passe à Completed.
Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, le Status de la tâche est Running.