Vous pouvez utiliser Data Transmission Service (DTS) pour synchroniser les données d'une base de données SQL Server gérée en interne vers un cluster PolarDB for MySQL.
Prérequis
Votre base de données SQL Server gérée en interne doit exécuter une version prise en charge. Pour plus d'informations, consultez la rubrique Présentation de la solution de synchronisation.
Un cluster cible PolarDB for MySQL a été créé. Pour plus de détails, consultez les rubriques Achat personnalisé et Acheter un cluster par abonnement.
Le cluster PolarDB for MySQL doit disposer d'un espace de stockage supérieur à celui occupé par la base de données SQL Server gérée en interne.
-
Nous vous recommandons de diviser une tâche de synchronisation en plusieurs tâches si l'instance source répond à l'une des conditions suivantes :
L'instance source contient plus de 10 bases de données.
Les sauvegardes des journaux sont effectuées plus d'une fois par heure pour une seule base de données.
Plus de 100 opérations de langage de définition de données (DDL) sont exécutées par heure sur une seule base de données.
Le taux de génération des journaux pour une seule base de données dépasse 20 Mo/s.
Vous devez activer la capture des données modifiées (CDC) sur plus de 1 000 tables.
Limites
Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade sont effectuées sur la base de données source pendant l'exécution de la tâche.
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
|
Cas particulier |
Lorsque l'instance source est une instance ApsaraDB RDS for SQL Server, DTS crée un compte |
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Payant. Pour plus d'informations, consultez la section Présentation de la facturation. |
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle plusieurs-à-un
Pour plus d'informations, consultez la section Topologies de synchronisation.
Opérations SQL prises en charge
Type d'opération | Instruction SQL |
DML | INSERT, UPDATE et DELETE |
DDL |
Remarque
|
Prérequis
Avant de configurer une tâche de synchronisation des données, vous devez configurer les paramètres des journaux et créer un index cluster sur votre base de données SQL Server auto-gérée.
Pour synchroniser plusieurs bases de données, répétez les étapes 1 à 3 pour chaque base de données afin d'éviter les incohérences de données.
-
Exécutez la commande suivante sur votre base de données SQL Server auto-gérée pour passer le modèle de récupération de la base de données en mode complet. Vous pouvez également utiliser SQL Server Management Studio (SSMS) pour modifier le modèle de récupération. Pour plus d'informations, consultez la page Afficher ou modifier le modèle de récupération d'une base de données (SQL Server).
use master; GO ALTER DATABASE <database_name> SET RECOVERY FULL WITH ROLLBACK IMMEDIATE; GOParamètres :
<database_name>: Nom de la base de données à synchroniser.Exemple :
use master; GO ALTER DATABASE mytestdata SET RECOVERY FULL WITH ROLLBACK IMMEDIATE; GO -
Exécutez la commande suivante pour créer une sauvegarde logique de la base de données source. Si vous disposez déjà d'une sauvegarde logique, ignorez cette étape.
BACKUP DATABASE <database_name> TO DISK='<physical_backup_device_name>'; GOParamètres :
<database_name>: Nom de la base de données source.<physical_backup_device_name>: Chemin d'accès et nom de fichier du fichier de sauvegarde.
Exemple :
BACKUP DATABASE mytestdata TO DISK='D:\backup\dbdata.bak'; GO -
Exécutez la commande suivante pour créer une sauvegarde du journal des transactions de la base de données source.
BACKUP LOG <database_name> to DISK='<physical_backup_device_name>' WITH init; GOParamètres :
<database_name>: Nom de la base de données source.<physical_backup_device_name>: Chemin d'accès et nom de fichier du fichier de sauvegarde.
Exemple :
BACKUP LOG mytestdata TO DISK='D:\backup\dblog.bak' WITH init; GO
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la Data Transmission Service (DTS) console.
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Simple mode et Customize the layout and style of the DMS interface.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Section
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez SQL Server.
Connection Type
Sélectionnez Express Connect, VPN Gateway, or Smart Access Gateway.
Instance Region
Sélectionnez la région de la base de données SQL Server auto-gérée.
RemarqueSi votre base de données source est une base de données auto-gérée, vous devez effectuer les préparations requises. Pour plus d'informations, consultez la rubrique Preparation overview.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, les données sont synchronisées au sein du même compte Alibaba Cloud. Sélectionnez No.
The VPC that has been connected to the source database
Sélectionnez l'ID du Virtual Private Cloud (VPC) qui contient la base de données SQL Server auto-gérée.
IP address
Saisissez l'adresse IP du serveur de la base de données SQL Server auto-gérée.
Port
Saisissez le port de service de la base de données SQL Server auto-gérée. La valeur par défaut est 1433.
Database Account
Saisissez le compte de la base de données SQL Server auto-gérée. Le compte doit disposer du rôle sysadmin. Pour savoir comment accorder des autorisations, consultez les pages CREATE USER et User Permission Management.
Database Password
Saisissez le mot de passe correspondant au compte de la base de données.
Encryption
Sélectionnez Non-encrypted ou SSL-encrypted.
-
Si le chiffrement SSL n'est pas activé pour la base de données source, sélectionnez Non-encrypted.
-
Si le chiffrement SSL est activé pour la base de données source, sélectionnez SSL-encrypted. DTS fait confiance au certificat du serveur par défaut.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez PolarDB for MySQL.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région du cluster PolarDB for MySQL de destination.
PolarDB Cluster ID
Sélectionnez l'ID du cluster PolarDB for MySQL de destination.
Database Account
Saisissez le compte du cluster PolarDB for MySQL de destination. Le compte nécessite des autorisations en lecture et en écriture.
Database Password
Saisissez le mot de passe correspondant au compte de la base de données.
Encryption
Sélectionnez une option en fonction de vos besoins. Pour plus d'informations, consultez la rubrique Configure SSL encryption.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page. Dans la boîte de dialogue CIDR Blocks of DTS Servers, cliquez sur Test Connectivity.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Add the IP address CIDR blocks of DTS servers to a whitelist.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Paramètre
Description
Synchronization Types
Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de base de référence pour la synchronisation incrémentielle des données ultérieure.
Schema Mapping Mode of Source and Destination Databases
Sélectionnez un mode de mappage de schéma en fonction de vos besoins métier pour mapper les schémas entre les bases de données source et de destination.
AvertissementPlusieurs schémas dans la base de données source ne peuvent pas contenir de tables portant le même nom. Dans le cas contraire, cela peut entraîner une incohérence des données ou l'échec de la tâche.
SQL Server Incremental Synchronization Mode
-
Log-based Parsing for Non-heap Tables and CDC-based Incremental Synchronization for Heap Tables (Hybrid Log-based Parsing) :
-
Avantages :
-
Prend en charge les scénarios avec des tables heap, des tables sans clés primaires, des tables compressées et des tables avec des colonnes calculées dans la base de données source.
-
Stabilité élevée de la connexion. Ce mode permet d'obtenir des instructions DDL complètes et offre une prise en charge complète des scénarios DDL.
-
-
Inconvénients :
-
DTS crée un déclencheur dts_cdc_sync_ddl, une table de heartbeat dts_sync_progress et une table de stockage DDL dts_cdc_ddl_history dans la base de données source. Il active également CDC au niveau de la base de données et pour certaines tables.
-
Vous ne pouvez pas exécuter d'instructions SELECT INTO, TRUNCATE, RENAME COLUMN ou de modification de type de colonne sur les tables pour lesquelles CDC est activé dans la base de données source. Le déclencheur créé par DTS dans la base de données source ne peut pas être supprimé manuellement.
RemarqueLes tables contenant des types geometry, geography ou hierarchyid ne prennent pas en charge l'activation de CDC.
-
-
-
Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported) :
-
Avantages :
Ce mode n'est pas intrusif pour la base de données source.
-
Inconvénients :
Ne prend pas en charge les scénarios avec des tables heap, des tables sans clés primaires, des tables compressées ou des tables avec des colonnes calculées dans la base de données source.
-
-
Polling and querying CDC instances for incremental synchronization :
-
Avantages :
-
Prend en charge la synchronisation complète et incrémentielle lorsque la base de données source est Amazon RDS for SQL Server, Azure SQL Database, Azure SQL Managed Instance, Azure SQL Server on Virtual Machine ou Google Cloud SQL for SQL Server.
-
Ce mode utilise le composant natif Change Data Capture (CDC) de SQL Server pour obtenir les données incrémentielles. Cela rend la synchronisation incrémentielle plus stable et consomme moins de bande passante réseau.
-
-
Inconvénients :
-
Le compte de la base de données source utilisé par l'instance DTS doit disposer de l'autorisation d'activer CDC. Un délai d'environ 10 secondes existe pour la synchronisation incrémentielle des données.
-
Dans les scénarios impliquant la synchronisation de plusieurs bases de données et tables, il peut y avoir des risques de problèmes de stabilité et de performance.
-
-
The maximum number of tables for which CDC is enabled that DTS supports.
Ce paramètre limite le nombre de tables sur lesquelles CDC peut être activé au sein de l'instance de synchronisation actuelle. La valeur par défaut est 1 000.
RemarqueCe paramètre n'est pas disponible si vous définissez SQL Server Incremental Synchronization Mode sur Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported).
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : Vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes.
-
Ignore Errors and Proceed : Ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de Ignore Errors and Proceed peut provoquer une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement dans la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement dans la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement dans la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation uniquement des données de certaines colonnes ou un échec complet de la synchronisation. Procédez avec prudence.
-
Capitalization of Object Names in Destination Instance
Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes qui sont synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez Politique de sensibilité à la casse pour les noms d'objets de destination.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueCe scénario implique une synchronisation entre des bases de données hétérogènes. Par conséquent, vous ne pouvez sélectionner que des tables comme objets de synchronisation. Les autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
Selected Objects
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Mapper une seule base de données, table ou colonne.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Mapper les bases de données, tables et colonnes par lot.
Remarque-
Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, faites un clic droit sur un objet dans la section Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue.
-
Pour définir des conditions WHERE afin de filtrer les données, faites un clic droit sur la table à synchroniser dans la section Selected Objects et définissez les conditions de filtrage dans la boîte de dialogue. Pour plus d'informations, consultez Définir des conditions de filtrage.
-
Si vous utilisez la fonctionnalité de mappage de noms d'objets, la synchronisation des objets dépendants peut échouer.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Select the engine type of the destination database
Sélectionnez le type de moteur pour la base de données de destination en fonction de vos besoins métier.
-
InnoDB : Le moteur de stockage par défaut.
-
X-Engine : Un moteur de stockage de base de données de traitement transactionnel en ligne (OLTP).
Retry Time for Failed Connections
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou destination, et que vous définissez le délai de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization.
-
Vous pouvez également ajuster le débit de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Aucune sélection n'est requise dans cet exemple.
Configure ETL
Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que ETL ? Valeurs valides :
-
Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer ETL dans une tâche de migration ou de synchronisation de données.
-
No : Désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : Aucune alerte n'est configurée.
-
Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir les instructions de configuration.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
Une fois que vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK et Precheck Again dans l'ordre pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
New Instance Class
Méthode de facturation
-
Abonnement : Vous payez lors de la création de l'instance. Cela convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : Vous êtes facturé sur une base horaire. Cela convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
Configuration du groupe de ressources
Le groupe de ressources auquel l'instance appartient. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que Resource Management ?.
Spécification de lien
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Spécifications de lien de synchronisation des données.
Durée de l'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Subscription.
-
Une fois la configuration terminée, lisez et sélectionnez Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez afficher la progression de la tâche sur la page Data Synchronization.