Data Transmission Service (DTS) prend en charge la synchronisation des données depuis ApsaraDB RDS for SQL Server vers DataHub.
Prérequis
-
L'instance ApsaraDB RDS for SQL Server source est créée. Pour plus d'informations, consultez la rubrique Créer et utiliser rapidement une instance RDS SQL Server.
ImportantPour connaître les versions prises en charge de l'instance RDS SQL Server source, reportez-vous à la section Scénarios de synchronisation des données.
Le service DataHub est activé et un projet a été créé pour recevoir les données synchronisées. Pour plus d'informations, consultez les rubriques Démarrage rapide (exemple de synchronisation) et Gérer les projets.
-
Nous vous recommandons de diviser une tâche de synchronisation en plusieurs tâches si l'instance source répond à l'une des conditions suivantes :
L'instance source contient plus de 10 bases de données.
Les sauvegardes des journaux sont effectuées plus d'une fois par heure pour une seule base de données.
Plus de 100 opérations de langage de définition de données (DDL) sont exécutées par heure sur une seule base de données.
Le taux de génération des journaux pour une seule base de données dépasse 20 Mo/s.
Vous devez activer la capture des données modifiées (CDC) sur plus de 1 000 tables.
Précautions
DTS ne synchronise pas les clés étrangères de la base de données source vers la base de données de destination. Par conséquent, les opérations en cascade et de suppression effectuées sur la base de données source ne sont pas répliquées vers la base de données de destination.
|
Type |
Description |
|
Limitations de la base de données source |
|
|
Autres limitations |
|
|
Cas particuliers |
Lorsque l'instance source est une ApsaraDB RDS for SQL Server, DTS crée un compte |
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Payant. Pour plus d'informations, consultez la rubrique Présentation de la facturation. |
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle plusieurs-à-un
Pour en savoir plus sur les topologies de synchronisation et les précautions associées, consultez la rubrique Topologies de synchronisation.
Opérations SQL pouvant être synchronisées
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT、UPDATE、DELETE Remarque
DTS ne synchronise pas les instructions |
Autorisations requises pour les comptes de base de données
|
Base de données |
Autorisation requise |
Méthode de création et d'autorisation du compte |
|
Instance ApsaraDB RDS for SQL Server source |
Autorisation de propriétaire sur les objets à synchroniser. |
Créer des comptes standard, privilégiés et en lecture seule globale et Modifier les autorisations d'un compte. |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Catégorie
Configuration
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données qui a été ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez SQL Server.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où réside l'instance source.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, la synchronisation est effectuée entre des instances appartenant au même compte Alibaba Cloud. Sélectionnez No.
RDS Instance ID
Sélectionnez l'ID de l'instance source.
Database Account
Saisissez le compte de base de données de l'instance ApsaraDB RDS for SQL Server source. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
Encryption
Sélectionnez Non-encrypted ou SSL-encrypted.
-
Si le chiffrement SSL n'est pas activé pour la base de données source, sélectionnez Non-encrypted.
-
Si le chiffrement SSL est activé pour la base de données source, sélectionnez SSL-encrypted. DTS approuve le certificat du serveur par défaut.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données qui a été ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez DataHub.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où réside l'instance DataHub de destination.
Project
Sélectionnez le Project de l'instance DataHub de destination.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages CIDR des adresses IP des serveurs DTS ont été ajoutées aux paramètres de sécurité des bases de données source et de destination afin d'autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les plages CIDR des adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données autogérée (où la méthode Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Configuration
Description
Synchronization Types
L'option Incremental Data Synchronization est sélectionnée par défaut. Par défaut, vous devez également sélectionner Schema Synchronization.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table homonyme n'existe, la pré-vérification réussit. En revanche, si une telle table existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table homonyme dans la base de données de destination, mappez-la vers un nom de table différent. Pour plus d'informations, consultez Map table and column names.
-
Ignore Errors and Proceed : ignore la vérification des doublons de noms de tables dans la base de données de destination.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et mettre votre activité en péril. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase celui de la base de données de destination.
-
-
Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut se traduire par la synchronisation partielle des données de colonne ou par un échec total de la synchronisation. Agissez avec prudence.
-
Naming Rules of Additional Columns
Lorsque DTS synchronise les données vers DataHub, il ajoute certaines colonnes supplémentaires au topic de destination. Si les noms de ces colonnes entrent en conflit avec des colonnes existantes dans le topic de destination, la tâche de synchronisation des données échouera. Vous devez définir les Naming Rules of Additional Columns sur New Rule ou Previous Rule selon vos besoins métier.
AvertissementAvant de sélectionner une règle de colonnes supplémentaires, évaluez si celles-ci entrent en conflit avec les colonnes existantes du topic de destination. À défaut, la tâche pourrait échouer ou des données pourraient être perdues. Pour plus d'informations sur les règles et définitions des colonnes supplémentaires, consultez Additional column names and definitions.
Case Sensitivity Policy for Destination Object Names
Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la politique DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez Case sensitivity policy for destination object names.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueVous pouvez sélectionner des bases de données, des tables et des colonnes comme objets de synchronisation. Si vous sélectionnez des tables ou des colonnes, les autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
Selected Objects
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Map a single database, table, or column.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Map databases, tables, and columns in a batch.
Remarque-
Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, faites un clic droit sur l'objet à synchroniser dans Selected Objects, puis sélectionnez les opérations SQL requises dans la boîte de dialogue qui s'affiche.
-
Pour définir des conditions WHERE afin de filtrer les données, faites un clic droit sur la table à synchroniser dans Selected Objects, puis définissez les conditions de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Filter task data with an SQL condition.
-
Si vous utilisez la fonctionnalité de mappage de noms d'objets, la synchronisation d'autres objets dépendant de cet objet peut échouer.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Configuration
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé ; aucune sélection de cluster n'est requise. Pour obtenir des performances plus stables, vous pouvez acheter un cluster dédié afin d'exécuter les tâches de synchronisation DTS. Pour en savoir plus, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections
Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir une durée d'au moins 30 minutes. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue.
Remarque-
Si plusieurs instances DTS (par exemple, l'instance A et l'instance B) partagent la même source ou la même destination, et que vous définissez le temps de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte (30 minutes) s'applique aux deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous conseillons d'adapter la durée de nouvelle tentative à vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions lors de l'exécution de commandes DDL ou DML), DTS signale une erreur et lance immédiatement des tentatives continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser cette durée dans une plage allant de 1 à 1 440 minutes. Il est recommandé de la fixer à au moins 10 minutes. Si les opérations concernées aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur définie pour Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également limiter le débit de la tâche de synchronisation incrémentielle. Pour alléger la pression sur la base de données de destination, configurez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Sélectionnez un tag d'environnement pour identifier l'instance selon vos besoins métier. Dans cet exemple, aucune sélection de tag n'est nécessaire.
Configure ETL
Indiquez si vous souhaitez activer la fonctionnalité ETL (Extract, Transform, Load). Pour en savoir plus, consultez Qu'est-ce que l'ETL ? Valeurs possibles :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, voir Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
No : désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil défini, une notification est envoyée à un contact d'alerte.
-
No : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour en savoir plus, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
-
Enregistrez la tâche et exécutez une prévérification.
Pour afficher les paramètres API permettant de configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS effectue une prévérification. La tâche ne peut démarrer que si tous les éléments de vérification sont validés.
Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la prévérification.
-
Si la prévérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour résoudre le problème, puis relancez la prévérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'avertissement et de relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
New Instance Class
Méthode de facturation
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : la facturation s'effectue à l'heure. Cette option est adaptée aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
Configuration du groupe de ressources
Groupe de ressources auquel appartient l'instance. La valeur par défaut est « default resource group ». Pour en savoir plus, consultez Qu'est-ce que Resource Management ?.
Spécification de lien
DTS propose des spécifications de synchronisation offrant différents niveaux de performance. La spécification de lien de synchronisation influence le débit de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, voir Spécifications des liens de synchronisation de données.
Durée d'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance sous abonnement. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option n'est disponible que lorsque la méthode de facturation est définie sur Subscription.
-
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.