Vous pouvez synchroniser les données dans les deux sens entre deux instances d'ensemble de réplicas ApsaraDB for MongoDB afin de maintenir leur cohérence.
Prérequis
-
Les instances d'ensemble de réplicas source et destination ApsaraDB for MongoDB sont créées. Créer une instance d'ensemble de réplicas.
ImportantLes versions de base de données prises en charge sont répertoriées dans la rubrique Présentation de la solution de synchronisation.
L'instance destination ApsaraDB for MongoDB dispose d'au moins 10 % d'espace de stockage supplémentaire par rapport à la taille des données de l'instance source ApsaraDB for MongoDB.
-
Le paramètre replication.oplogGlobalIdEnabled est défini sur true sur les deux instances. Définir les paramètres de la base de données.
RemarqueSi ce paramètre n'est pas défini sur true, la vérification préalable échoue ou renvoie l'erreur
two-way mongo must have gid.
Notes d'utilisation
Type | Description |
Limites des bases de données source et destination |
|
Autres limites |
|
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Facturé. Pour plus d'informations, consultez la rubrique Présentation de la facturation. |
Topologies de synchronisation bidirectionnelle prises en charge
DTS prend en charge la synchronisation bidirectionnelle uniquement entre deux instances d'ensemble de réplicas ApsaraDB for MongoDB. La synchronisation entre plus de deux instances ApsaraDB for MongoDB n'est pas prise en charge.
Détection des conflits prise en charge
Pour maintenir la cohérence des données, mettez à jour les enregistrements partageant la même clé primaire, clé primaire métier ou clé unique sur un seul nœud à la fois.
DTS détecte et résout les types de conflits suivants afin de garantir la stabilité de la synchronisation :
-
Conflits d'unicité issus des opérations INSERT
Si une opération INSERT ajoute un enregistrement qui existe déjà dans la destination, DTS ignore l'opération.
-
Incompatibilités d'enregistrements lors des opérations UPDATE
Si une opération UPDATE cible un enregistrement qui n'existe pas dans la destination ou provoque un conflit, DTS ignore l'opération.
-
Opérations DELETE sur des enregistrements inexistants
Si une opération DELETE cible un enregistrement qui n'existe pas dans la destination, DTS ignore l'opération.
La détection des conflits par DTS ne peut pas empêcher totalement les conflits de données causés par les différences d'heure système et la latence de synchronisation. Votre application doit mettre à jour les enregistrements partageant la même clé primaire, clé primaire métier ou clé unique sur un seul nœud à la fois.
La stratégie de résolution des conflits par défaut est Ignore et ne peut pas être modifiée.
Types de synchronisation
|
Type |
Description |
|
Synchronisation du schéma |
Synchronise les schémas des objets sélectionnés de l'instance source ApsaraDB for MongoDB vers l'instance destination ApsaraDB for MongoDB. |
|
Synchronisation complète des données |
Synchronise toutes les données existantes des objets sélectionnés de l'instance source ApsaraDB for MongoDB vers l'instance destination ApsaraDB for MongoDB. Remarque
La synchronisation complète des données prend en charge les bases de données et les collections. |
|
Synchronisation incrémentielle des données |
Une fois la synchronisation complète des données terminée, DTS synchronise continuellement les données incrémentielles de l'instance source ApsaraDB for MongoDB vers l'instance destination ApsaraDB for MongoDB. La synchronisation incrémentielle des données ne réplique pas les bases de données créées après le démarrage de la tâche. Les modifications suivantes sont répliquées :
|
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Catégorie
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Cliquez sur le sélecteur de type de base de données. La vue par défaut affiche l'onglet « Relational database ». Basculez vers l'onglet « NoSQL database » et sélectionnez MongoDB.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région de l'instance ApsaraDB for MongoDB source.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
Architecture
Sélectionnez Replica Set.
Migration Method
Sélectionnez Oplog.
Instance ID
Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.
Authentication Database
Saisissez le nom de la base de données d'authentification pour le compte de l'instance ApsaraDB for MongoDB source. Par défaut : admin.
Database Account
Saisissez le compte de base de données de l'instance ApsaraDB for MongoDB source. Le compte doit disposer d'autorisations de lecture sur les bases de données à synchroniser ainsi que sur les bases de données
config,adminetlocal.RemarqueCréez et configurez les comptes comme décrit dans la rubrique Gestion des autorisations des comptes de base de données MongoDB.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
Encryption
DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options pour Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi.
Remarque-
Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Oplog ne prend pas en charge SSL-encrypted.
-
Si la source est une base de données MongoDB auto-gérée (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set, et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Cliquez sur le sélecteur de type de base de données. La vue par défaut affiche l'onglet « Relational database ». Basculez vers l'onglet « NoSQL database » et sélectionnez MongoDB.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région de l'instance ApsaraDB for MongoDB de destination.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
Architecture
Sélectionnez Replica Set.
Instance ID
Sélectionnez l'ID de l'instance ApsaraDB for MongoDB de destination.
Authentication Database
Saisissez le nom de la base de données d'authentification pour le compte de l'instance ApsaraDB for MongoDB de destination. Par défaut : admin.
Database Account
Saisissez le compte de base de données de l'instance ApsaraDB for MongoDB de destination. Le compte doit disposer des rôles dbAdminAnyDatabase et readWrite sur la base de données de destination, ainsi que du rôle read sur la base de données local.
RemarqueCréez et configurez les comptes comme décrit dans la rubrique Gestion des autorisations des comptes de base de données MongoDB.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
Encryption
DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options pour Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi.
Remarque-
Les bases de données MongoDB dont l'Architecture est Sharded Cluster ne prennent pas en charge SSL-encrypted.
-
Si la destination est une base de données MongoDB auto-gérée (la Access Method n'est pas Alibaba Cloud Instance) avec un Replica Set, et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages d'adresses IP CIDR des serveurs DTS sont ajoutées aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les plages d'adresses IP CIDR des serveurs DTS à une liste d'autorisation.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Paramètre
Description
Synchronization Types
Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la prévérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de base pour la synchronisation incrémentielle ultérieure.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : vérifie l'existence d'une collection portant le même nom dans la base de données de destination. Si une collection homonyme est trouvée, une erreur est signalée et la tâche de synchronisation des données ne démarre pas. Dans le cas contraire, la prévérification réussit.
RemarqueSi vous ne pouvez pas supprimer ou renommer la collection homonyme dans la base de données de destination, vous pouvez modifier le nom de la collection dans la base de données de destination. Pour plus d'informations, consultez Définir le nom d'un objet de synchronisation dans l'instance de destination.
-
Ignore Errors and Proceed : ignore la vérification des collections portant le même nom dans la base de données de destination.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité en péril. Par exemple :
-
Si un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source, l'enregistrement de la base de données de destination est conservé. L'enregistrement de la base de données source n'est pas synchronisé vers la base de données de destination.
-
Cela peut entraîner l'échec de l'initialisation des données, la synchronisation partielle des données uniquement ou l'échec total de la synchronisation.
-
Synchronization Topology
Sélectionnez Two-way Synchronization.
Exclude DDL Operations
-
Sélectionnez Yes : les opérations DDL ne sont pas synchronisées.
-
Sélectionnez No : les opérations DDL sont synchronisées.
ImportantLa synchronisation DDL est prise en charge uniquement dans le sens direct. La synchronisation DDL inverse n'est pas prise en charge.
Conflict Resolution Policy
Sélectionnez une politique de résolution des conflits. Seule l'option Ignorer est prise en charge : DTS conserve l'enregistrement de destination et ignore la modification conflictuelle provenant de la source.
Lorsqu'un conflit répertorié dans la section Détection des conflits pris en charge se produit, DTS ignore l'instruction conflictuelle et conserve l'enregistrement de destination.
Capitalization of Object Names in Destination Instance
Vous pouvez configurer la politique de sensibilité à la casse pour les noms anglais des objets de base de données et de collection synchronisés vers l'instance de destination. Vous pouvez sélectionner la DTS default policy, qui est l'option par défaut, ou utiliser les politiques par défaut de la base de données source ou de destination. Pour plus d'informations, consultez Politique de sensibilité à la casse pour les noms d'objets de destination.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueLes objets peuvent être sélectionnés au niveau DATABASE ou COLLECTION.
Selected Objects
-
Pour définir le nom d'un objet de synchronisation dans l'instance de destination ou spécifier quel objet reçoit les données, faites un clic droit sur l'objet de synchronisation dans la zone Selected Objects et modifiez-le. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes.
-
Pour supprimer un objet de synchronisation, cliquez dessus dans la zone Selected Objects, puis cliquez sur
pour le déplacer vers la zone Source Objects.
Remarque-
Pour sélectionner des opérations incrémentielles au niveau de la base de données ou de la collection, faites un clic droit sur l'objet souhaité dans la zone Selected Objects et effectuez vos sélections dans la boîte de dialogue qui s'affiche.
-
Pour filtrer les données (pris en charge lors de la synchronisation complète mais pas lors de la synchronisation incrémentielle), faites un clic droit sur la collection souhaitée dans la zone Selected Objects et configurez les paramètres dans la boîte de dialogue qui s'affiche. Pour obtenir des instructions, consultez Configurer les conditions de filtrage.
-
Si vous utilisez la fonctionnalité de mappage des noms d'objets pour spécifier une base de données ou une collection destinataire des données, la synchronisation peut échouer pour d'autres objets dépendant de l'objet mappé.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections
Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez le délai de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, sera appliquée aux deux.
-
Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Une fois la tâche de synchronisation démarrée, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations concernées aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue.
ImportantLa valeur du paramètre Retry Time for Other Issues doit être inférieure à celle du paramètre Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque le paramètre Synchronization Types est défini sur Full Data Synchronization.
-
Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
Only one data type for primary key _id in a table of the data to be synchronized
Spécifiez si les types de données de la clé primaire
_idsont uniques au sein de chaque collection à synchroniser.Important-
Sélectionnez une option en fonction de vos données réelles. Une sélection incorrecte peut entraîner une perte de données.
-
Ce paramètre est disponible uniquement si le paramètre Synchronization Types inclut Full Data Synchronization.
-
Yes : les types de données sont uniques. Pendant la phase de synchronisation complète, DTS n'analyse pas les types de données des clés primaires dans les données sources. Pour chaque collection, DTS synchronise uniquement les données correspondant à un type de données de clé primaire.
-
No : les types de données ne sont pas uniques. Pendant la phase de synchronisation complète, DTS analyse les types de données des clés primaires dans les données sources et synchronise toutes les données.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Facultatif. Sélectionnez une balise d'environnement pour identifier l'instance.
Configure ETL
Choisissez d'activer ou non la fonctionnalité Extract, Transform, Load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs possibles :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer ETL dans une tâche de migration ou de synchronisation de données.
-
No : désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir des instructions de configuration.
-
-
Enregistrez la tâche et exécutez une prévérification.
Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle d'aide.
Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer que si tous les éléments de prévérification réussissent.
Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la prévérification.
-
Si la prévérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la prévérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'avertissement et de relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
New Instance Class
Méthode de facturation
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
Configuration du groupe de ressources
Groupe de ressources auquel l'instance appartient. La valeur par défaut est « default resource group ». Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?.
Spécification de lien
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le débit de synchronisation. Vous pouvez choisir une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Spécifications des liens de synchronisation des données.
Durée d'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Subscription.
-
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Synchronisation des données.
-
Configurez la tâche de synchronisation inverse.
Attendez que la tâche de synchronisation directe termine son initialisation et que son Status passe à Running.
Localisez la tâche de synchronisation inverse et cliquez sur Configure Task.
-
Répétez les étapes Étape 3 à Étape 6 pour configurer la tâche de synchronisation inverse.
ImportantDans la tâche inverse, la source et la destination sont inversées : la source correspond à la destination de la tâche directe et vice versa. Vérifiez que le nom de la base de données, le compte et le mot de passe sont corrects.
Nous vous recommandons de ne pas modifier les noms de mappage dans la tâche inverse. Leur modification peut entraîner une incohérence des données.
Le paramètre Instance Region ne peut pas être modifié dans la tâche inverse. La tâche inverse comporte moins de paramètres ; utilisez les valeurs affichées dans la console.
Le paramètre Processing Mode of Conflicting Tables de la tâche inverse ne vérifie pas les collections déjà synchronisées par la tâche directe.
La tâche de synchronisation inverse ne peut pas synchroniser les objets déjà présents dans la liste Selected Objects de la tâche directe.
La tâche de synchronisation inverse exclut automatiquement les opérations DDL.
Lorsque le Success Rate atteint 100 %, cliquez sur Back.
Après avoir configuré la tâche inverse, attendez que les deux tâches affichent un Status défini sur Running. La synchronisation bidirectionnelle est désormais active.