DTS permet de synchroniser un jeu de réplicas MongoDB vers un autre jeu de réplicas ou vers un cluster fragmenté.
Bases de données source et de destination prises en charge
Cette section répertorie les bases de données source et de destination prises en charge pour la synchronisation des données depuis un jeu de réplicas MongoDB vers un autre jeu de réplicas ou un cluster fragmenté MongoDB. Cette rubrique illustre la procédure de configuration en utilisant une instance de jeu de réplicas ApsaraDB for MongoDB comme source et une instance de jeu de réplicas ou un cluster fragmenté ApsaraDB for MongoDB comme destination. La procédure est similaire pour les autres sources de données.
|**Base de données source**
|
**Base de données de destination**
| | --- | --- | |
Instance de jeu de réplicas ApsaraDB for MongoDB
|
Instance de jeu de réplicas ou cluster fragmenté ApsaraDB for MongoDB
| |
Jeu de réplicas MongoDB autonome sur une instance ECS
|
Jeu de réplicas ou cluster fragmenté MongoDB autonome sur une instance ECS
| |
Jeu de réplicas MongoDB autonome connecté via Express Connect, VPN Gateway ou Smart Access Gateway
|
Jeu de réplicas ou cluster fragmenté MongoDB autonome connecté via Express Connect, VPN Gateway ou Smart Access Gateway
|
Prérequis
-
Vous devez avoir créé une instance source de jeu de réplicas ApsaraDB for MongoDB et une instance de destination ApsaraDB for MongoDB (jeu de réplicas ou cluster fragmenté). Pour obtenir des instructions, consultez les rubriques Créer une instance de jeu de réplicas et Créer une instance de cluster fragmenté.
RemarquePour connaître les versions prises en charge, consultez la rubrique Présentation de la solution de synchronisation.
L'instance de destination ApsaraDB for MongoDB doit disposer d'au moins 10 % d'espace de stockage supplémentaire par rapport à l'espace utilisé par l'instance source ApsaraDB for MongoDB.
-
Si l'instance cible ApsaraDB for MongoDB est un cluster fragmenté, vous devez créer les bases de données et les collections que vous souhaitez fragmenter, configurer le sharding des données, activer l'équilibreur de charge (balancer) et effectuer un pré-sharding dans l'instance cible ApsaraDB for MongoDB en fonction de vos besoins métier. Pour plus d'informations, consultez les rubriques Configurer le sharding des données pour optimiser les performances des shards et Gérer la distribution déséquilibrée des données dans un cluster fragmenté ApsaraDB for MongoDB.
RemarqueLa configuration du sharding des données répartit les données synchronisées sur tous les shards, ce qui maximise les performances du cluster. L'activation de l'équilibreur de charge et la réalisation du pré-sharding permettent d'éviter le déséquilibre des données.
Limites
Type | Description |
Limites de la base de données source |
|
Autres limites |
|
Cas particuliers | Si votre base de données source est un MongoDB autonome :
Remarque Si vous sélectionnez la synchronisation de base de données complète, créez une table de heartbeat. Mettez à jour ou écrivez dans cette table chaque seconde. |
Facturation
|**Type de synchronisation**
|
**Tarification**
| | --- | --- | |
Synchronisation du schéma et synchronisation complète des données
|
Gratuit.
| |
Synchronisation incrémentielle des données
|
Facturé. Pour plus d'informations, consultez la rubrique [Présentation de la facturation](t216039.dita#concept_261679).
|
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle plusieurs-à-un
Synchronisation unidirectionnelle en cascade
Pour plus de détails sur ces topologies de synchronisation et leurs considérations, consultez la rubrique Topologies de synchronisation.
Types de synchronisation
|
Type |
Description |
|
Synchronisation du schéma |
Réplique les schémas des objets sélectionnés depuis l'instance ApsaraDB for MongoDB source vers l'instance ApsaraDB for MongoDB de destination. |
|
Synchronisation complète des données |
Réplique l'intégralité des données historiques des objets sélectionnés depuis l'instance ApsaraDB for MongoDB source vers l'instance ApsaraDB for MongoDB de destination. Remarque
La synchronisation complète des données est prise en charge aux niveaux de la base de données et de la collection. |
|
Synchronisation incrémentielle des données |
Une fois la synchronisation complète des données terminée, réplique les modifications en cours depuis l'instance ApsaraDB for MongoDB source vers l'instance ApsaraDB for MongoDB de destination. OplogLa synchronisation incrémentielle des données ne réplique pas les bases de données créées après le démarrage de la tâche. Les modifications suivantes sont répliquées :
Change streamLes modifications suivantes sont répliquées :
|
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Simple mode et Customize the layout and style of the DMS interface.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Le non-respect de ces limites peut entraîner un échec de la tâche ou une incohérence des données.
Catégorie
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez MongoDB.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve l'instance ApsaraDB for MongoDB source.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
Architecture
Sélectionnez Replica Set.
Migration Method
Sélectionnez une méthode de synchronisation des données incrémentielles en fonction de vos besoins.
-
Oplog (recommandé) :
Cette option est disponible si Oplog est activé pour la base de données source.
RemarqueOplog est activé par défaut pour les bases de données MongoDB gérées par l'utilisateur et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour les tâches de synchronisation incrémentielle, car les journaux sont récupérés plus rapidement. Nous vous recommandons de sélectionner Oplog.
-
ChangeStream :
Cette option est disponible si Change Streams est activé pour la base de données source.
Remarque-
Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que ChangeStream.
-
Si vous définissez l'Architecture de la base de données source sur Sharded Cluster, vous n'avez pas besoin de spécifier le Shard account ni le Shard password.
-
Instance ID
Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.
Authentication Database
Saisissez le nom de la base de données associée au compte de l'instance ApsaraDB for MongoDB source. La valeur par défaut est
admin.Database Account
Saisissez le compte de la base de données ApsaraDB for MongoDB source. Le compte doit disposer d'une autorisation de lecture sur les bases de données à synchroniser, ainsi que sur les bases de données
config,adminetlocal.RemarqueSi vous utilisez ChangeStream comme méthode de synchronisation incrémentielle, le compte de la base de données source nécessite des autorisations de lecture Change Streams à l'échelle de l'instance (telles que
readAnyDatabase). Si la source est une instance ApsaraDB for MongoDB avec un compte personnalisé, vous devez également accorder au compte une autorisation de lecture sur la base de donnéesadmin. Pour plus de détails, consultez la rubrique Permissions of the root account specified during instance creation.Database Password
Saisissez le mot de passe correspondant au compte de la base de données.
Encryption
DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options d'Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi.
Remarque-
Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Oplog ne prend pas en charge l'option SSL-encrypted.
-
Si la source est une base de données MongoDB gérée par l'utilisateur (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set et que vous sélectionnez l'option SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez MongoDB.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve l'instance ApsaraDB for MongoDB de destination.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
Architecture
Sélectionnez le type d'architecture de l'instance ApsaraDB for MongoDB de destination.
Instance ID
Sélectionnez l'ID de l'instance ApsaraDB for MongoDB de destination.
Authentication Database
Saisissez le nom de la base de données associée au compte de l'instance ApsaraDB for MongoDB de destination. La valeur par défaut est
admin.Database Account
Saisissez le compte de la base de données ApsaraDB for MongoDB de destination. Le compte doit disposer de l'autorisation dbAdminAnyDatabase, de l'autorisation readWrite sur la base de données de destination et de l'autorisation de lecture sur la base de données local.
Database Password
Saisissez le mot de passe correspondant au compte de la base de données.
Encryption
DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options d'Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi.
Remarque-
Les bases de données MongoDB avec une Architecture de type Sharded Cluster ne prennent pas en charge l'option SSL-encrypted.
-
Si la destination est une base de données MongoDB gérée par l'utilisateur (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set et que vous sélectionnez l'option SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages CIDR d'adresses IP des serveurs DTS ont été ajoutées aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Add the IP address CIDR blocks of DTS servers to a whitelist.
Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Paramètre
Description
Synchronization Types
Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de base de référence pour la synchronisation incrémentielle ultérieure.
RemarquePour plus d'informations, consultez la section Étapes de la tâche.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : vérifie l'existence d'une collection portant le même nom dans la base de données de destination. Si une collection homonyme est trouvée, une erreur est signalée et la tâche de synchronisation des données ne démarre pas. Dans le cas contraire, la pré-vérification réussit.
RemarqueSi vous ne pouvez pas supprimer ou renommer la collection homonyme dans la base de données de destination, vous pouvez modifier le nom de la collection dans cette base. Pour plus d'informations, consultez la rubrique Définir le nom d'un objet de synchronisation dans l'instance de destination.
-
Ignore Errors and Proceed : ignore la vérification des collections portant le même nom dans la base de données de destination.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et mettre vos activités à risque. Par exemple :
-
Si un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source, l'enregistrement de destination est conservé. L'enregistrement provenant de la source n'est pas synchronisé vers la destination.
-
Cela peut provoquer l'échec de l'initialisation des données, une synchronisation partielle uniquement ou l'échec total de la synchronisation.
-
Synchronization Topology
Sélectionnez One-way Synchronization.
Capitalization of Object Names in Destination Instance
Vous pouvez configurer la politique de sensibilité à la casse pour les noms anglais des objets de base de données et de collection synchronisés vers l'instance de destination. Vous pouvez sélectionner la DTS default policy, qui est l'option par défaut, ou utiliser les politiques par défaut de la base de données source ou de destination. Pour plus d'informations, consultez la rubrique Politique de sensibilité à la casse pour les noms d'objets de destination.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueVous pouvez sélectionner des objets au niveau DATABASE ou COLLECTION.
Selected Objects
-
Pour définir le nom d'un objet de synchronisation dans l'instance de destination ou spécifier quel objet reçoit les données, faites un clic droit sur l'objet de synchronisation dans la zone Selected Objects et modifiez-le. Pour plus d'informations, consultez la rubrique Mapper les noms de tables et de colonnes.
-
Pour supprimer un objet de synchronisation, cliquez dessus dans la zone Selected Objects, puis cliquez sur
pour le déplacer vers la zone Source Objects.
Remarque-
Pour sélectionner des opérations incrémentielles au niveau de la base de données ou de la collection, faites un clic droit sur l'objet souhaité dans la zone Selected Objects et effectuez vos sélections dans la boîte de dialogue qui s'affiche.
-
Pour filtrer les données (pris en charge lors de la synchronisation complète mais pas lors de la synchronisation incrémentielle), faites un clic droit sur la collection souhaitée dans la zone Selected Objects et configurez les paramètres dans la boîte de dialogue qui s'affiche. Pour obtenir des instructions, consultez la rubrique Configurer les conditions de filtrage.
-
Si vous utilisez la fonctionnalité de mappage de noms d'objets pour spécifier une base de données ou une collection destinataire, la synchronisation peut échouer pour d'autres objets qui dépendent de l'objet mappé.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de reconnecter. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir une durée d'au moins 30 minutes. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez le temps de nouvelle tentative réseau sur 30 minutes pour l'instance A et sur 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, s'applique aux deux.
-
Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la fixer à au moins 10 minutes. Si les opérations concernées aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur définie pour Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization.
-
Vous pouvez également ajuster le taux de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
Only one data type for primary key _id in a table of the data to be synchronized
Spécifiez si les types de données de la clé primaire
_idsont uniques au sein de chaque collection à synchroniser.Important-
Sélectionnez une option en fonction de vos données réelles. Un choix incorrect peut entraîner une perte de données.
-
Ce paramètre est disponible uniquement si Synchronization Types inclut Full Data Synchronization.
-
Yes : les types de données sont uniques. Pendant la phase de synchronisation complète, DTS n'analyse pas les types de données des clés primaires dans les données source. Pour chaque collection, DTS synchronise uniquement les données correspondant à un seul type de données de clé primaire.
-
No : les types de données ne sont pas uniques. Pendant la phase de synchronisation complète, DTS analyse les types de données des clés primaires dans les données source et synchronise toutes les données.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins. Dans cet exemple, aucune sélection n'est nécessaire.
Configure ETL
Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
No : désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez la rubrique Configurer la validation des données pour obtenir des instructions de configuration.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage du travail de synchronisation, DTS exécute une pré-vérification. Le travail ne peut démarrer que si tous les éléments de pré-vérification sont réussis.
Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
New Instance Class
Méthode de facturation
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : la facturation s'effectue à l'heure. Cette solution est adaptée aux besoins ponctuels. Vous pouvez libérer l'instance immédiatement après utilisation pour réduire les coûts.
Configuration du groupe de ressources
Groupe de ressources auquel l'instance appartient. La valeur par défaut est « default resource group ». Pour en savoir plus, consultez What is Resource Management ?.
Spécification de lien
DTS propose des spécifications de synchronisation offrant différents niveaux de performance. La spécification du lien de synchronisation influe sur le taux de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Data synchronization link specifications.
Durée d'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option n'est disponible que lorsque la méthode de facturation est définie sur Subscription.
-
Une fois la configuration terminée, lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.
FAQ
Pourquoi observez-vous une latence des tâches et des incohérences de données même en l'absence d'écritures applicatives ?
-
Cause : Ce problème survient en raison d'un conflit entre le mécanisme de suppression automatique d'un index TTL sur une collection MongoDB et le mécanisme de synchronisation des données de DTS. Ce conflit peut entraîner une latence des tâches et des incohérences de données dans votre tâche de synchronisation ou de migration.
L'efficacité est réduite par les opérations DELETE redondantes : Lorsque l'index TTL source supprime les données expirées, il inscrit un enregistrement DELETE dans l'Oplog. DTS rejoue cette opération DELETE sur la destination. Si l'index TTL de destination a déjà supprimé les mêmes données, MongoDB renvoie un nombre de lignes affectées inattendu, ce qui déclenche la gestion des exceptions et ralentit la migration.
-
Incohérence des données due à la suppression asynchrone par TTL : Les index TTL ne suppriment pas les données en temps réel. Il est possible que des données expirées existent encore sur la source alors qu'elles ont déjà été supprimées sur la destination, provoquant ainsi une incohérence.
Exemple :
L'Oplog ou ChangeStream de MongoDB n'enregistre que les champs mis à jour lors d'une opération UPDATE, et non le document complet. Si une opération UPDATE ne trouve pas les données cibles sur la destination, DTS ignore l'opération.
|
**Chronologie**
|
**Instance source**
|
**Instance de destination**
| | --- | --- | --- | |
1
|
Le service insère des données
|
| |
2
|
|
DTS synchronise l'opération INSERT
| |
3
|
Les données ont expiré mais n'ont pas encore été supprimées par l'index TTL
|
| |
4
|
Le service met à jour les données (par exemple, modifie le champ de l'index TTL pour changer l'heure d'expiration)
|
| |
5
|
|
L'index TTL supprime les données
| |
6
|
|
DTS synchronise l'opération UPDATE, mais les données sont introuvables. L'opération est ignorée.
|Par conséquent, ce document est absent de l'instance MongoDB de destination.
Solution : Pour résoudre ce problème, modifiez temporairement la durée d'expiration de l'index TTL sur la cible pendant la tâche de synchronisation ou de migration. Cela garantit à la fois l'efficacité de la synchronisation et la cohérence des données. Pour plus de détails, consultez la rubrique Bonnes pratiques pour la synchronisation ou la migration de collections avec des index TTL depuis une source MongoDB.