Tous les produits
Search
Centre de documentation

Data Transmission Service:Synchroniser les données ApsaraDB for MongoDB vers Lindorm

Dernière mise à jour :Oct 09, 2026

Data Transmission Service (DTS) synchronise les données d'ApsaraDB for MongoDB (ensemble de réplicas ou cluster fragmenté) vers Lindorm (moteur wide-column). Ce service stable, économique et facile à utiliser offre une haute concurrence et une faible latence, ce qui le rend idéal pour des cas d'utilisation tels que les métadonnées, les commandes, les factures, les profils et les réseaux sociaux.

Prérequis

  • L'instance source ApsaraDB for MongoDB doit se trouver dans la région Allemagne (Francfort).

  • L'instance source ApsaraDB for MongoDB doit disposer d'une architecture en ensemble de réplicas ou en cluster fragmenté.

    Important

    Si l'instance source ApsaraDB for MongoDB utilise une architecture de cluster fragmenté, vous devez obtenir un endpoint pour chaque nœud shard et vérifier que tous les nœuds shard utilisent le même compte et le même mot de passe. Pour plus d'informations, consultez Demander un endpoint shard.

  • Créez une instance Lindorm cible utilisant le moteur wide table et disposant d'un espace de stockage supérieur à celui de l'instance source ApsaraDB for MongoDB. Pour plus d'informations, consultez Créer une instance.

    Remarque

    La capacité de stockage de l'instance cible doit être supérieure d'au moins 10 % à l'espace de stockage utilisé par la base de données source.

  • Créez une wide table dans votre instance Lindorm en fonction de vos besoins métier. Pour obtenir des instructions, consultez Se connecter à LindormTable et l'utiliser avec Lindorm-cli ou Se connecter à LindormTable avec Lindorm Shell.

    Remarque

Précautions

Type

Description

Limites de la base de données source

  • Exigence de bande passante : le serveur hébergeant votre base de données source doit disposer d'une bande passante sortante suffisante. Sinon, la vitesse de synchronisation risque d'être affectée.

  • Les collections à synchroniser doivent posséder une clé primaire ou une contrainte UNIQUE, et les valeurs des champs doivent être uniques. Sinon, des données en double peuvent apparaître dans la base de données de destination.

  • Si votre MongoDB source est une instance de cluster fragmenté, le champ _id des collections à synchroniser doit contenir des valeurs uniques. Sinon, une incohérence des données peut survenir.

  • Si votre MongoDB source est une instance de cluster fragmenté, le nombre de nœuds Mongos ne peut pas dépasser 10.

  • Si votre instance source est un cluster fragmenté MongoDB géré par vous-même :

    • Access Method prend uniquement en charge Express Connect, VPN Gateway, or Smart Access Gateway et Cloud Enterprise Network (CEN).

    • Si votre version de MongoDB est la 8,0 ou ultérieure et que la Migration Method est définie sur Oplog, assurez-vous que le compte Shard utilisé par la tâche de synchronisation dispose de l'autorisation directShardOperations. Ajoutez cette autorisation à l'aide de la commande db.adminCommand({ grantRolesToUser: "username", roles: [{ role: "directShardOperations", db: "admin"}]}).

      Remarque

      Remplacez username dans la commande par le compte Shard utilisé par la tâche de synchronisation.

    • Si la Migration Method est définie sur Oplog et que la tâche inclut une synchronisation complète des données, assurez-vous que le compte Mongos de votre cluster fragmenté MongoDB source dispose de l'autorisation d'exécuter la commande db.runCommand({"balancerStatus":1}). DTS vérifie si le Balancer est désactivé à l'aide de cette commande lors de la pré-vérification.

  • Si vous effectuez une synchronisation au niveau des collections et devez modifier des objets (par exemple, renommer des collections), une tâche de synchronisation prend en charge jusqu'à 1 000 collections. Si vous dépassez cette limite, la tâche échoue avec une erreur après soumission. Pour résoudre ce problème, divisez les collections en lots et configurez plusieurs tâches. Ou configurez une tâche de synchronisation de base de données complète.

  • Un seul document de votre base de données source ne peut pas dépasser 16 Mo. Sinon, la tâche échoue.

  • Votre base de données source ne peut pas être Azure Cosmos DB for MongoDB ou Amazon DocumentDB (cluster élastique).

  • Votre base de données source doit activer Oplog et conserver Oplog pendant au moins sept jours. Ou activez Change Streams et assurez-vous que DTS peut s'abonner aux modifications de données des sept derniers jours via Change Streams. Sinon, DTS risque de ne pas pouvoir capturer les modifications de données, entraînant l'échec de la tâche. Dans les cas extrêmes, cela peut provoquer une incohérence ou une perte de données. Ces problèmes ne sont pas couverts par l'accord de niveau de service (SLA) de DTS.

    Important
    • Nous vous recommandons d'utiliser Oplog pour capturer les modifications de données.

    • Seules les versions MongoDB 4.0 et ultérieures prennent en charge Change Streams. Change Streams ne prend pas en charge la synchronisation bidirectionnelle.

    • Si votre base de données source est Amazon DocumentDB (cluster non élastique), activez manuellement Change Streams. Lors de la configuration de la tâche, définissez Migration Method sur ChangeStream et définissez Architecture sur Sharded Cluster.

  • Limites d'opération de la base de données source :

    • Pendant la synchronisation complète des données, ne modifiez pas le schéma des bases de données ou des collections (y compris les mises à jour de données de type tableau). Sinon, la tâche de migration des données peut échouer ou entraîner une incohérence des données entre les bases de données source et de destination.

    • Si vous effectuez uniquement une synchronisation complète des données, n'écrivez pas de nouvelles données dans l'instance source. Sinon, une incohérence des données peut survenir entre les bases de données source et de destination.

    • Si votre MongoDB source est une instance de cluster fragmenté, pendant l'exécution de l'instance de synchronisation, n'exécutez pas de commandes modifiant la distribution des données sur les objets à synchroniser dans la base de données source (par exemple, shardCollection, reshardCollection, unshardCollection, moveCollection ou movePrimary). Sinon, une incohérence des données peut survenir.

  • Si les collections à synchroniser contiennent des index TTL, une incohérence des données ou une latence peut survenir.

  • Assurez-vous qu'il n'existe aucun document orphelin dans votre instance de cluster fragmenté MongoDB. Sinon, une incohérence des données ou un échec de la tâche peut survenir. Pour plus d'informations, consultez les documents orphelins et la rubrique Comment nettoyer les documents orphelins dans MongoDB (architecture de cluster fragmenté).

  • Si votre MongoDB source est un cluster fragmenté et que le Balancer équilibre les données, une latence peut survenir.

  • DTS ne prend pas en charge la connexion aux bases de données MongoDB à l'aide d'adresses SRV.

Autres limites

  • Seules les tâches de synchronisation au sein de la région Allemagne (Francfort) sont prises en charge.

  • DTS ne prend pas en charge la synchronisation des données depuis les bases de données admin, config et local.

  • La collection Lindorm de destination ne peut pas comporter de champs nommés _id ou _value. Sinon, la synchronisation échoue.

  • Si vous avez besoin d'une synchronisation incrémentielle pour les opérations UPDATE ou DELETE, appliquez les limites suivantes :

    • Si la wide table est créée à l'aide de Lindorm SQL, ajoutez une colonne hors clé primaire nommée _mongo_id_ lors de la création de la table. Son type de données doit correspondre au type du champ _id dans MongoDB. Créez également un index secondaire sur cette colonne.

    • Si la wide table est créée à l'aide de l'API HBase, ajoutez une colonne hors clé primaire nommée _mongo_id_ dans la famille de colonnes f lors de la création de la table. Son type de données doit correspondre au type du champ _id dans MongoDB. Créez également un index secondaire sur cette colonne. Si vous utilisez cette nouvelle colonne conjointement avec ETL, assurez-vous qu'il n'existe aucune donnée en double dans Lindorm.

  • Les informations de transaction ne sont pas conservées. Les transactions de la base de données source deviennent des enregistrements individuels dans la base de données de destination.

  • Les données à synchroniser dans l'instance Lindorm doivent répondre aux exigences spécifiées dans les Limites de requête. Sinon, la tâche échoue.

  • Évaluez les performances des bases de données source et de destination avant la synchronisation. Exécutez la synchronisation pendant les heures creuses. Sinon, la synchronisation complète des données consomme des ressources de lecture et d'écriture, augmentant la charge de la base de données.

  • La synchronisation complète des données exécute des opérations INSERT de manière concurrente. Cela crée de la fragmentation dans la collection de la base de données de destination. Après la synchronisation complète, l'espace de stockage de la collection dans la base de données de destination est supérieur à celui de l'instance source.

  • Confirmez que la précision de synchronisation DTS pour les colonnes FLOAT ou DOUBLE répond à vos attentes métier. DTS lit ces colonnes à l'aide de ROUND(COLUMN,PRECISION). Si la précision n'est pas définie, DTS utilise 38 chiffres pour FLOAT et 308 chiffres pour DOUBLE.

  • DTS tente de récupérer les tâches de synchronisation ayant échoué dans un délai de sept jours. Avant de basculer le trafic vers l'instance de destination, terminez ou libérez la tâche. Ou utilisez la commande revoke pour révoquer les autorisations d'écriture du compte DTS sur l'instance de destination. Cela empêche la récupération automatique d'écraser les données de destination avec les données source.

  • DTS calcule la latence de synchronisation incrémentielle en comparant l'horodatage du dernier document synchronisé avec l'horodatage actuel. Si la base de données source ne subit aucune mise à jour pendant une longue période, les informations de latence peuvent être inexactes. Si la latence semble trop élevée, exécutez une opération de mise à jour dans la base de données source pour actualiser les informations de latence.

  • DTS ne prend pas en charge la synchronisation des collections time-series introduites dans MongoDB 5.0 et versions ultérieures.

  • En cas d'échec d'une tâche, l'équipe support DTS tentera de la restaurer dans un délai de huit heures. Pendant la restauration, ils peuvent redémarrer la tâche ou ajuster ses paramètres.

    Remarque

    Seuls les paramètres de la tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans la rubrique Modifier les paramètres de l'instance.

  • La synchronisation de données contenant un encodage autre que UTF-8 n'est pas prise en charge, ce qui peut entraîner une incohérence des données.

Facturation

Type de synchronisation

Frais de configuration de la tâche

Synchronisation complète des données

Gratuit.

Synchronisation incrémentielle des données

Des frais s'appliquent. Pour plus d'informations, consultez la présentation de la facturation.

Types de synchronisation

Type

Description

Synchronisation complète des données

Déplace toutes les données existantes des objets sélectionnés de l'instance source ApsaraDB for MongoDB vers l'instance Lindorm de destination.

Remarque

La synchronisation complète des données est prise en charge pour les bases de données et les collections.

Synchronisation incrémentielle des données

Synchronise les modifications de données en cours depuis l'instance source ApsaraDB for MongoDB vers l'instance Lindorm de destination après une synchronisation initiale complète des données.

Remarque
  • Seules les opérations d'insertion, de mise à jour et de suppression sur les documents d'une collection sont prises en charge.

  • Pour les mises à jour de documents, seules les opérations utilisant la commande $set sont répliquées.

Autorisations des comptes de base de données

Base de données

Autorisations

Actions

Source ApsaraDB for MongoDB

Autorisation de lecture sur les bases de données source, admin et local.

Gestion des autorisations pour les utilisateurs de base de données MongoDB

Lindorm cible

Autorisation de lecture et d'écriture sur le namespace cible.

Gérer le contrôle d'accès

Remarque

Si vous utilisez ChangeStream comme méthode de synchronisation incrémentielle, le compte de la base de données source nécessite des autorisations de lecture Change Streams à l'échelle de l'instance (telles que readAnyDatabase). Si la source est une instance ApsaraDB for MongoDB avec un compte personnalisé, vous devez également accorder au compte l'autorisation de lecture sur la base de données admin. Pour plus de détails, consultez la rubrique Autorisations du compte root spécifié lors de la création de l'instance.

Procédure

  1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

    Depuis la console DTS

    1. Connectez-vous à la Data Transmission Service (DTS) console.

    2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

    3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

    Depuis la console DMS

    Remarque

    Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Simple mode et Customize the layout and style of the DMS interface.

    1. Connectez-vous à Data Management (DMS).

    2. Dans la barre de menu supérieure, choisissez Data Synchronization > Data + AI > Data Transmission (DTS).

    3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

  2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

  3. Configurez les bases de données source et de destination.

    Catégorie

    Paramètre

    Description

    N/A

    Data Synchronization

    DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.

    Data Synchronization Tasks

    Create Task

    • Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.

      Remarque

      Dans la console DMS, cet élément de configuration est nommé Task Name.

    • Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.

    Source Database

    Sélectionnez Select Existing Connection.

    Access Method

    Sélectionnez Database Type.

    MongoDB

    Sélectionnez la région où se trouve l'instance ApsaraDB for MongoDB source.

    Replicate Data Across Alibaba Cloud Accounts

    Cet exemple montre comment synchroniser les données au sein du même compte Alibaba Cloud. Sélectionnez Alibaba Cloud Instance.

    Instance Region

    Dans cet exemple, sélectionnez Replica Set.

    Remarque

    Si l'instance ApsaraDB for MongoDB source est un No, vous devez également spécifier le Architecture et le Shard password.

    Sharded Cluster

    Sélectionnez une méthode pour la synchronisation incrémentielle des données en fonction de vos besoins.

    • Shard account (Recommandé) :

      Cette option est disponible si Oplog est activé pour la base de données source.

      Remarque

      Oplog est activé par défaut pour les bases de données MongoDB gérées par l'utilisateur et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour les tâches de synchronisation incrémentielle car les journaux sont récupérés plus rapidement. Nous vous recommandons de sélectionner Oplog.

    • Migration Method :

      Cette option est disponible si Change Streams sont activés pour la base de données source.

      Remarque
      • Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que Oplog.

      • Si vous définissez l'Architecture de la base de données source sur ChangeStream, vous n'avez pas besoin de spécifier le ChangeStream ni le Shard password.

    Sharded Cluster

    Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.

    Shard account

    Saisissez le nom de la base de données d'authentification pour l'instance ApsaraDB for MongoDB source. La valeur par défaut est admin.

    Database Account

    Saisissez le compte de base de données pour votre instance ApsaraDB for MongoDB source. Pour plus d'informations sur les autorisations requises, consultez Permissions required for database accounts.

    Instance ID

    Saisissez le mot de passe correspondant au compte de base de données.

    Authentication Database

    DTS prend en charge trois méthodes de connexion : Non-encrypted, Database Password et Encryption. Les options pour Encryption varient en fonction de la SSL-encrypted et de l'Mongo Atlas SSL sélectionnées. Les options affichées dans la console font foi.

    Remarque
    • Une base de données MongoDB dont l'Architecture est Access Method et dont la Architecture est Oplog ne prend pas en charge Sharded Cluster.

    • Si la source est une base de données MongoDB gérée par l'utilisateur (la Migration Method n'est pas Alibaba Cloud Instance) avec une architecture SSL-encrypted, et que vous sélectionnez Access Method, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.

    Destination Database

    Replica Set

    • Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.

      Remarque

      Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance..

    • Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.

    Database Type

    Sélectionnez Select Existing Connection.

    Select a DMS database instance.

    Sélectionnez Alibaba Cloud Instance.

    Lindorm

    Sélectionnez la région où se trouve l'instance Lindorm de destination.

    Access Method

    Sélectionnez l'ID de l'instance Lindorm de destination.

    Database Account

    Saisissez le compte de base de données pour l'instance Lindorm de destination. Pour plus d'informations sur les autorisations requises, consultez Permissions required for database accounts.

    Instance Region

    Saisissez le mot de passe correspondant au compte de base de données.

  4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

    Remarque
    • Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cela peut être fait automatiquement ou manuellement. Pour plus d'informations, consultez Add the IP address CIDR blocks of DTS servers to a whitelist.

    • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la Instance ID n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

  5. Configurez les objets de la tâche.

    1. Sur la page Database Password, configurez les objets à synchroniser.

      Paramètre

      Description

      Test Connectivity and Proceed

      CIDR Blocks of DTS Servers est sélectionné. Vous ne pouvez sélectionner que Configure Objects. La Synchronization Types n'est pas prise en charge. Une fois la pré-vérification terminée, DTS synchronise les données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure.

      Incremental Data Synchronization

      Aucune configuration n'est requise. Vous pouvez conserver le paramètre par défaut.

      Schema Synchronization

      Vous pouvez configurer la politique de sensibilité à la casse pour les noms anglais des objets de base de données et de collection synchronisés vers l'instance de destination. Vous pouvez sélectionner la Full Data Synchronization, qui est l'option par défaut, ou utiliser les politiques par défaut de la base de données source ou de destination. Pour plus d'informations, consultez Politique de sensibilité à la casse pour les noms d'objets de destination.

      Incremental Data Synchronization

      Dans la zone Full Data Synchronization, cliquez sur un objet à synchroniser, puis cliquez sur 向右 pour le déplacer vers la zone Schema Synchronization.

      Remarque

      Vous pouvez sélectionner des objets au niveau de la collection.

      Processing Mode of Conflicting Tables

      Si vous avez utilisé Lindorm SQL pour créer la table large dans la base de données de destination, vous devez configurer des colonnes supplémentaires pour la synchronisation. Les colonnes non configurées ne sont pas synchronisées.

      1. Modifiez le mappage du nom de la base de données.

        1. Dans la zone Capitalization of Object Names in Destination Instance, faites un clic droit sur la base de données contenant la collection que vous souhaitez synchroniser.

        2. Remplacez DTS default policy par le nom de la base de données de destination dans Lindorm.

          Dans la boîte de dialogue affichée, sélectionnez les opérations DML à synchroniser (insert, update et delete). Dans la section Colonnes supplémentaires, cliquez sur + Nouvelle colonne pour ajouter des colonnes. Ensuite, cliquez sur OK.

        3. Facultatif : Dans la section Source Objects, sélectionnez les opérations incrémentielles que vous souhaitez synchroniser.

        4. Cliquez sur Source Objects.

      2. Modifiez le mappage du nom de la table.

        1. Dans la zone Selected Objects, faites un clic droit sur la collection que vous souhaitez synchroniser.

        2. Remplacez Selected Objects par le nom de la table de destination dans Lindorm.

          Dans la boîte de dialogue Edit Table, vous pouvez également définir des Conditions de filtrage. La syntaxe des conditions de filtrage pour ApsaraDB for MongoDB diffère de la clause WHERE SQL standard. Dans la section Select DML Operations to Be Synchronized, sélectionnez insert, update et delete. Dans la section Colonnes supplémentaires, cliquez sur + Nouvelle colonne pour ajouter des colonnes à la table de destination à des fins telles que la gestion des métadonnées, le tri ou la déduplication. Une fois les paramètres effectués, cliquez sur OK.

        3. Facultatif : Définissez des conditions de filtrage. Pour plus d'informations, consultez Filtrer les données de tâche avec une condition SQL.

        4. Facultatif : Dans la section Selected Objects, sélectionnez les opérations incrémentielles que vous souhaitez synchroniser.

      3. Configurez les champs MongoDB à synchroniser.

        Par défaut, DTS mappe les données de la collection à synchroniser et configure une expression dans la colonne Schema Name. Vous devez vérifier si l'expression répond à vos exigences et spécifier des informations telles que le Select DML Operations to Be Synchronized, le OK, la Selected Objects et la Table Name.

        1. Dans la colonne Select DML Operations to Be Synchronized, affichez le nom du champ dans MongoDB au sein de l'expression bson_value().

          Le contenu entre "" correspond au nom du champ dans MongoDB. Par exemple, si l'expression est bson_value("age"), cette ligne correspond au champ age dans MongoDB.

        2. Facultatif : Supprimez les champs que vous ne souhaitez pas synchroniser.

          Remarque

          Pour supprimer un champ que vous ne souhaitez pas synchroniser, cliquez sur l'icône image dans la ligne correspondante.

        3. Configurez les champs à synchroniser.

          Effectuez les étapes suivantes selon que l'expression bson_value() répond à vos exigences.

          Expressions correspondantes

          1. Saisissez un Parameter Value.

            Remarque

            Il s'agit du nom de la colonne de destination dans la table Lindorm.

            • Si la table de destination a été créée à l'aide de SQL, saisissez le nom de la colonne dans la table Lindorm pour le paramètre Column Name.

            • Si la table de destination a été créée à l'aide de HBase et que vous devez utiliser la fonctionnalité d'ajout de colonne, vous devez ajouter des mappages de colonnes avant de modifier le nom de la colonne. Pour plus d'informations, consultez Exemple d'ajout de mappages de colonnes pour une table HBase. Configurez le Type comme suit :

              • Si la colonne est une clé primaire, saisissez ROW.

              • Si la colonne n'est pas une clé primaire, utilisez le format famille_de_colonnes:nom_de_colonne, tel que person:name.

          2. Sélectionnez un Length de données pour la colonne.

            Important

            Assurez-vous que le type de données de la table de destination est compatible avec les données de la base de données MongoDB source.

          3. Facultatif : Configurez la Precision et la Parameter Value pour les données de la colonne.

          4. Répétez ces étapes pour mapper tous les champs pertinents.

          Expressions non correspondantes

          Remarque

          Par exemple, les champs ayant des structures hiérarchiques (parent-enfant).

          1. Dans la colonne Column Name, cliquez sur l'icône image dans la ligne correspondante.

          2. Cliquez sur Column Name. Dans la section Colonnes supplémentaires, cliquez sur le bouton + Nouvelle colonne dans le coin supérieur droit.

          3. Configurez le Column Name, le Type, la Length et la Precision.

          4. Dans la zone de texte sous Actions, saisissez l'expression bson_value(). Pour plus d'informations, consultez Exemples d'affectation de valeurs.

            Important
            • La valeur bson_value("_id") doit être attribuée à la colonne de clé primaire de la table de destination.

            • Lorsque vous configurez l'expression bson_value(), vous devez spécifier le chemin jusqu'au sous-champ de niveau le plus bas dans la hiérarchie. Sinon, une perte de données peut se produire ou la tâche peut échouer.

          5. Répétez ces étapes pour mapper tous les champs pertinents.

      4. Cliquez sur + New Column.

    2. Cliquez sur Column Name pour configurer les paramètres avancés.

      Paramètre

      Description

      Type

      Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.

      Length

      Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.

      Remarque
      • Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou destination, et que vous définissez le délai de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.

      • Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.

      Precision

      Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes réussissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.

      Important

      La valeur pour Parameter Value doit être inférieure à celle de OK.

      Next: Advanced Settings

      Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Dedicated Cluster for Task Scheduling, Retry Time for Failed Connections et Retry Time for Other Issues.

      Remarque
      • Cet élément de configuration est disponible uniquement lorsque Retry Time for Other Issues est défini sur Retry Time for Failed Connections.

      • Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.

      Enable Throttling for Full Data Synchronization

      Spécifiez si les types de données de la clé primaire _id sont uniques au sein de chaque collection à synchroniser.

      Important
      • Sélectionnez une option en fonction de vos données réelles. Une sélection incorrecte peut entraîner une perte de données.

      • Ce paramètre est disponible uniquement si Queries per second (QPS) to the source database inclut RPS of Full Data Migration.

      • Data migration speed for full migration (MB/s) : Les types de données sont uniques. Pendant la phase de synchronisation complète, DTS n'analyse pas les types de données des clés primaires dans les données source. Pour chaque collection, DTS synchronise uniquement les données correspondant à un type de données de clé primaire.

      • Synchronization Types : Les types de données ne sont pas uniques. Pendant la phase de synchronisation complète, DTS analyse les types de données des clés primaires dans les données source et synchronise toutes les données.

      Full Data Synchronization

      Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez le Only one data type for primary key _id in a table of the data to be synchronized et la Synchronization Types.

      Full Data Synchronization

      Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins. Dans cet exemple, aucune sélection n'est nécessaire.

      Yes

      Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que ETL ? Valeurs valides :

      Remarque

      Si la table de destination a été créée à l'aide de HBase, tenez compte des points suivants :

      • La syntaxe ETL inclut les colonnes à configurer et les colonnes à exclure. Pendant la synchronisation, tous les champs de premier niveau des documents MongoDB pour lesquels ETL est configuré sont stockés dans la famille de colonnes par défaut f de la table HBase. L'exemple suivant montre comment écrire tous les éléments sauf les deux éléments de premier niveau _id et name en tant que colonnes dynamiques dans la table de destination. Pour plus d'informations, consultez Exemple de synchronisation de table HBase (ETL).

        script:e_expand_bson_value("*", "_id,name")
      • Si vous devez utiliser à la fois la fonctionnalité de nouvelle colonne et la fonctionnalité ETL, assurez-vous que les données dans Lindorm ne sont pas dupliquées.

      • Les colonnes pour lesquelles ni la fonctionnalité de nouvelle colonne ni la fonctionnalité ETL ne sont configurées ne sont pas synchronisées vers la base de données de destination.

      RPS of Incremental Data Synchronization

      Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.

  6. Enregistrez la tâche et exécutez une pré-vérification.

    • Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Configure ETL et cliquez sur Yes dans la bulle.

    • Une fois que vous avez terminé de consulter les paramètres API, cliquez sur No en bas de la page.

    Remarque
    • Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.

    • Si la pré-vérification échoue, cliquez sur Monitoring and Alerting pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la pré-vérification.

    • Si la pré-vérification renvoie un avertissement :

      • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur No à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.

      • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Yes, Next: Save Task Settings and Precheck, Preview OpenAPI parameters, puis Next: Save Task Settings and Precheck dans l'ordre pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.

  7. Achetez l'instance.

    1. Lorsque le View Details est de 100 %, cliquez sur View Details.

    2. Sur la page Confirm Alert Details, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie

      Paramètre

      Description

      Ignore

      Méthode de facturation

      • Abonnement : Vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante.

      • Paiement à l'utilisation : Vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.

      Configuration du groupe de ressources

      Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que Resource Management ?.

      Spécification de lien

      DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Spécifications de lien de synchronisation de données.

      Durée de l'abonnement

      En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.

      Remarque

      Cette option est disponible uniquement lorsque la méthode de facturation est OK.

    3. Une fois la configuration terminée, lisez et sélectionnez Precheck Again.

    4. Cliquez sur Success Rate. Dans la boîte de dialogue Next: Purchase Instance, cliquez sur Purchase.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

  8. Ajout de mappages de colonnes à une table HBase

    Cet exemple présente les commandes à exécuter dans le SQL Shell.

    Remarque

    Cette fonctionnalité nécessite Lindorm 2.4.0 ou une version ultérieure.

    1. Ajoutez un mappage de colonne à la table HBase.

      ALTER TABLE test MAP DYNAMIC COLUMN f:_mongo_id_ HSTRING/HINT/..., person:name HSTRING, person:age HINT;
    2. Créez un index secondaire sur la table HBase.

      CREATE INDEX idx ON test(f:_mongo_id_);

    Exemple : ETL pour les tables HBase

    Document MongoDB

    {
      "_id" : 0,
      "person" : {
        "name" : "cindy0",
        "age" : 0,
        "student" : true
      }
    }

    Instruction de traitement ETL

    script:e_expand_bson_value("*", "_id")

    Résultat de la synchronisation

    0: jdbc:lindorm:xxx> select * from mongo_test_dynamic_column limit 3;
    +------+------+-------------+----------------------------------------------------------+
    | ROW  | COL  | _mongo_id_  |                         person                           |
    +------+------+-------------+----------------------------------------------------------+
    |      | 0    |             | { "name" : "cindy0", "age" : 0, "student" : true }      |
    |      | 1    |             | { "name" : "cindy1", "age" : 1, "student" : false }     |
    |      | 2    |             | { "name" : "cindy2", "age" : 2, "student" : true }      |
    +------+------+-------------+----------------------------------------------------------+
    3 rows selected (0.009 seconds)

    Exemple d'affectation de valeur

    Structure des données source ApsaraDB for MongoDB

    {
      "_id":"62cd344c85c1ea6a2a9f****",
      "person":{
        "name":"neo",
        "age":"26",
        "sex":"male"
      }
    }

    Schéma de la table Lindorm de destination

    Parameter

    Type

    id

    STRING

    person_name

    STRING

    person_age

    BIGINT

    Configuration de l'affectation de valeur

    Important

    Vous devez spécifier le chemin hiérarchique complet dans l'expression bson_value() afin d'éviter toute perte de données ou tout échec de la tâche. Par exemple, si vous définissez l'expression sur bson_value("person"), DTS ne peut pas synchroniser les données incrémentielles des sous-champs de l'objet person (tels que name, age et sex) vers la destination.

    Parameter

    Type

    Value

    id

    STRING

    bson_value("_id")

    person_name

    STRING

    bson_value("person","name")

    person_age

    BIGINT

    bson_value("person","age")