Data Transmission Service:Migrer de MongoDB vers AnalyticDB for MySQL V3.0

Prérequis

• Si la source est un cluster fragmenté ApsaraDB for MongoDB, demandez un endpoint pour chaque shard. Tous les shards doivent utiliser le même nom d'utilisateur et le même mot de passe. Pour plus d'informations, consultez Demander un endpoint de shard.

• Vous disposez d'un cluster de destination AnalyticDB for MySQL 3,0 dont l'espace de stockage disponible est supérieur à l'espace utilisé par l'instance source ApsaraDB for MongoDB. Pour plus d'informations, consultez Créer un cluster.

  Remarque

  L'instance de destination doit disposer d'au moins 10 % d'espace de stockage supplémentaire par rapport à l'espace utilisé par l'instance source.

• Dans le cluster de destination AnalyticDB for MySQL 3,0, vous devez avoir créé une base de données et une table avec une clé primaire. Pour plus d'informations, consultez CREATE DATABASE et CREATE TABLE.

  Important

  • Les types de données de la table de destination doivent être compatibles avec les données MongoDB sources. Par exemple, si le champ _id dans MongoDB est de type ObjectId, le type de données correspondant dans le cluster AnalyticDB for MySQL 3.0 doit être varchar.

  • Dans un cluster AnalyticDB for MySQL 3,0, ne nommez pas les colonnes de la table de destination _id ou _value.

• Exécutez la commande SET ADB_CONFIG ALLOW_MULTI_QUERIES=true; dans le cluster de destination AnalyticDB for MySQL 3.0 pour activer Multi-Statement.

  Remarque

  Seuls les clusters dont la version mineure est 3.1.9.3 ou ultérieure prennent en charge Multi-Statement. Pour afficher et mettre à niveau la version mineure, consultez Mettre à niveau la version mineure.

Notes d'utilisation

Facturation

Types de migration

Autorisations des comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Migration. Data Migration

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de migration.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez Console en mode simple et Personnaliser la disposition et le style de la console DMS. Personnaliser la disposition et le style de la console DMS

   1. Connectez-vous à la console Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Migration.

   3. À droite de Data Migration Tasks, Data Migration Tasks sélectionnez la région où se trouve l'instance de migration.

2. Cliquez sur Create Task Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   S/O	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de la base de données ci-dessous seront configurées automatiquement. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance.. Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de la base de données ci-dessous.
   	Database Type	Sélectionnez MongoDB.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraDB for MongoDB source.
   	Replicate Data Across Alibaba Cloud Accounts	Dans cet exemple, une instance de base de données sous le compte Alibaba Cloud actuel est utilisée. Sélectionnez No.
   	Architecture	Cet exemple sélectionne Replica Set. Remarque Si votre instance ApsaraDB for MongoDB source utilise l'architecture Sharded Cluster, vous devez également spécifier Shard account et Shard password.
   	Migration Method	Sélectionnez une méthode pour la migration incrémentielle des données en fonction de vos besoins. Oplog (recommandé) : Cette option est disponible si un oplog est activé pour la base de données source. Remarque Un oplog est activé par défaut pour les bases de données MongoDB autogérées et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour la migration incrémentielle des données grâce à une extraction plus rapide des journaux. Par conséquent, nous vous recommandons de sélectionner Oplog. ChangeStream : cette option est disponible si Change Streams sont activés pour la base de données source. Remarque Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que ChangeStream. Si vous définissez Architecture sur Sharded Cluster pour la base de données source, vous n'avez pas besoin de saisir un Shard account ni un Shard password.
   	Instance ID	Sélectionnez l'ID d'instance de l'instance ApsaraDB for MongoDB source.
   	Authentication Database	Saisissez le nom de la base de données d'authentification pour l'instance ApsaraDB for MongoDB source. La valeur par défaut est admin.
   	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB for MongoDB source. Pour plus d'informations sur les autorisations requises, consultez Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options pour Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi. Remarque Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Oplog ne prend pas en charge le chiffrement SSL-encrypted. Si la source est une base de données MongoDB autogérée (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set, et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de la base de données ci-dessous seront configurées automatiquement. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance.. Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de la base de données ci-dessous.
   	Database Type	Sélectionnez AnalyticDB for MySQL 3.0.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région du cluster AnalyticDB for MySQL 3,0 de destination.
   	Instance ID	Sélectionnez l'ID du cluster AnalyticDB for MySQL 3,0 de destination.
   	Database Account	Saisissez le compte de base de données du cluster AnalyticDB for MySQL 3,0 de destination. Pour plus d'informations sur les autorisations requises, consultez Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que le segment d'adresses IP du service DTS est ajouté automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez Ajouter les adresses IP des serveurs DTS à une liste d'autorisation. Ajout des adresses IP des serveurs DTS à la liste d'autorisation

   • Si la base de données source ou de destination est une base de données autogérée (la Access Method Access Method n'est pas Alibaba Cloud Instance Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers CIDR Blocks of DTS Servers qui s'affiche.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.

      Parameter	Description
      Migration Types	Si vous avez uniquement besoin d'effectuer une migration complète, sélectionnez Full Data Migration. Pour effectuer une migration sans interruption de service, sélectionnez à la fois Full Data Migration et Incremental Data Migration. Remarque Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez pas de nouvelles données dans l'instance source pendant la migration des données afin de garantir la cohérence de ces dernières.
      DDL and DML Operations to Be Synchronized	Sélectionnez les opérations à migrer au niveau de l'instance lors de la migration incrémentielle. Remarque Pour sélectionner les opérations incrémentielles au niveau de la collection, cliquez avec le bouton droit sur l'objet de migration dans la section Selected Objects et sélectionnez les opérations dans la boîte de dialogue qui s'affiche.
      Merge Tables	Si vous sélectionnez Yes, DTS ajoute la colonne __dts_data_source à chaque table pour enregistrer les sources de données. Pour plus d'informations, consultez Activer la fusion de plusieurs tables. Si vous sélectionnez No, il s'agit de l'option par défaut. Remarque La fonctionnalité de fusion de tables est configurée au niveau de la tâche, et non au niveau de la table. Pour fusionner certaines tables mais pas d'autres, vous devez créer deux tâches de migration de données distinctes. Avertissement N'effectuez pas d'opérations DDL pour modifier le schéma de la base de données ou des tables source. Sinon, une incohérence des données ou un échec de la tâche peut se produire.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si des collections portant le même nom existent dans la base de données de destination. Si aucune collection du même nom n'existe, la prévérification est réussie. Si des collections du même nom existent, une erreur est signalée lors de la prévérification et la tâche de migration de données ne démarre pas. Remarque Si une collection de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier le nom de la collection dans la base de données de destination. Pour plus d'informations, consultez Mappage des noms d'objets. Ignore Errors and Proceed : ignore la vérification des collections portant le même nom. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et des risques commerciaux. Par exemple : Si un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base de données source, l'enregistrement de la base de données de destination est conservé. L'enregistrement de la base de données source n'est pas migré vers la base de données de destination. L'initialisation des données peut échouer, seule une partie des données peut être migrée ou la migration peut échouer.
      Source Objects	Dans la zone Source Objects, cliquez sur les objets à migrer, puis cliquez sur pour les déplacer vers la zone Selected Objects. Remarque Les objets de migration peuvent être sélectionnés au niveau de la collection.
      Selected Objects	Modifiez le mappage des noms de base de données. Dans la zone Selected Objects, cliquez avec le bouton droit sur la base de données contenant les collections à migrer. Remplacez la valeur de Schema Name par le nom de la base de données de destination dans le cluster AnalyticDB for MySQL 3,0. Dans la boîte de dialogue Edit Schema qui s'affiche, modifiez le Schema Name (par exemple, en dtsdb). Facultatif : Dans la section Select DDL and DML Operations to Be Synchronized, sélectionnez les opérations DML à migrer, telles que insert, update et delete. Cliquez sur OK. Modifiez le mappage des noms de table. Dans la zone Selected Objects, cliquez avec le bouton droit sur la collection à migrer. Le panneau Selected Objects affiche une arborescence des objets de la base de données (telle que dtsdb), y compris les types d'objets (tels que Table) et les objets spécifiques (tels que class). Remplacez la valeur de Table Name par le nom de la table de destination dans le cluster AnalyticDB for MySQL 3,0. Sur la page Edit Table qui s'affiche, vous pouvez modifier le Table Name (par exemple, class). Après avoir modifié le nom de la table ou de la colonne, les noms dans la base de données de destination sont mis à jour en conséquence. Facultatif : Définissez des conditions de filtrage pour la migration complète. Pour plus d'informations, consultez Définir des conditions de filtrage. Pour ApsaraDB for MongoDB, la syntaxe des conditions de filtrage diffère des clauses WHERE SQL standard. Par exemple, pour filtrer par ID utilisateur, saisissez : {"_id": {$gt:"user100844658590795**",$lte:"user101674868045948**"}}, où $gt signifie « supérieur à » et $lte signifie « inférieur ou égal à ». Facultatif : Dans la section Select DDL and DML Operations to Be Synchronized, sélectionnez les opérations DML à migrer, telles que insert, update et delete. Configurez les champs MongoDB à migrer. Par défaut, DTS mappe les données des collections à migrer et configure une expression dans la colonne Parameter Value. Vérifiez si l'expression répond à vos besoins et configurez des paramètres tels que Column Name, Type, Length et Precision. Important La colonne de clé primaire de la table de destination doit recevoir la valeur bson_value("_id"). Lorsque vous configurez l'expression bson_value(), spécifiez la hiérarchie jusqu'au sous-champ de niveau le plus bas. Sinon, une perte de données ou un échec de la tâche peut se produire. Dans la colonne Parameter Value, affichez le nom du champ MongoDB dans l'expression bson_value(). Le contenu entre guillemets ("") correspond au nom du champ MongoDB. Par exemple, si l'expression est bson_value("age"), cette ligne correspond au champ age dans MongoDB. Facultatif : Supprimez les champs que vous ne souhaitez pas migrer. Remarque Pour supprimer un champ que vous ne souhaitez pas migrer, cliquez sur l'icône dans la ligne correspondante. Configurez les champs à migrer. Effectuez les opérations suivantes selon que l'expression bson_value() répond ou non à vos besoins. Expressions correspondantes Saisissez un Column Name. Remarque Saisissez le nom de la colonne dans la table de destination du cluster AnalyticDB for MySQL 3,0. Sélectionnez le Type de données pour la colonne. Important Assurez-vous que le type de données de la table de destination est compatible avec les données MongoDB source. Pour obtenir des informations sur les mappages de types de données, consultez Mappages de types de données. Facultatif : Configurez la Length et la Precision pour les données de la colonne. Répétez ces étapes pour mapper tous les champs pertinents. Expressions non correspondantes Remarque Un exemple est un champ doté d'une structure hiérarchique (imbriquée). Dans la colonne Operation, cliquez sur l'icône dans la ligne du champ. Cliquez sur + Add Column. Configurez le Column Name, le Type, la Length et la Precision. Dans la zone de texte sous Parameter Value, saisissez une expression bson_value(). Pour plus d'informations, consultez Exemples de configuration d'affectation. Répétez ces étapes pour mapper tous les champs pertinents. Cliquez sur OK.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Parameter	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé. Vous n'avez pas besoin d'en sélectionner un. Si vous souhaitez des tâches plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de migration DTS.
      Retry Time for Failed Connections	Une fois la tâche de migration démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser la durée de nouvelle tentative avec une valeur comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée sur plus de 30 minutes. Si DTS se reconnecte aux bases de données source et de destination dans le délai spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Remarque Pour plusieurs instances DTS partageant la même source ou la même destination, la durée de nouvelle tentative réseau est déterminée par le paramètre de la dernière tâche créée. Étant donné que la tâche vous est facturée pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins professionnels, ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Une fois la tâche de migration démarrée, si un problème autre qu'un problème de connectivité, tel qu'une exception d'exécution DDL ou DML, se produit dans la base de données source ou de destination, DTS signale une erreur et commence immédiatement à retenter l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser la durée de nouvelle tentative avec une valeur comprise entre 1 et 1 440 minutes. Nous vous recommandons de définir la durée sur plus de 10 minutes. Si les opérations associées aboutissent dans la durée de nouvelle tentative spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à la valeur de Retry Time for Failed Connections.
      Enable Throttling for Full Data Migration	Lors de la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation de débit pour la tâche de migration complète. Vous pouvez définir les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s) pour réduire la charge sur la base de données de destination. Remarque Cet élément de configuration est disponible uniquement si vous sélectionnez Full Data Migration pour Migration Types. Vous pouvez également ajuster la vitesse de migration complète une fois que l'instance de migration est en cours d'exécution.
      Only one data type for primary key _id in a table of the data to be synchronized	Dans les données à migrer, le type de données de la clé primaire _id est-il uniforme au sein d'une seule collection ? Important Sélectionnez une option en fonction de vos besoins. Sinon, une perte de données peut se produire. Ce paramètre est disponible uniquement si vous sélectionnez Full Data Migration pour Migration Types. Yes : le type de données est unique. Lors de la migration complète des données, DTS n'analyse pas les types de données des clés primaires dans les données source. Pour une seule collection, DTS migre uniquement les données correspondant à un type de données de clé primaire. No : le type de données n'est pas unique. Lors de la migration complète des données, DTS analyse les types de données des clés primaires dans les données source et migre toutes les données.
      Enable Throttling for Incremental Data Migration	Si nécessaire, vous pouvez également choisir de définir des limites de vitesse pour la tâche de migration incrémentielle. Vous pouvez définir les paramètres RPS of Incremental Data Migration et Data migration speed for incremental migration (MB/s) pour réduire la charge sur la base de données de destination. Remarque Cet élément de configuration est disponible uniquement si vous sélectionnez Incremental Data Migration pour Migration Types. Vous pouvez également ajuster la vitesse de migration incrémentielle une fois que l'instance de migration est en cours d'exécution.
      Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Cette opération est facultative.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez des instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Sélectionnez si vous souhaitez définir des alertes et recevoir des notifications d'alerte en fonction de vos besoins professionnels. No : ne définit pas d'alerte. Yes : configurez les alertes en définissant un seuil d'alerte et des notifications d'alerte. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.

6. Enregistrez la tâche et exécutez une prévérification.

   • Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle qui s'affiche.

   • Si vous n'avez pas besoin d'afficher les paramètres API ou si vous avez terminé leur consultation, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de migration, DTS effectue une prévérification. La tâche ne démarre qu'après avoir réussi la prévérification.

   • Si la prévérification échoue, cliquez sur View Details à côté de l'élément de vérification ayant échoué, corrigez le problème en suivant les instructions, puis exécutez à nouveau la prévérification.

   • Si un avertissement est signalé lors de la prévérification :

     • Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème en suivant les instructions, puis exécutez à nouveau la prévérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'élément d'avertissement et exécuter à nouveau la prévérification. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase.

   3. Cliquez sur New Instance Class. Dans la boîte de dialogue Resource Group Settings qui s'affiche, cliquez sur Instance Class.

      Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Transmission Service (Pay-as-you-go) Service Terms.

      Remarque

      • Si la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Une fois la tâche arrêtée, son Buy and Start passe à OK.

      • Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, le OK de la tâche est Data Migration Tasks.

Correspondance des types de données

Type MongoDB	**Type AnalyticDB for MySQL 3,0**
ObjectId	VARCHAR
String	VARCHAR
Document	VARCHAR
DbPointer	VARCHAR
Array	VARCHAR
Date	DATETIME
Timestamp	DATETIME
Double	DOUBLE
Entier 32 bits (BsonInt32)	INTEGER
Entier 64 bits (BsonInt64)	BIGINT
Decimal128	DECIMAL
Boolean	BOOLEAN
Null	VARCHAR

Configuration du mappage

Structure des données source MongoDB

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}

Schéma de la table de destination AnalyticDB for MySQL

Paramètre	Type
mongo_id	varchar Remarque Cette colonne est la clé primaire.
person_name	varchar
person_age	decimal

Nouvelles colonnes

Important

Vous devez spécifier le chemin hiérarchique complet dans l'expression bson_value() pour éviter toute perte de données ou tout échec de la tâche. Par exemple, si vous définissez l'expression sur bson_value("person"), DTS ne peut pas synchroniser les données incrémentielles des sous-champs de l'objet person (tels que name, age et sex) vers la destination.

Paramètre	Type	Mappage
mongo_id	STRING	bson_value("_id")
person_name	STRING	bson_value("person","name")
person_age	DECIMAL	bson_value("person","age")