Data Transmission Service:Migrer ApsaraDB for MongoDB vers PolarDB for MySQL

Prérequis

• Si la base de données source est un cluster fragmenté ApsaraDB for MongoDB, demandez un endpoint pour chaque nœud de fragment. Assurez-vous que tous les nœuds de fragment utilisent le même compte et le même mot de passe. Pour plus d'informations, consultez Apply for a shard endpoint.

• Créez un cluster cible PolarDB for MySQL disposant d'un espace de stockage supérieur à celui de l'instance ApsaraDB for MongoDB source. Pour plus d'informations, consultez Custom Purchase et Purchase a subscription cluster.

  Remarque

  Nous vous recommandons de prévoir au moins 10 % d'espace de stockage supplémentaire par rapport à l'espace utilisé sur la base de données source.

• Dans le cluster cible PolarDB for MySQL, créez une base de données et une table pour recevoir les données. La table doit comporter une clé primaire. Pour plus d'informations, consultez Database management.

  Important

  • Assurez-vous que les types de données de la table cible sont compatibles avec les données MongoDB source. Par exemple, si le champ _id dans MongoDB est un ObjectId, la colonne correspondante dans le cluster PolarDB for MySQL cible doit être de type varchar.

  • Dans le cluster PolarDB for MySQL, les noms de colonnes de la table cible ne peuvent pas être _id ni _value.

Notes

Facturation

Types de migration

Autorisations requises pour les comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Migration.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de migration.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Console en mode simple et Personnaliser la disposition et le style de la console DMS.

   1. Connectez-vous à la console Data Management (DMS).

   2. Dans la barre de menus supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Migration.

   3. À droite de Data Migration Tasks, sélectionnez la région où se trouve l'instance de migration.

2. Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   S.O.	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance.. Si vous n'avez pas enregistré l'instance de base de données auprès du système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
   	Database Type	Sélectionnez MongoDB.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside l'instance ApsaraDB for MongoDB source.
   	Replicate Data Across Alibaba Cloud Accounts	Dans cet exemple, une instance de base de données sous le compte Alibaba Cloud actuel est utilisée. Sélectionnez No.
   	Architecture	Dans cet exemple, sélectionnez Replica Set. Remarque Si votre instance ApsaraDB for MongoDB source est un Sharded Cluster, vous devez également spécifier le Shard account et le Shard password.
   	Migration Method	Sélectionnez une méthode pour la migration incrémentielle des données en fonction de vos besoins. Oplog (recommandé) : Cette option est disponible si un oplog est activé pour la base de données source. Remarque Un oplog est activé par défaut pour les bases de données MongoDB gérées par l'utilisateur et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour la migration incrémentielle des données grâce à une extraction plus rapide des journaux. Par conséquent, nous vous recommandons de sélectionner Oplog. ChangeStream : cette option est disponible si les Change Streams sont activés pour la base de données source. Remarque Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que ChangeStream. Si vous définissez Architecture sur Sharded Cluster pour la base de données source, vous n'avez pas besoin de saisir de Shard account ni de Shard password.
   	Instance ID	Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.
   	Authentication Database	Saisissez le nom de la base de données à laquelle appartient le compte de base de données dans l'instance ApsaraDB for MongoDB source. Si vous ne l'avez pas modifié, la valeur par défaut est admin.
   	Database Account	Saisissez le compte de base de données pour l'instance ApsaraDB for MongoDB source. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations du compte de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options pour Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi. Remarque Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Oplog ne prend pas en charge le chiffrement SSL-encrypted. Si la source est une base de données MongoDB gérée par l'utilisateur (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance.. Si vous n'avez pas enregistré l'instance de base de données auprès du système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
   	Database Type	Sélectionnez PolarDB for MySQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside le cluster PolarDB for MySQL de destination.
   	Replicate Data Across Alibaba Cloud Accounts	Dans cet exemple, une instance de base de données sous le compte Alibaba Cloud actuel est utilisée. Sélectionnez No.
   	PolarDB Cluster ID	Sélectionnez l'ID du cluster PolarDB for MySQL de destination.
   	Database Account	Saisissez le compte de base de données pour le cluster PolarDB for MySQL de destination. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations du compte de base de données.
   	Database Password	Saisissez le mot de passe du compte de base de données.
   	Encryption	Sélectionnez une option en fonction de vos besoins professionnels. Pour plus d'informations sur la fonctionnalité de chiffrement SSL, consultez la rubrique Activer le chiffrement SSL.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que le segment d'adresses IP du service DTS est ajouté automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination afin d'autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers qui s'affiche.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.

      Parameter	Description
      Migration Types	Si vous devez uniquement effectuer une migration complète, sélectionnez Full Data Migration. Pour réaliser une migration sans interruption de service, sélectionnez à la fois Full Data Migration et Incremental Data Migration. Remarque Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez aucune nouvelle donnée dans l'instance source pendant la migration afin de garantir la cohérence des données.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si des collections portant le même nom existent déjà dans la base de données de destination. En l'absence de doublons, la prévérification est validée. Si des collections homonymes sont détectées, une erreur est signalée lors de la prévérification et la tâche de migration ne démarre pas. Remarque Si une collection de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier le nom de la collection dans la base de destination. Pour plus d'informations, consultez la rubrique Object name mapping. Ignore Errors and Proceed : ignore la vérification des collections portant le même nom. Avertissement Le choix de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et des risques opérationnels. Par exemple : Si un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base source, l'enregistrement de destination est conservé. L'enregistrement provenant de la source n'est pas migré. L'initialisation des données peut échouer, seule une partie des données peut être migrée ou la migration peut échouer complètement.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms des objets migrés (bases de données, tables et colonnes) dans l'instance de destination. Par défaut, l'option DTS default policy est sélectionnée. Vous pouvez également choisir d'aligner la sensibilité à la casse sur la politique par défaut de la base de données source ou de destination. Pour plus d'informations, consultez la rubrique Case sensitivity of object names in the destination database.
      Source Objects	Dans la zone Source Objects, cliquez sur les objets à migrer, puis cliquez sur pour les déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des objets au niveau de la collection.
      Selected Objects	Modifiez le mappage des noms de base de données. Dans la zone Selected Objects, faites un clic droit sur la base de données source contenant les collections à migrer. Dans cet exemple, le nom de la base de données est dtsdb, situé à la racine de l'arborescence. Remplacez la valeur du champ Schema Name par le nom de la base de données qui recevra les données dans le cluster PolarDB for MySQL de destination. Dans le panneau Edit Schema, modifiez le champ Schema Name avec le nom de destination (par exemple, dtsdb). Cliquez sur OK. Modifiez le mappage des noms de table. Dans la zone Selected Objects, faites un clic droit sur la collection que vous souhaitez migrer. Par exemple, si l'arborescence du panneau Selected Objects est dtsdb > Table > class, faites un clic droit sur la collection cible. Remplacez la valeur du champ Table Name par le nom de la table qui recevra les données dans le cluster PolarDB for MySQL de destination. Après avoir cliqué avec le bouton droit, vous pouvez modifier le champ Table Name dans la page Edit Table qui s'affiche (par exemple, class). Remarque : après modification du nom de la table ou des colonnes, les noms correspondants dans la base de données de destination seront mis à jour. Facultatif : Définissez des conditions de filtre pour la migration complète des données. Pour plus d'informations, consultez la rubrique Set filter conditions. Dans la zone de texte Filter Conditions, saisissez une instruction de filtrage. La syntaxe diffère d'une clause WHERE SQL standard. Par exemple, pour filtrer par ID utilisateur, utilisez : {"_id": {$gt:"user100844658590795**",$lte:"user101674868045948**"}}, où $gt signifie « supérieur à » et $lte signifie « inférieur ou égal à ». Facultatif : Dans la section Select DDL and DML Operations to Be Synchronized, sélectionnez les opérations pour la migration incrémentielle des données. Dans la section Select DML Operations to Synchronize, vous pouvez sélectionner insert, update et delete. Configurez les champs à migrer depuis MongoDB. Par défaut, DTS mappe les données des collections à migrer et configure les expressions dans la colonne Parameter Value. Vérifiez si les expressions répondent à vos besoins et configurez les paramètres tels que Column Name, Type, Length et Precision. Important Vous devez attribuer la valeur bson_value("_id") à la colonne de clé primaire de la table de destination. Lors de la configuration d'une expression bson_value(), vous devez spécifier le chemin jusqu'au sous-champ de niveau le plus bas dans la hiérarchie. Sinon, une perte de données ou un échec de la tâche peut survenir. Dans l'expression bson_value() de la colonne Parameter Value, vérifiez le nom du champ correspondant dans MongoDB. Le texte entre guillemets ("") correspond au nom du champ dans MongoDB. Par exemple, si l'expression est bson_value("age"), cette ligne correspond au champ age dans MongoDB. Facultatif : Supprimez les champs que vous ne souhaitez pas migrer. Remarque Pour supprimer un champ, cliquez sur l'icône dans la ligne concernée. Configurez les champs à migrer. Les étapes suivantes dépendent du fait que l'expression bson_value() par défaut réponde ou non à vos besoins. Expressions personnalisées Remarque Cette option peut s'appliquer aux champs ayant une structure hiérarchique, comme une relation parent-enfant. Dans la colonne Actions, cliquez sur l'icône de la ligne. Cliquez sur + Add Column. Configurez les champs Column Name, Type, Length et Precision. Important Assurez-vous que les types de données de la table de destination sont compatibles avec les données MongoDB source. Pour plus d'informations sur les mappages de types de données, consultez la rubrique Data type mapping. Dans la zone de texte sous Parameter Value, saisissez l'expression bson_value(). Pour plus d'informations, consultez la rubrique Assignment configuration examples. Répétez ces étapes pour mapper tous les champs pertinents. Expressions par défaut Saisissez le Column Name. Remarque Il s'agit du nom de la colonne dans la table qui recevra les données dans le cluster PolarDB for MySQL de destination. Sélectionnez le Type de données pour la colonne. Important Assurez-vous que les types de données de la table de destination sont compatibles avec les données MongoDB source. Pour plus d'informations sur les mappages de types de données, consultez la rubrique Data type mapping. Facultatif : Configurez les champs Length et Precision pour les données de la colonne. Répétez ces étapes pour mapper tous les champs pertinents. Cliquez sur OK.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Parameter	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé. Aucune sélection n'est requise. Si vous souhaitez une stabilité accrue pour vos tâches, vous pouvez acheter un dedicated cluster pour exécuter les tâches de migration DTS.
      Select the engine type of the destination database	Sélectionnez le moteur de stockage pour la base de données de destination en fonction de vos besoins. InnoDB : moteur de stockage par défaut. X-Engine : moteur de stockage de base de données pour le traitement transactionnel en ligne (OLTP).
      Retry Time for Failed Connections	Une fois la tâche de migration démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de se reconnecter. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser cette durée entre 10 et 1 440 minutes. Il est recommandé de définir une durée supérieure à 30 minutes. Si DTS parvient à se reconnecter aux bases de données source et de destination dans le délai spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Remarque Pour plusieurs instances DTS partageant la même source ou la même destination, le temps de nouvelle tentative réseau est déterminé par le paramètre de la dernière tâche créée. Étant donné que la tâche est facturée pendant la période de nouvelle tentative de connexion, il est recommandé de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier, ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Une fois la tâche de migration démarrée, si un problème autre qu'un problème de connectivité survient dans la base de données source ou de destination (par exemple, une exception d'exécution DDL ou DML), DTS signale une erreur et tente immédiatement de relancer l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser cette durée entre 1 et 1 440 minutes. Il est recommandé de définir une durée supérieure à 10 minutes. Si les opérations concernées réussissent dans le délai de nouvelle tentative spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Important La valeur du paramètre Retry Time for Other Issues doit être inférieure à la valeur du paramètre Retry Time for Failed Connections.
      Enable Throttling for Full Data Migration	Lors de la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation de débit pour la tâche de migration complète. Vous pouvez définir les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s) afin de réduire la charge sur la base de données de destination. Remarque Cet élément de configuration est disponible uniquement si vous sélectionnez Full Data Migration pour le paramètre Migration Types. Vous pouvez également ajuster la vitesse de migration complète une fois l'instance de migration en cours d'exécution.
      Only one data type for primary key _id in a table of the data to be synchronized	Indique si le type de données de la clé primaire _id est unique au sein d'une même collection pour les données à migrer. Important Sélectionnez une option en fonction de vos besoins. Sinon, une perte de données peut survenir. Ce paramètre est disponible uniquement si vous sélectionnez Full Data Migration pour le paramètre Migration Types. Yes : le type de données est unique. Lors de la migration complète des données, DTS n'analyse pas les types de données des clés primaires dans les données source. Pour une seule collection, DTS migre uniquement les données correspondant à un seul type de données de clé primaire. No : le type de données n'est pas unique. Lors de la migration complète des données, DTS analyse les types de données des clés primaires dans les données source et migre toutes les données.
      Enable Throttling for Incremental Data Migration	Si nécessaire, vous pouvez également définir des limites de vitesse pour la tâche de migration incrémentielle. Vous pouvez définir les paramètres RPS of Incremental Data Migration et Data migration speed for incremental migration (MB/s) afin de réduire la charge sur la base de données de destination. Remarque Cet élément de configuration est disponible uniquement si vous sélectionnez Incremental Data Migration pour le paramètre Migration Types. Vous pouvez également ajuster la vitesse de migration incrémentielle une fois l'instance de migration en cours d'exécution.
      Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins. Aucun tag n'est requis pour cet exemple.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez la rubrique What is ETL? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configure ETL in a data migration or data synchronization task. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Sélectionnez si vous souhaitez configurer des alertes et recevoir des notifications d'alerte en fonction de vos besoins métier. No : ne configure pas d'alerte. Yes : configurez les alertes en définissant un alert threshold et des alert notifications. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.

6. Enregistrez la tâche et exécutez une prévérification.

   • Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle qui s'affiche.

   • Si vous n'avez pas besoin d'afficher les paramètres API ou si vous avez terminé leur consultation, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de migration, DTS effectue une prévérification. La tâche ne démarre qu'après validation de cette prévérification.

   • Si la prévérification échoue, cliquez sur View Details à côté de l'élément de vérification ayant échoué, corrigez le problème selon les instructions, puis relancez la prévérification.

   • Si un avertissement est signalé lors de la prévérification :

     • Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème selon les instructions, puis relancez la prévérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'élément d'avertissement et relancer la prévérification. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la spécification de lien pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.

      Category	Parameter	Description
      New Instance Class	Resource Group Settings	Sélectionnez le groupe de ressources auquel l'instance appartient. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique What is resource management?
      	Instance Class	DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de lien affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Data migration link specifications.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK qui s'affiche, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks.

      Remarque

      • Si la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Après l'arrêt de la tâche, son Status passe à Completed.

      • Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, le Status de la tâche est Running.

Correspondance des types de données

Type MongoDB	Type PolarDB for MySQL
ObjectId	VARCHAR
String	VARCHAR
Document	VARCHAR
DbPointer	VARCHAR
Array	VARCHAR
Date	DATETIME
Timestamp	DATETIME
Double	DOUBLE
Entier 32 bits (BsonInt32)	INTEGER
Entier 64 bits (BsonInt64)	BIGINT
Decimal128	DECIMAL
Boolean	BOOLEAN
Null	VARCHAR

Exemple de configuration d'assignation

Structure des données source MongoDB

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}

Schéma de la table cible

Paramètre	Type
mongo_id	varchar Remarque Colonne de clé primaire.
person_name	varchar
person_age	decimal

Nouvelles colonnes

Important

Vous devez spécifier le chemin hiérarchique complet dans l'expression bson_value() afin d'éviter toute perte de données ou tout échec de la tâche. Par exemple, si vous définissez l'expression sur bson_value("person"), DTS ne peut pas synchroniser les données incrémentielles des sous-champs de l'objet person (comme name, age et sex) vers la destination.

Paramètre	Type	Valeur
mongo_id	STRING	bson_value("_id")
person_name	STRING	bson_value("person","name")
person_age	DECIMAL	bson_value("person","age")