Data Transmission Service:Synchroniser ApsaraDB for MongoDB vers PolarDB for MySQL

Prérequis

• Si votre source est un cluster fragmenté ApsaraDB for MongoDB, demandez un endpoint pour chaque nœud de fragment et assurez-vous que tous les nœuds partagent le même compte et le même mot de passe. Pour plus d'informations, consultez Demander un endpoint de fragment.

• Créez un cluster cible PolarDB for MySQL disposant d'un espace de stockage supérieur à celui utilisé par l'instance source ApsaraDB for MongoDB. Pour plus d'informations, consultez Achat personnalisé et Acheter un cluster par abonnement.

  Remarque

  Nous vous recommandons de prévoir 10 % d'espace de stockage supplémentaire par rapport à l'utilisation de la base de données source.

• Dans le cluster cible PolarDB for MySQL, créez une base de données et une table avec une clé primaire. Pour plus d'informations, consultez Gestion des bases de données.

  Important

  • Assurez-vous que les types de données de la table cible sont compatibles avec les données MongoDB source. Par exemple, si le champ _id de MongoDB est un ObjectId, la colonne correspondante dans le cluster PolarDB for MySQL doit être de type varchar.

  • Ne nommez pas les colonnes de la table cible PolarDB for MySQL _id ou _value.

Remarques

Facturation

Types de synchronisation

Autorisations des comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la Data Transmission Service (DTS) console.

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans l'angle supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   S.O.	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez MongoDB.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraDB for MongoDB source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	Architecture	Dans cet exemple, sélectionnez Replica Set. Remarque Si votre instance ApsaraDB for MongoDB source utilise une architecture Sharded Cluster, vous devez également spécifier le Shard account et le Shard password.
   	Migration Method	Sélectionnez une méthode de synchronisation des données incrémentielles en fonction de vos besoins. Oplog (recommandé) : Cette option est disponible si Oplog est activé pour la base de données source. Remarque Oplog est activé par défaut pour les bases de données MongoDB autogérées et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour les tâches de synchronisation incrémentielle car les journaux sont récupérés plus rapidement. Nous vous recommandons de sélectionner Oplog. ChangeStream : Cette option est disponible si Change Streams sont activés pour la base de données source. Remarque Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que ChangeStream. Si vous définissez l'Architecture de la base de données source sur Sharded Cluster, vous n'avez pas besoin de spécifier le Shard account ni le Shard password.
   	Instance ID	Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.
   	Authentication Database	Saisissez la base de données d'authentification pour le compte dans l'instance ApsaraDB for MongoDB source. La valeur par défaut est admin.
   	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB for MongoDB source. Pour plus d'informations sur les autorisations requises, consultez les autorisations du compte de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options d'Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi. Remarque Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Oplog ne prend pas en charge le chiffrement SSL-encrypted. Si la source est une base de données MongoDB autogérée (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez PolarDB for MySQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région du cluster PolarDB for MySQL de destination.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	PolarDB Cluster ID	Sélectionnez l'ID du cluster PolarDB for MySQL de destination.
   	Database Account	Saisissez le compte de base de données du cluster PolarDB for MySQL de destination. Pour plus d'informations sur les autorisations requises, consultez les autorisations du compte de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez une méthode de connexion. Pour plus d'informations sur le chiffrement SSL, consultez Configurer le chiffrement SSL.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cela peut être fait automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données autogérée (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Paramètre	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Vous ne pouvez sélectionner que Full Data Synchronization. La Schema Synchronization n'est pas prise en charge. Une fois le précontrôle terminé, DTS synchronise les données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table homonyme n'existe, le précontrôle réussit. En revanche, si une telle table existe, le précontrôle échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table homonyme dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Map table and column names. Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase celui de la base de données de destination. Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut se traduire par la synchronisation partielle des données de colonne ou par un échec complet de la synchronisation. Procédez avec prudence.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la stratégie DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les stratégies par défaut des bases de données source et de destination. Pour plus d'informations, consultez la rubrique Case sensitivity policy for destination object names.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des objets à synchroniser au niveau de la collection.
      Selected Objects	Modifiez le mappage des noms de base de données. Dans la zone Selected Objects, faites un clic droit sur la base de données contenant la collection à synchroniser. Remplacez la valeur du champ Schema Name par le nom de la base de données du cluster PolarDB for MySQL de destination qui recevra les données. Cliquez sur OK. Modifiez le mappage des noms de table. Dans la zone Selected Objects, faites un clic droit sur la collection à synchroniser. Remplacez la valeur du champ Table Name par le nom de la table du cluster PolarDB for MySQL de destination qui recevra les données. Facultatif : Définissez des conditions de filtrage pour la synchronisation complète des données. Pour plus d'informations, consultez la rubrique Set filter conditions. La syntaxe des conditions de filtrage diffère des clauses WHERE SQL standard et doit utiliser la syntaxe de requête MongoDB. Par exemple, pour filtrer par ID utilisateur, saisissez {"_id": {$gt:"user100844658590795**",$lte:"user101674868045948**"}}, où $gt signifie « supérieur à » et $lte signifie « inférieur ou égal à ». Facultatif : Dans la section Select DDL and DML Operations to Be Synchronized, sélectionnez les opérations à synchroniser de manière incrémentielle. Les opérations DDL disponibles incluent CREATE INDEX et DROP INDEX. Les opérations DML disponibles incluent insert, update et delete. Vous pouvez cliquer sur Select All pour sélectionner toutes les opérations en une seule fois. Configurez les champs MongoDB à synchroniser. Par défaut, DTS mappe les données de la collection et configure une expression dans la colonne Parameter Value. Vérifiez que l'expression répond à vos besoins et spécifiez les paramètres Column Name, Type, Length et Precision. Important Vous devez attribuer la valeur bson_value("_id") à la colonne de clé primaire de la table de destination. Lorsque vous configurez une expression bson_value(), vous devez spécifier le chemin jusqu'au sous-champ de niveau le plus bas dans la hiérarchie. Sinon, une perte de données peut survenir ou la tâche peut échouer. Dans la colonne Parameter Value, affichez le nom du champ MongoDB pour la ligne actuelle dans l'expression bson_value(). Le nom du champ est spécifié entre guillemets doubles (""). Par exemple, si l'expression est bson_value("age"), la ligne correspond au champ age dans MongoDB. Facultatif : Supprimez les champs que vous ne souhaitez pas synchroniser. Remarque Pour supprimer un champ inutile à la synchronisation, cliquez sur l'icône dans la ligne correspondante. Configurez les champs à synchroniser. Procédez selon que l'expression bson_value() répond ou non à vos besoins. Expression par défaut Saisissez un Column Name. Remarque Il s'agit du nom de la colonne dans la table qui reçoit les données dans le cluster PolarDB for MySQL de destination. Sélectionnez un Type de données pour la colonne. Important Assurez-vous que le type de données de la table de destination est compatible avec les données de la base de données MongoDB source. Pour plus d'informations sur les mappages de types de données, consultez la section Mappage des types de données. Facultatif : Configurez la Length et la Precision pour les données de la colonne. Répétez les étapes précédentes pour mapper tous les champs pertinents. Expression personnalisée Remarque Cela inclut les champs présentant des relations hiérarchiques, tels que les structures parent-enfant. Dans la colonne Actions, cliquez sur l'icône dans la ligne correspondante. Cliquez sur + Add Column. Configurez les paramètres Column Name, Type, Length et Precision. Dans la zone de texte sous Parameter Value, saisissez une expression bson_value(). Pour plus d'informations, consultez la section Exemples d'affectation de valeurs. Répétez les étapes précédentes pour mapper tous les champs pertinents. Cliquez sur OK.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner de cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
      Select the engine type of the destination database	Sélectionnez un type de moteur pour la base de données de destination. InnoDB : le moteur de stockage par défaut. X-Engine : un moteur de stockage de base de données pour le traitement des transactions en ligne (OLTP).
      Retry Time for Failed Connections	Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, sera appliquée aux deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins professionnels ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Une fois la tâche de synchronisation démarrée, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
      Only one data type for primary key _id in a table of the data to be synchronized	Indique si la clé primaire _id utilise un type de données unique et cohérent au sein de chaque collection à synchroniser. Important Sélectionnez une option en fonction de vos données réelles. Un choix incorrect peut entraîner une perte de données. Ce paramètre est disponible uniquement si Synchronization Types inclut Full Data Synchronization. Yes : les types de données sont uniques. Pendant la phase de synchronisation complète, DTS n'analyse pas les types de données des clés primaires dans les données source. Pour chaque collection, DTS synchronise uniquement les données correspondant à un type de données de clé primaire. No : les types de données ne sont pas uniques. Pendant la phase de synchronisation complète, DTS analyse les types de données des clés primaires dans les données source et synchronise toutes les données.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Sélectionnez une balise d'environnement pour identifier l'instance. Aucune balise n'est nécessaire dans cet exemple.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité ETL (extract, transform, load). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

6. Enregistrez la tâche et exécutez un précontrôle.

   • Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.

   • Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute un précontrôle. La tâche ne peut démarrer que si tous les éléments du précontrôle sont validés.

   • Si le précontrôle échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez le précontrôle.

   • Si le précontrôle renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour résoudre le problème, puis relancez le précontrôle.

     • Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'avertissement et de relancer le précontrôle. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
      	Configuration du groupe de ressources	Groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?.
      	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario professionnel. Pour plus d'informations, consultez la rubrique Spécifications des liens de synchronisation de données.
      	Durée d'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Correspondance des types de données

Type MongoDB	Type PolarDB for MySQL
ObjectId	VARCHAR
String	VARCHAR
Document	VARCHAR
DbPointer	VARCHAR
Array	VARCHAR
Date	DATETIME
Timestamp	DATETIME
Double	DOUBLE
Entier 32 bits (BsonInt32)	INTEGER
Entier 64 bits (BsonInt64)	BIGINT
Decimal128	DECIMAL
Boolean	BOOLEAN
Null	VARCHAR

Exemple de configuration du mappage

Structure des données source MongoDB

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}

Schéma de la table cible

Paramètre	Type
mongo_id	varchar Remarque Colonne de clé primaire.
person_name	varchar
person_age	decimal

Nouvelles colonnes

Important

Vous devez spécifier le chemin hiérarchique complet dans l'expression bson_value() pour éviter toute perte de données ou tout échec de la tâche. Par exemple, si vous définissez l'expression sur bson_value("person"), DTS ne peut pas synchroniser les données incrémentielles des sous-champs de l'objet person (tels que name, age et sex) vers la destination.

Paramètre	Type	Valeur
mongo_id	STRING	bson_value("_id")
person_name	STRING	bson_value("person","name")
person_age	DECIMAL	bson_value("person","age")