Data Transmission Service:Synchroniser ApsaraDB for MongoDB vers RDS for MySQL

Prérequis

• Si l'instance ApsaraDB for MongoDB source est un cluster fragmenté, demandez un endpoint pour chaque nœud shard. Tous les shards doivent utiliser le même compte et le même mot de passe. Pour plus d'informations, consultez Demander un endpoint de shard.

• Créez une instance ApsaraDB RDS for MySQL de destination disposant d'un espace de stockage supérieur à celui actuellement utilisé par l'instance ApsaraDB for MongoDB source. Pour obtenir des instructions, consultez Créer une instance ApsaraDB RDS for MySQL.

  Remarque

  L'instance de destination doit disposer d'au moins 10 % d'espace de stockage supplémentaire par rapport à celui utilisé par la base de données source.

• Dans l'instance ApsaraDB RDS for MySQL de destination, créez une base de données et une table avec une clé primaire pour stocker les données synchronisées. Pour plus d'informations, consultez Gérer les bases de données.

  Important

  • Assurez-vous que les types de données des colonnes dans la table de destination sont compatibles avec les données source. Par exemple, si le champ _id dans l'instance MongoDB source est un ObjectId, la colonne correspondante dans l'instance ApsaraDB RDS for MySQL de destination doit être de type varchar.

  • Les noms de colonnes dans la table ApsaraDB RDS for MySQL de destination ne peuvent pas être _id ou _value.

Notes

Facturation

Types de synchronisation

Autorisations des comptes de base de données

Étapes

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menus supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez MongoDB.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraDB for MongoDB source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	Architecture	Dans cet exemple, sélectionnez Replica Set. Remarque Si votre instance ApsaraDB for MongoDB source est un Sharded Cluster, vous devez également spécifier le Shard account et le Shard password.
   	Migration Method	Sélectionnez une méthode de synchronisation incrémentielle des données en fonction de vos besoins. Oplog (recommandé) : Cette option est disponible si Oplog est activé pour la base de données source. Remarque Oplog est activé par défaut pour les bases de données MongoDB gérées par l'utilisateur et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour les tâches de synchronisation incrémentielle car les journaux sont récupérés plus rapidement. Nous vous recommandons de sélectionner Oplog. ChangeStream : Cette option est disponible si Change Streams est activé pour la base de données source. Remarque Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que ChangeStream. Si vous définissez l'Architecture de la base de données source sur Sharded Cluster, vous n'avez pas besoin de spécifier le Shard account ni le Shard password.
   	Instance ID	Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.
   	Authentication Database	Saisissez le nom de la base de données d'authentification pour l'instance ApsaraDB for MongoDB source. La valeur par défaut est admin.
   	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB for MongoDB source. Pour connaître les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options d'Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi. Remarque Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Oplog ne prend pas en charge le chiffrement SSL-encrypted. Si la source est une base de données MongoDB gérée par l'utilisateur (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set, et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez MySQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraDB RDS for MySQL de destination.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	RDS Instance ID	Sélectionnez l'ID de l'instance ApsaraDB RDS for MySQL de destination.
   	Database Account	Saisissez le compte de base de données pour l'instance ApsaraDB RDS for MySQL de destination. Pour connaître les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez Non-encrypted ou SSL-encrypted selon vos besoins. Si vous sélectionnez SSL-encrypted, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez la rubrique Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Paramètre	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Vous ne pouvez sélectionner que Full Data Synchronization. La fonctionnalité Schema Synchronization n'est pas prise en charge. Une fois la pré-vérification terminée, DTS synchronise les données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de base pour la synchronisation incrémentielle ultérieure.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie l'existence d'une collection portant le même nom dans la base de données de destination. Si une collection homonyme est trouvée, une erreur est signalée et la tâche de synchronisation des données ne démarre pas. Dans le cas contraire, la pré-vérification réussit. Remarque Si vous ne pouvez pas supprimer ou renommer la collection homonyme dans la base de données de destination, vous pouvez modifier le nom de la collection dans la base de données de destination. Pour plus d'informations, consultez la rubrique Définir le nom d'un objet de synchronisation dans l'instance de destination. Ignore Errors and Proceed : ignore la vérification des collections portant le même nom dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source, l'enregistrement de destination est conservé. L'enregistrement provenant de la base de données source n'est pas synchronisé vers la destination. Cela peut provoquer l'échec de l'initialisation des données, une synchronisation partielle uniquement ou l'échec total de la synchronisation.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms anglais des objets de base de données et de collection synchronisés vers l'instance de destination. Vous pouvez sélectionner la DTS default policy (option par défaut) ou utiliser les politiques par défaut de la base de données source ou de destination. Pour plus d'informations, consultez la rubrique Politique de sensibilité à la casse pour les noms d'objets de destination.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des objets uniquement au niveau de la collection.
      Selected Objects	Mappez les noms de bases de données. Dans la zone Selected Objects, faites un clic droit sur la base de données contenant les collections à synchroniser. Modifiez le Schema Name pour qu'il corresponde au nom de la base de données de destination dans l'instance ApsaraDB RDS for MySQL. Cliquez sur OK. Mappez les noms de tables. Dans la zone Selected Objects, faites un clic droit sur la collection à synchroniser. Dans cet exemple, le chemin arborescent de l'objet de destination est dtsdb > Table > class. Modifiez le Table Name pour qu'il corresponde au nom de la table de destination dans l'instance ApsaraDB RDS for MySQL qui recevra les données. Facultatif : Définissez des conditions de filtre pour la synchronisation complète des données. Pour plus d'informations, consultez la rubrique Définir des conditions de filtre. Pour ApsaraDB for MongoDB, la syntaxe des conditions de filtre diffère des clauses WHERE SQL standard. Par exemple, pour filtrer par ID utilisateur, saisissez {"_id": {$gt:"user100844658590795",$lte:"user101674868045948"}}. Dans cet exemple, gt signifie « supérieur à » et lte signifie « inférieur ou égal à ». Facultatif : Dans la zone Select DDL and DML Operations to Be Synchronized, sélectionnez les opérations pour la synchronisation incrémentielle des données. Les opérations DML disponibles incluent insert, update et delete. Les opérations DDL disponibles incluent CREATE TABLE, DROP TABLE et ALTER TABLE. Configurez les champs à synchroniser depuis MongoDB. DTS mappe automatiquement les données des collections sélectionnées et configure une expression dans la colonne Parameter Value. Vérifiez que l'expression répond à vos besoins et configurez les paramètres Column Name, Type, Length et Precision. Important Vous devez attribuer la valeur bson_value("_id") à la colonne de clé primaire de la table de destination. Lors de la configuration d'une expression bson_value(), spécifiez le chemin complet jusqu'au sous-champ de niveau le plus bas dans la hiérarchie. Sinon, une perte de données ou un échec de la tâche peut survenir. Dans l'expression bson_value() de la colonne Parameter Value, affichez le nom du champ dans MongoDB. Le nom de champ entre "" correspond au nom du champ dans MongoDB. Par exemple, si l'expression est bson_value("age"), le champ correspondant dans MongoDB est age. Facultatif : Supprimez les champs que vous ne souhaitez pas synchroniser. Remarque Pour supprimer un champ que vous ne souhaitez pas synchroniser, cliquez sur dans la ligne correspondant à ce champ. Configurez les champs à synchroniser. Suivez les étapes ci-dessous correspondant à votre expression bson_value(). Expressions valides Saisissez un Column Name. Remarque Il s'agit du nom de colonne dans la table de destination de l'instance ApsaraDB RDS for MySQL. Sélectionnez un Type de données pour la colonne. Important Assurez-vous que le type de données de la colonne de la table de destination est compatible avec les données MongoDB sources. Pour les mappages de types de données, consultez la section Mappage des types de données. Facultatif : Configurez la Length et la Precision des données de la colonne. Répétez les étapes précédentes pour mapper tous les champs pertinents. Expressions invalides Remarque Par exemple, les champs ayant une structure hiérarchique (parent-enfant). Dans la colonne Operation, cliquez sur dans la ligne du champ. Cliquez sur + Add Column. Configurez le Column Name, le Type, la Length et la Precision. Dans la zone de texte sous Parameter Value, saisissez une expression bson_value(). Pour plus d'informations, consultez la section Exemples d'affectation de valeurs. Répétez les étapes précédentes pour mapper tous les champs pertinents. Cliquez sur OK.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou destination, et que vous définissez le délai de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins professionnels ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
      Only one data type for primary key _id in a table of the data to be synchronized	Indique si la clé primaire _id utilise un type de données unique et cohérent au sein de chaque collection à synchroniser. Important Sélectionnez une option en fonction de vos données réelles. Une sélection incorrecte peut entraîner une perte de données. Ce paramètre est disponible uniquement si Synchronization Types inclut Full Data Synchronization. Yes : les types de données sont uniques. Pendant la phase de synchronisation complète, DTS n'analyse pas les types de données des clés primaires dans les données sources. Pour chaque collection, DTS synchronise uniquement les données correspondant à un type de données de clé primaire. No : les types de données ne sont pas uniques. Pendant la phase de synchronisation complète, DTS analyse les types de données des clés primaires dans les données sources et synchronise toutes les données.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Sélectionnez un tag d'environnement pour identifier l'instance en fonction de vos besoins professionnels. Ce paramètre est facultatif.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

6. Enregistrez la tâche et exécutez une pré-vérification.

   • Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle d'aide.

   • Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS effectue une pré-vérification. La tâche ne peut démarrer que si tous les éléments de pré-vérification sont validés.

   • Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la pré-vérification.

   • Si la pré-vérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.

     • Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.

7. Achetez l'instance de synchronisation.

   1. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
      	Configuration du groupe de ressources	Groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?.
      	Spécifications de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. Les spécifications de lien de synchronisation affectent le débit de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario professionnel. Pour plus d'informations, consultez la rubrique Spécifications de lien de synchronisation des données.
      	Durée d'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Correspondance des types de données

Type de données MongoDB	Type de données MySQL
ObjectId	VARCHAR
String	VARCHAR
Document	VARCHAR
DbPointer	VARCHAR
Array	VARCHAR
Date	DATETIME
TimeStamp	DATETIME
Double	DOUBLE
Entier 32 bits (BsonInt32)	INTEGER
Entier 64 bits (BsonInt64)	BIGINT
Decimal128	DECIMAL
Boolean	BOOLEAN
Null	VARCHAR

Exemples de configuration des valeurs

Structure des données source MongoDB

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}

Structure de la table de destination MySQL

Nom de la colonne	Type
mongo_id	varchar Remarque Colonne de clé primaire.
person_name	varchar
person_age	decimal

Configuration des nouvelles colonnes

Important

Vous devez spécifier le chemin hiérarchique complet dans l'expression bson_value() afin d'éviter toute perte de données ou tout échec de la tâche. Par exemple, si vous définissez l'expression sur bson_value("person"), DTS ne peut pas synchroniser les données incrémentielles des sous-champs de l'objet person (tels que name, age et sex) vers la destination.

Nom de la colonne	Type	Affectation
mongo_id	STRING	bson_value("_id")
person_name	STRING	bson_value("person","name")
person_age	DECIMAL	bson_value("person","age")