Data Transmission Service:Synchroniser ApsaraDB for MongoDB vers AnalyticDB for PostgreSQL

Prérequis

• Vous avez créé une instance cible AnalyticDB for PostgreSQL. Son espace de stockage doit être supérieur à l'espace utilisé par l'instance source ApsaraDB for MongoDB. Pour plus d'informations, consultez la section Créer une instance.

  Remarque

  L'espace de stockage de l'instance cible doit être au moins 10 % supérieur à l'espace utilisé par la base de données source.

• Dans l'instance cible AnalyticDB for PostgreSQL, vous avez créé une base de données, un schéma et une table avec une clé primaire. Pour plus d'informations, consultez la section Syntaxe SQL.

  Important

  • Assurez-vous que les types de données dans la table cible sont compatibles avec les données MongoDB sources. Par exemple, si le champ _id dans MongoDB est de type ObjectId, le type de données correspondant dans l'instance AnalyticDB for PostgreSQL doit être varchar.

  • La table cible dans l'instance AnalyticDB for PostgreSQL ne peut pas comporter de colonnes nommées _id ou _value.

• Si l'instance source ApsaraDB for MongoDB est un cluster fragmenté, vous devez obtenir les endpoints pour tous les nœuds shard. Le compte de base de données et le mot de passe doivent être identiques pour chaque shard. Pour plus d'informations, consultez la section Demander un endpoint de shard.

Notes

Facturation

Types de synchronisation

Autorisations des comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data Synchronization > Data + AI > Data Transmission (DTS).

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   N/A	Data Synchronization	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Data Synchronization Tasks	Create Task	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Task Name. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Source Database	Sélectionnez Select Existing Connection.
   	Access Method	Sélectionnez Database Type.
   	MongoDB	Sélectionnez la région où se trouve l'instance ApsaraDB for MongoDB source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Dans cet exemple, sélectionnez Replica Set. Remarque Si votre instance ApsaraDB for MongoDB source utilise l'architecture No, vous devez également spécifier le Shard account et le Shard password.
   	Migration Method	Sélectionnez une méthode de synchronisation incrémentielle des données en fonction de vos besoins. Oplog (Recommandé) : Cette option est disponible si Oplog est activé pour la base de données source. Remarque Oplog est activé par défaut pour les bases de données MongoDB gérées par l'utilisateur et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour les tâches de synchronisation incrémentielle car les journaux sont récupérés plus rapidement. Nous vous recommandons de sélectionner Oplog. ChangeStream : Cette option est disponible si Change Streams sont activés pour la base de données source. Remarque Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que ChangeStream. Si vous définissez l'Architecture de la base de données source sur Sharded Cluster, vous n'avez pas besoin de spécifier le Shard account ni le Shard password.
   	Instance ID	Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.
   	Authentication Database	Saisissez le nom de la base de données à laquelle appartient le compte de base de données de l'instance ApsaraDB for MongoDB source. Si vous n'avez pas modifié le nom, la valeur par défaut est admin.
   	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB for MongoDB source. Pour connaître les autorisations requises, consultez Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options d'Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi. Remarque Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Architecture ne prend pas en charge le chiffrement Sharded Cluster. Si la source est une base de données MongoDB gérée par l'utilisateur (la Access Method n'est pas Oplog) avec une architecture SSL-encrypted, et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
   Alibaba Cloud Instance	Replica Set	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Destination Database	Sélectionnez Select Existing Connection.
   	Select a DMS database instance.	Sélectionnez Database Type.
   	AnalyticDB for PostgreSQL	Sélectionnez la région où se trouve l'instance AnalyticDB for PostgreSQL de destination.
   	Access Method	Sélectionnez l'ID de l'instance AnalyticDB for PostgreSQL de destination.
   	Alibaba Cloud Instance	Saisissez le nom de la base de données dans l'instance AnalyticDB for PostgreSQL de destination qui stockera les objets synchronisés.
   	Instance Region	Saisissez le compte de base de données de l'instance AnalyticDB for PostgreSQL de destination. Pour connaître les autorisations requises, consultez Autorisations requises pour les comptes de base de données.
   	Instance ID	Saisissez le mot de passe correspondant au compte de base de données.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les plages CIDR des adresses IP des serveurs DTS sont ajoutées aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cela peut être fait automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les plages CIDR des adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Database Name, configurez les objets à synchroniser.

      Parameter	Description
      Database Account	Database Password est sélectionné. Vous ne pouvez sélectionner que Test Connectivity and Proceed. La Access Method n'est pas prise en charge. Une fois la prévérification terminée, DTS synchronise les données des objets sélectionnés depuis l'instance source vers le cluster de destination. Ces données servent de référence pour la synchronisation incrémentielle ultérieure.
      Alibaba Cloud Instance	Sélectionnez les opérations incrémentielles à synchroniser au niveau de l'instance. Remarque Pour sélectionner les opérations incrémentielles au niveau de la collection, cliquez avec le bouton droit sur l'objet de synchronisation dans la section Test Connectivity et choisissez les opérations souhaitées dans la boîte de dialogue qui s'affiche.
      CIDR Blocks of DTS Servers	Configure Objects : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table homonyme n'existe, la prévérification réussit. En revanche, si une telle table existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table homonyme dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Mapper les noms de tables et de colonnes. Synchronization Types : ignore la vérification des doublons de noms de tables dans la base de données de destination. Avertissement Le choix de l'option Incremental Data Synchronization peut entraîner des incohérences de données et présenter des risques pour votre activité. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase celui de la base de données de destination. Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut se traduire par la synchronisation partielle des données de colonne ou par un échec complet de la synchronisation. Procédez avec prudence.
      Full Data Synchronization	Dans la zone Schema Synchronization, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone DDL and DML Operations to Be Synchronized. Remarque Vous pouvez sélectionner les objets à synchroniser au niveau de la collection.
      Selected Objects	Modifiez le mappage du nom de la base de données. Dans la zone Processing Mode of Conflicting Tables, cliquez avec le bouton droit sur la base de données source contenant les collections à synchroniser. Remplacez la valeur de Precheck and Report Errors par le nom du schéma qui recevra les données dans l'instance AnalyticDB for PostgreSQL cible. Dans la boîte de dialogue Edit Database qui s'affiche, modifiez le champ Database Name (nom du schéma cible). Facultatif : Dans la section Ignore Errors and Proceed, sélectionnez les opérations DML à synchroniser : insert, update et delete. Cliquez sur Ignore Errors and Proceed. Modifiez le mappage du nom de la table. Dans la zone Source Objects, cliquez avec le bouton droit sur une collection à synchroniser. Le panneau Selected Objects affiche les objets sous forme arborescente. Les niveaux sont les suivants : Nom de la base de données de destination (par exemple, dtstest) > Table > Nom de la table spécifique (par exemple, class). Cliquez avec le bouton droit sur la table de destination pour effectuer les opérations suivantes. Remplacez la valeur de Source Objects par le nom de la table qui recevra les données dans l'instance AnalyticDB for PostgreSQL cible. Dans la boîte de dialogue Edit Table qui s'affiche, modifiez le champ Table Name (par exemple, class). Après modification des noms de table ou de colonne, ceux-ci sont mis à jour dans la base de données cible. Facultatif : Spécifiez des conditions de filtrage. Pour plus d'informations, consultez la rubrique Définir des conditions de filtrage. Dans la zone de texte Filter Conditions, vous pouvez saisir des conditions de filtrage MongoDB. La syntaxe diffère de la clause WHERE SQL standard. Exemple : {"_id": {$gt:"user100844658590795**",$lte:"user101674868045948**"}}, où $gt signifie « supérieur à » et $lte signifie « inférieur ou égal à ». Facultatif : Dans la section Selected Objects, sélectionnez insert, update et delete. Configurez les champs à synchroniser depuis la base de données MongoDB. Par défaut, DTS mappe les données d'une collection à synchroniser et configure une expression dans la colonne Selected Objects. Vous devez vérifier si l'expression répond à vos besoins et configurer des paramètres tels que Selected Objects, Database Name, Select DDL and DML Operations to Be Synchronized et OK. Dans l'expression bson_value() de la colonne Selected Objects, consultez le nom du champ correspondant dans la base de données MongoDB. Le nom du champ entre guillemets ("") correspond au nom du champ dans MongoDB. Par exemple, si l'expression est bson_value("age"), cette ligne correspond au champ age dans MongoDB. Facultatif : Supprimez les champs qui ne doivent pas être synchronisés. Remarque Pour supprimer un champ inutile, cliquez sur l'icône située à la fin de la ligne correspondante. Configurez les champs à synchroniser. Suivez l'une des procédures ci-dessous selon que l'expression bson_value() répond ou non à vos besoins. Expression correcte Saisissez un Table Name. Remarque Il s'agit du nom de la colonne qui recevra les données dans l'instance AnalyticDB for PostgreSQL de destination. Sélectionnez un Select DDL and DML Operations to Be Synchronized de données pour la colonne. Important Assurez-vous que les types de données de la table de destination sont compatibles avec les données de la base de données MongoDB source. Facultatif : Spécifiez une Parameter Value et une Column Name pour les données de la colonne. Répétez les étapes précédentes pour mapper chaque champ requis. Expression incorrecte Remarque Par exemple, pour les champs présentant des relations hiérarchiques, telles que les structures parent-enfant. Dans la colonne Type, cliquez sur l'icône située à la fin de la ligne du champ concerné. Cliquez sur Length. Dans la section Additional Columns, cliquez sur + Add Column dans le coin supérieur droit. Configurez les paramètres Precision, Parameter Value, Column Name et Type. Dans la zone de texte sous Length, saisissez une expression bson_value(). Pour plus d'informations, consultez la section Exemples de configuration de valeurs. Important Vous devez attribuer bson_value("_id") à la colonne de clé primaire de la table de destination. Lors de la configuration d'une expression bson_value(), vous devez spécifier le chemin jusqu'au sous-champ le plus bas en fonction de la hiérarchie. À défaut, des pertes de données ou des échecs de tâche peuvent survenir. Répétez les étapes précédentes pour mapper chaque champ requis. Cliquez sur Precision.

   2. Cliquez sur Operation pour configurer les paramètres avancés.

      Parameter	Description
      + Add Column	Par défaut, DTS planifie les tâches sur un cluster partagé ; aucune sélection de cluster n'est requise. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
      Column Name	Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également personnaliser cette durée entre 10 et 1 440 minutes. Nous vous recommandons de définir une durée d'au moins 30 minutes. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte (30 minutes) s'applique aux deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Type	Une fois la tâche de synchronisation démarrée, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des tentatives continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser cette durée entre 1 et 1 440 minutes. Nous vous recommandons de définir une durée d'au moins 10 minutes. Si les opérations concernées aboutissent dans le délai imparti, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur définie pour Length doit être inférieure à celle de Precision.
      Parameter Value	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter leur charge. Pour réduire cette charge, vous pouvez limiter le débit de la tâche de synchronisation complète en configurant les paramètres OK, Next: Advanced Settings et Dedicated Cluster for Task Scheduling. Remarque Cette option de configuration n'est disponible que lorsque Retry Time for Failed Connections est défini sur Retry Time for Other Issues. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
      Retry Time for Other Issues	Indiquez si les types de données de la clé primaire _id sont uniques au sein de chaque collection à synchroniser. Important Sélectionnez une option en fonction de vos données réelles. Un choix incorrect peut entraîner une perte de données. Ce paramètre n'est disponible que si Retry Time for Failed Connections inclut Enable Throttling for Full Data Synchronization. Queries per second (QPS) to the source database : les types de données sont uniques. Pendant la phase de synchronisation complète, DTS n'analyse pas les types de données des clés primaires dans les données source. Pour chaque collection, DTS synchronise uniquement les données correspondant à un seul type de données de clé primaire. RPS of Full Data Migration : les types de données ne sont pas uniques. Pendant la phase de synchronisation complète, DTS analyse les types de données des clés primaires dans les données source et synchronise toutes les données.
      Data migration speed for full migration (MB/s)	Vous pouvez également limiter le débit de la tâche de synchronisation incrémentielle. Pour alléger la pression sur la base de données de destination, configurez les paramètres Synchronization Types et Full Data Synchronization.
      Only one data type for primary key _id in a table of the data to be synchronized	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins métier. Dans cet exemple, aucun tag n'est nécessaire.
      Synchronization Types	Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Full Data Synchronization : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. Yes : désactive la fonctionnalité ETL.
      No	Indiquez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. Enable Throttling for Incremental Data Synchronization : aucune alerte n'est configurée. RPS of Incremental Data Synchronization : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

6. Enregistrez la tâche et exécutez une prévérification.

   • Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Data synchronization speed for incremental synchronization (MB/s) et cliquez sur Environment Tag dans l'infobulle.

   • Une fois que vous avez consulté les paramètres API, cliquez sur Configure ETL en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS effectue une prévérification. La tâche ne peut démarrer que si tous les éléments de prévérification réussissent.

   • En cas d'échec de la prévérification, cliquez sur Yes pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la prévérification.

   • Si la prévérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur No à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la prévérification.

     • Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Monitoring and Alerting, No, Yes et Next: Save Task Settings and Precheck afin d'ignorer l'avertissement et de relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Preview OpenAPI parameters atteint 100 %, cliquez sur Next: Save Task Settings and Precheck.

   2. Sur la page View Details, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

      Category	Parameter	Description
      View Details	Billing Method	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
      	Resource Group Configuration	Groupe de ressources auquel l'instance appartient. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?.
      	Link Specification	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le débit de synchronisation. Vous pouvez choisir une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications des liens de synchronisation de données.
      	Subscription Duration	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option n'est disponible que lorsque la méthode de facturation est définie sur Confirm Alert Details.

   3. Une fois la configuration terminée, lisez et acceptez les Ignore.

   4. Cliquez sur OK. Dans la boîte de dialogue Precheck Again, cliquez sur Success Rate.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Exemple d'affectation de valeurs

Structure des données source MongoDB

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}

Schéma de la table de destination AnalyticDB for PostgreSQL

Nom	Type
mongo_id	varchar Remarque Colonne de clé primaire.
person_name	varchar
person_age	decimal

Configuration des colonnes

Important

Configurez l'expression bson_value() en fonction de la hiérarchie des données pour éviter toute perte de données ou échec de la tâche. Par exemple, si vous configurez l'expression sous la forme bson_value("person"), Data Transmission Service (DTS) ne peut pas écrire les modifications incrémentielles des sous-champs de l'objet source person, tels que name, age et sex, dans la destination.

Nom	Type	Valeur
mongo_id	STRING	bson_value("_id")
person_name	STRING	bson_value("person","name")
person_age	DECIMAL	bson_value("person","age")