Data Transmission Service:Synchroniser les données d'une instance de jeu de réplicas ApsaraDB for MongoDB vers une fonction Function Compute

Prérequis

• Vous avez créé l'instance source de jeu de réplicas ApsaraDB for MongoDB. Pour plus d'informations, consultez la rubrique Créer une instance de jeu de réplicas.

• Vous avez créé le service et la fonction de destination, et défini son Handler Type sur Event Handler. Pour créer une fonction, consultez la rubrique Créer rapidement une fonction.

  Remarque

  Seule la version 2.0 de Function Compute (FC) est prise en charge.

Notes d'utilisation

Facturation

Opérations de synchronisation prises en charge

Autorisations requises pour les comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la Data Transmission Service (DTS) console.

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Configuration	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Le type de la base de données source. Sélectionnez MongoDB.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraDB for MongoDB source.
   	Replicate Data Across Alibaba Cloud Accounts	Indique si les données sont synchronisées entre différents comptes Alibaba Cloud. Dans cet exemple, sélectionnez No.
   	Architecture	Sélectionnez Replica Set.
   	Migration Method	Sélectionnez une méthode de synchronisation des données incrémentielles en fonction de vos besoins. Oplog (recommandé) : Cette option est disponible si Oplog est activé pour la base de données source. Remarque Oplog est activé par défaut pour les bases de données MongoDB gérées par l'utilisateur et les instances ApsaraDB for MongoDB. Cette méthode offre une latence plus faible pour les tâches de synchronisation incrémentielle, car les journaux sont récupérés plus rapidement. Nous vous recommandons de sélectionner Oplog. ChangeStream : Cette option est disponible si Change Streams est activé pour la base de données source. Remarque Si la base de données source est une instance Amazon DocumentDB (cluster non élastique), vous ne pouvez sélectionner que ChangeStream. Si vous définissez l'Architecture de la base de données source sur Sharded Cluster, vous n'avez pas besoin de spécifier le Shard account ni le Shard password.
   	Instance ID	Sélectionnez l'ID de l'instance ApsaraDB for MongoDB source.
   	Authentication Database	Saisissez le nom de la base de données d'authentification pour le compte de l'instance ApsaraDB for MongoDB source. Le nom par défaut est admin.
   	Database Account	Saisissez le compte de base de données pour l'instance ApsaraDB for MongoDB source. Pour connaître les exigences en matière d'autorisations, consultez la section Exigences en matière d'autorisations pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	DTS prend en charge trois méthodes de connexion : Non-encrypted, SSL-encrypted et Mongo Atlas SSL. Les options d'Encryption varient en fonction de la Access Method et de l'Architecture sélectionnées. Les options affichées dans la console font foi. Remarque Une base de données MongoDB dont l'Architecture est Sharded Cluster et dont la Migration Method est Oplog ne prend pas en charge l'option SSL-encrypted. Si la source est une base de données MongoDB gérée par l'utilisateur (la Access Method n'est pas Alibaba Cloud Instance) avec une architecture Replica Set, et que vous sélectionnez SSL-encrypted, DTS vous permet également de télécharger un certificat CA pour vérifier la connexion.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez Function Compute.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Par défaut, la valeur est identique à celle de l'Instance Region de la base de données source et ne peut pas être modifiée.
   	Service	Le nom du service Function Compute cible.
   	Function	La fonction de destination dans Function Compute (FC) qui accepte les données.
   	Service Version and Alias	Sélectionnez une option selon vos besoins. Default Version : La Service Version est fixée à LATEST. Specified Version : Sélectionnez la Service Version. Specified Alias : Sélectionnez l'Service Alias. Remarque Pour plus d'informations sur les termes de Function Compute, consultez la rubrique Termes.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les plages d'adresses IP CIDR des serveurs DTS sont ajoutées aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les plages d'adresses IP CIDR des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Configuration	Description
      Synchronization Types	Seule la Incremental Data Synchronization est prise en charge et elle est sélectionnée par défaut.
      Data Format	Le format de stockage des données synchronisées vers la fonction FC. Seul le format Canal Json est pris en charge. Remarque Pour obtenir des descriptions de paramètres et des exemples du format Canal Json, consultez la rubrique Description de Canal Json.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des objets au niveau de la base de données ou de la collection.
      Selected Objects	Dans la zone Selected Objects, confirmez les données à synchroniser. Remarque Pour supprimer des objets, sélectionnez-les dans la zone Selected Objects et cliquez sur . Pour filtrer les opérations de mise à jour incrémentielle par base de données ou par collection, cliquez avec le bouton droit sur un objet dans la zone Selected Objects et sélectionnez les opérations dans la boîte de dialogue qui s'affiche.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Configuration	Remarque
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Obtain the entire document after it is updated.	Pendant la synchronisation incrémentielle des données, indique si les données complètes du document correspondant à une opération de mise à jour doivent être synchronisées vers la destination. Remarque Cet élément de configuration est disponible uniquement lorsque la Migration Method est définie sur ChangeStream. Yes : Synchronise les données complètes du document contenant le champ mis à jour. Important Cette fonctionnalité repose sur les capacités natives de MongoDB et peut augmenter la charge sur la base de données source. Cela peut réduire la vitesse de collecte des données incrémentielles et entraîner une latence dans l'instance de synchronisation. Si DTS ne parvient pas à obtenir les données complètes, seules les données du champ mis à jour sont synchronisées. No : Synchronise uniquement les données des champs mis à jour.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Si nécessaire, sélectionnez un tag d'environnement pour identifier l'instance. Pour cet exemple, aucune sélection n'est requise.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.
      Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

6. Enregistrez la tâche et exécutez une pré-vérification.

   • Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.

   • Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer que si tous les éléments de pré-vérification réussissent.

   • Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la pré-vérification.

   • Si la pré-vérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.

7. Achetez une instance.

   1. Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : Vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : Vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
      	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?.
      	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications des liens de synchronisation de données.
      	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Étapes suivantes

• Si une tâche DTS échoue car un enregistrement de données unique à synchroniser dépasse 16 Mo, vous pouvez modifier les objets de synchronisation ou utiliser la fonctionnalité ETL pour filtrer les données d'objets volumineux. Pour plus d'informations, consultez les rubriques Modifier la configuration ETL d'une tâche de synchronisation existante et Modifier les objets de synchronisation.

• Rédigez le code de la fonction selon vos besoins. Pour plus d'informations, consultez la rubrique Présentation du développement de code.

Formats des données reçues par le service de destination

Les données reçues par Function Compute sont de type Object. Les données incrémentales provenant de la base de données source sont stockées dans le champ Records sous forme de tableau. Chaque élément du tableau est un enregistrement de données de type Object. Le tableau suivant décrit les champs de l'objet.

Remarque

Function Compute reçoit deux types de données : DML et DDL.

• DDL : Enregistre les modifications apportées à la structure de la base de données, telles que CreateIndex, CreateCollection, DropIndex et DropCollection.

• DML : Enregistre les opérations sur les données dans la base de données, telles que INSERT, UPDATE et DELETE.

Champ	Catégorie	Remarque
isDdl	Booléen	Indique si l'opération est une opération de langage de définition de données (DDL). Valeurs possibles : True : Oui. False
type	Chaîne	Le type de l'opération SQL. Valeurs valides pour les opérations DML : DELETE, UPDATE et INSERT. Valeur valide pour les opérations DDL : DDL.
database	Chaîne	Le nom de la base de données MongoDB.
table	Chaîne	Le nom de la collection MongoDB.
pkNames	Chaîne	Le nom de la clé primaire pour MongoDB est fixé à _id.
es	Long	L'heure d'exécution de l'opération sur la base de données source. La valeur est un horodatage UNIX à 13 chiffres. Unité : millisecondes. Remarque Utilisez un moteur de recherche pour trouver un convertisseur d'horodatage UNIX.
ts	Long	L'heure de début de l'écriture dans la base de données de destination. Il s'agit d'un horodatage UNIX à 13 chiffres en millisecondes. Remarque Utilisez un moteur de recherche pour trouver un convertisseur d'horodatage UNIX.
data	Tableau d'objets	Le tableau contient un seul élément de type Object. La clé est doc et la valeur est une chaîne JSON. Remarque Désérialisez la valeur pour obtenir l'enregistrement de données.
old	Tableau d'objets	Les données avant la mise à jour. Le format est identique à celui du champ data. Important Ce champ n'est présent que lorsque type est UPDATE. Le format est identique à celui du champ data.
id	Int	Le numéro de série de l'opération.

Exemple de format de données pour les opérations DDL

Créer une collection

Instruction SQL

db.createCollection("testCollection")

Données reçues par Function Compute

{
	'Records': [{
		'data': [{
			'doc': '{"create": "testCollection", "idIndex": {"v": 2, "key": {"_id": 1}, "name": "_id_"}}'
		}],
		'pkNames': ['_id'],
		'type': 'DDL',
		'es': 1694056437000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': True,
		'table': 'testCollection',
		'ts': 1694056437510
	}]
}

Supprimer une collection

Instruction SQL

db.testCollection.drop()

Données reçues par Function Compute

{
	'Records': [{
		'data': [{
			'doc': '{"drop": "testCollection"}'
		}],
		'pkNames': ['_id'],
		'type': 'DDL',
		'es': 1694056577000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': True,
		'table': 'testCollection',
		'ts': 1694056577789
	}]
}

Créer un index

Instruction SQL

db.testCollection.createIndex({name:1})

Données reçues par Function Compute

{
	'Records': [{
		'data': [{
			'doc': '{"createIndexes": "testCollection", "v": 2, "key": {"name": 1}, "name": "name_1"}'
		}],
		'pkNames': ['_id'],
		'type': 'DDL',
		'es': 1694056670000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': True,
		'table': 'testCollection',
		'ts': 1694056670719
	}]
}

Supprimer un index

Instruction SQL

db.testCollection.dropIndex({name:1})

Données reçues par Function Compute

{
	'Records': [{
		'data': [{
			'doc': '{"dropIndexes": "testCollection", "index": "name_1"}'
		}],
		'pkNames': ['_id'],
		'type': 'DDL',
		'es': 1694056817000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': True,
		'table': '$cmd',
		'ts': 1694056818035
	}]
}

Exemple de format de données pour les opérations DML

Insérer des données

Instruction SQL

// Bulk insert
db.runCommand({insert: "user", documents: [{"name":"jack","age":20},{"name":"lili","age":20}]})

// Insert one by one
db.user.insert({"name":"jack","age":20})
db.user.insert({"name":"lili","age":20})

Données reçues par Function Compute

{
	'Records': [{
		'data': [{
			'doc': '{"_id": {"$oid": "64f9397f6e255f74d65a****"}, "name": "jack", "age": 20}'
		}],
		'pkNames': ['_id'],
		'type': 'INSERT',
		'es': 1694054783000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': False,
		'table': 'user',
		'ts': 1694054784427
	}, {
		'data': [{
			'doc': '{"_id": {"$oid": "64f9397f6e255f74d65a****"}, "name": "lili", "age": 20}'
		}],
		'pkNames': ['_id'],
		'type': 'INSERT',
		'es': 1694054783000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': False,
		'table': 'user',
		'ts': 1694054784428
	}]
}

Mettre à jour des données

Instruction SQL

db.user.update({"name":"jack"},{$set:{"age":30}}) 

Données reçues par Function Compute

{
	'Records': [{
		'data': [{
			'doc': '{"$set": {"age": 30}}'
		}],
		'pkNames': ['_id'],
		'old': [{
			'doc': '{"_id": {"$oid": "64f9397f6e255f74d65a****"}}'
		}],
		'type': 'UPDATE',
		'es': 1694054989000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': False,
		'table': 'user',
		'ts': 1694054990555
	}]
}

Supprimer des données

Instruction SQL

db.user.remove({"name":"jack"})

Données reçues par Function Compute

{
	'Records': [{
		'data': [{
			'doc': '{"_id": {"$oid": "64f9397f6e255f74d65a****"}}'
		}],
		'pkNames': ['_id'],
		'type': 'DELETE',
		'es': 1694055452000,
		'database': 'MongoDBTest',
		'id': 0,
		'isDdl': False,
		'table': 'user',
		'ts': 1694055452852
	}]
}