Data Transmission Service:Synchroniser des données d'ApsaraDB RDS for MySQL vers ApsaraMQ for RocketMQ

Prérequis

• Vous devez disposer d'une instance de destination ApsaraMQ for RocketMQ (non serverless). Pour plus d'informations, consultez les rubriques Gérer les instances ou Gérer les instances.

  Remarque

  Consultez la rubrique Présentation de la synchronisation des données pour connaître les versions prises en charge des bases de données source et de destination.

• Vous devez disposer d'un topic dans l'instance de destination ApsaraMQ for RocketMQ pour recevoir les données synchronisées. Pour plus d'informations, consultez les rubriques Gérer les topics ou Gérer les topics.

  Important

  Pour les instances de série 4.x, le Message Type du topic doit être défini sur Partitionally Ordered Message.

  Pour les instances de série 5.x, le Message Type du topic doit être défini sur Ordered Message.

Limites

Facturation

Opérations SQL pouvant être synchronisées

Autorisations des comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez MySQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où se trouve l'instance RDS for MySQL source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	RDS Instance ID	Sélectionnez l'ID de l'instance RDS for MySQL source.
   	Database Account	Saisissez le compte de base de données pour l'instance RDS for MySQL source. Consultez la section Autorisations de compte de base de données pour connaître les exigences en matière d'autorisations.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez Non-encrypted ou SSL-encrypted selon vos besoins. Si vous sélectionnez SSL-encrypted, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez la rubrique Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez RocketMQ.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où se trouve l'instance Message Queue for RocketMQ de destination.
   	RocketMQ version	Sélectionnez la version de l'instance Message Queue for RocketMQ de destination.
   	Instance ID	Sélectionnez l'ID de l'instance Message Queue for RocketMQ de destination.
   	Database Account	Saisissez le compte et le mot de passe de la base de données pour l'instance Message Queue for RocketMQ de destination. Remarque Ces paramètres sont requis uniquement lorsque RocketMQ version est défini sur 5.x. Vous pouvez obtenir les identifiants dans l'onglet Intelligent Authentication de la page RAM de la console Message Queue for RocketMQ.
   	Database Password
   	Topic	Dans la liste déroulante, sélectionnez un topic pour recevoir les données.
   	Topic That Stores DDL Information	Dans la liste déroulante, sélectionnez un topic pour stocker les informations DDL. Remarque Si vous ne sélectionnez aucun topic, les informations DDL sont stockées par défaut dans le topic sélectionné pour le paramètre Topic.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les blocs CIDR des adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR des adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données autogérée (où la méthode Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Paramètre	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Vous ne pouvez sélectionner que Full Data Synchronization. La fonctionnalité Schema Synchronization n'est pas prise en charge. Une fois la pré-vérification terminée, DTS synchronise les données des objets sélectionnés depuis l'instance source vers le cluster de destination. Ces données servent de référence pour la synchronisation incrémentielle ultérieure. Remarque Lorsque la base de données de destination est une instance Message Queue for RocketMQ, la fonctionnalité Schema Synchronization n'est pas prise en charge.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table homonyme n'existe, la pré-vérification réussit. En revanche, si une telle table existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table homonyme dans la base de données de destination, vous avez la possibilité de la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : ignore la vérification des doublons de noms de tables dans la base de données de destination. Avertissement Le choix de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et présenter des risques pour votre activité. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Pendant la synchronisation complète, DTS conserve l'enregistrement présent dans le cluster de destination. L'enregistrement correspondant issu de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement provenant de la base de données source écrase celui de la base de données de destination. Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut se traduire par la synchronisation partielle des données de colonne ou par un échec total de la synchronisation. Agissez avec prudence.
      Format of the data delivered to RocketMQ.	Sélectionnez le format de stockage pour l'écriture des données dans la rubrique de destination, selon vos besoins. Pour plus d'informations, consultez la rubrique Formats de stockage des données dans les files d'attente de messages.
      Synchronize all fields	Pour les opérations UPDATE, indiquez si vous souhaitez synchroniser l'image précédente (pre-image) contenant uniquement les champs mis à jour ou la ligne entière vers le champ old de la rubrique de destination. Une image précédente correspond à l'enregistrement de données tel qu'il existait avant l'exécution de l'opération UPDATE. Remarque Ce paramètre n'est disponible que lorsque l'option Format of the data delivered to RocketMQ. est définie sur Canal JSON. Yes : synchronise l'image précédente de la ligne entière contenant les champs mis à jour. No (par défaut) : synchronise uniquement l'image précédente des champs mis à jour.
      Rules of the ordered messages delivered to RocketMQ.	Sélectionnez la règle d'ordonnancement des messages pour l'écriture des données dans la rubrique de destination. Pour plus d'informations, consultez la rubrique Règles d'ordonnancement des messages pour Message Queue for RocketMQ.
      Name of DTS producer group	Vous pouvez spécifier un nom personnalisé pour le groupe de producteurs (ProducerGroup) qui envoie des messages à la rubrique de destination. Remarque La valeur par défaut est dts-producer-group.
      Limits of RocketMQ messaging transactions per second (TPS)	Vous pouvez définir une limite de transactions de messagerie par seconde (TPS) pour l'écriture des données dans la rubrique de destination. Pour plus d'informations sur le TPS de messagerie, consultez la rubrique Spécifications de calcul. Important La valeur doit être inférieure ou égale au TPS maximal de l'instance Message Queue for RocketMQ. Pour plus d'informations, consultez la rubrique Spécifications des instances. Pendant l'exécution de la tâche de synchronisation, le TPS réel de messagerie de l'instance Message Queue for RocketMQ peut fluctuer légèrement autour de la valeur spécifiée.
      Whether to filter large size of records.	Indiquez si vous souhaitez filtrer les messages dépassant 4 Mo avant de les écrire dans la rubrique de destination. Important Si vous sélectionnez No, la tâche de synchronisation échoue lorsqu'elle tente d'écrire un message de plus de 4 Mo dans la rubrique de destination.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la stratégie DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les stratégies par défaut des bases de données source et de destination. Pour plus d'informations, consultez la rubrique Politique de sensibilité à la casse pour les noms d'objets de destination.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des bases de données ou des tables comme objets de synchronisation.
      Selected Objects	Dans cet exemple, aucune configuration supplémentaire n'est requise. Vous pouvez utiliser la fonctionnalité de mappage pour définir le nom de la rubrique, les conditions de filtrage, les opérations SQL à synchroniser et la clé de partition pour les données écrites dans l'instance Message Queue for RocketMQ de destination. Pour plus d'informations, consultez la section Informations de mappage.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et aucune sélection de cluster n'est nécessaire. Pour obtenir des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Il est recommandé de définir cette durée sur 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau sur 30 minutes pour l'instance A et sur 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, s'applique aux deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, il est conseillé d'adapter la durée de nouvelle tentative à vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions lors de l'exécution de commandes DDL ou DML), DTS signale une erreur et lance immédiatement des tentatives continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser cette durée dans une plage allant de 1 à 1 440 minutes. Il est recommandé de la fixer à 10 minutes ou plus. Si les opérations concernées aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur définie pour Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter leur charge. Pour réduire cette charge, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration n'est disponible que lorsque l'option Synchronization Types est définie sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, configurez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si vous souhaitez écrire les informations SQL de pulsation (heartbeat) dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS. No : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
      Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Dans cet exemple, aucun tag n'est requis.
      Configure ETL	Décidez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs possibles : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

6. Enregistrez la tâche et exécutez une pré-vérification.

   • Pour afficher les paramètres d'API permettant de configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.

   • Une fois que vous avez consulté les paramètres d'API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS effectue une pré-vérification. La tâche ne peut démarrer que si tous les éléments de vérification réussissent.

   • En cas d'échec de la pré-vérification, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème selon les instructions, puis relancez la pré-vérification.

   • Si la pré-vérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour résoudre le problème, puis relancez la pré-vérification.

     • Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'avertissement et de relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : la facturation s'effectue à l'heure. Cette option est adaptée aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
      	Configuration du groupe de ressources	Groupe de ressources auquel l'instance appartient. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?.
      	Spécifications de lien	DTS propose des spécifications de synchronisation offrant différents niveaux de performance. Les spécifications du lien de synchronisation influencent le débit de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications des liens de synchronisation des données.
      	Durée d'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option n'est disponible que lorsque la méthode de facturation est définie sur Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Informations de mappage

1. Dans la liste Selected Objects, placez le pointeur de la souris sur le nom du topic de destination.

2. Cliquez sur Edit à côté du nom du topic de destination.

3. Dans la boîte de dialogue, configurez les informations de mappage.

   Remarque

   • Si un mappage est configuré à la fois au niveau de la base de données et au niveau de la table, le mappage au niveau de la table est prioritaire.

   • Pour le mappage au niveau de la base de données, utilisez la boîte de dialogue Edit Schema. Pour le mappage au niveau de la table, utilisez la boîte de dialogue Edit Table.

   Niveau de la base de données

   Parameter	Description
   Selected Objects	Le topic de destination vers lequel les données synchronisées sont écrites. Par défaut, il s'agit du Edit que vous avez sélectionné pour la Edit Schema lors de l'étape Edit Table. Important Le nom du topic spécifié doit exister dans l'instance Message Queue for RocketMQ de destination. Sinon, la tâche de synchronisation des données échoue. Si vous modifiez le Schema Name, les données sont écrites dans le topic spécifié.
   Topic	Sélectionnez les opérations SQL pour la synchronisation incrémentielle.

   Niveau de la table

   Parameter	Description
   Destination Database	Le topic de destination vers lequel les données synchronisées sont écrites. Par défaut, il s'agit du Configurations for Source and Destination Databases que vous avez sélectionné pour la Schema Name lors de l'étape Select DDL and DML Operations to Be Synchronized. Important Le nom du topic spécifié doit exister dans l'instance Message Queue for RocketMQ de destination. Sinon, la tâche de synchronisation des données échoue. Si vous modifiez le Table Name, les données sont écrites dans le topic spécifié.
   Topic	Pour plus d'informations, consultez Définir les conditions de filtrage.
   Destination Database	Sélectionnez les opérations SQL pour la synchronisation incrémentielle.
   Configurations for Source and Destination Databases	Si vous définissez Table Name sur Filter Conditions, vous pouvez spécifier une ou plusieurs colonnes comme clé de partition. DTS distribue ensuite les lignes vers différentes partitions du topic de destination en fonction de la valeur de hachage calculée à partir de la clé.

4. Cliquez sur OK.