Data Transmission Service:Synchronisation de cluster AnalyticDB for MySQL 3.0

Prérequis

• Vous avez créé un cluster AnalyticDB for MySQL 3,0 cible dont l'espace de stockage est supérieur à l'espace utilisé du cluster AnalyticDB for MySQL 3,0 source.

• La fonctionnalité de capture des données modifiées (CDC) est activée pour le cluster AnalyticDB for MySQL 3,0 source, et le journal binaire est activé pour les tables que vous souhaitez synchroniser.

  Remarque

  • Si la version du moteur du cluster AnalyticDB for MySQL 3,0 est antérieure à la version 3.2.1.0, vous devez d'abord la mettre à niveau.

  • La table XUANWU_V2 ne prend pas en charge l'activation du journal binaire. Par conséquent, vous ne pouvez pas utiliser DTS pour synchroniser les données ou effectuer une migration incrémentielle des tables XUANWU_V2 entre des clusters AnalyticDB for MySQL.

• Le cluster AnalyticDB for MySQL source ne prend actuellement pas en charge la synchronisation vers ApsaraDB RDS for MySQL ni vers PolarDB for MySQL.

Limites

Facturation

Opérations SQL prises en charge

Autorisations du compte

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans l'angle supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data Synchronization > Data + AI > Data Transmission (DTS).

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   N/A	Data Synchronization	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Data Synchronization Tasks	Create Task	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Task Name. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Source Database	Sélectionnez Select Existing Connection.
   	Access Method	Sélectionnez Database Type.
   	AnalyticDB for MySQL 3.0	Sélectionnez la région où réside le cluster AnalyticDB for MySQL 3,0 source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez l'ID du cluster AnalyticDB for MySQL 3,0 source.
   	Database Account	Saisissez le compte de base de données pour le cluster AnalyticDB for MySQL 3,0 source. Pour plus d'informations sur les autorisations requises, consultez Autorisations de compte.
   	No	Saisissez le mot de passe correspondant au compte de base de données.
   Instance ID	Select Existing Connection	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Destination Database	Sélectionnez AnalyticDB for MySQL 3.0.
   	Select a DMS database instance.	Sélectionnez Database Type.
   	Instance Region	Sélectionnez la région où réside le cluster AnalyticDB for MySQL 3,0 de destination.
   	Access Method	Sélectionnez l'ID du cluster AnalyticDB for MySQL 3,0 de destination.
   	Alibaba Cloud Instance	Saisissez le compte de base de données pour le cluster AnalyticDB for MySQL 3,0 de destination. Pour plus d'informations sur les autorisations requises, consultez Autorisations de compte.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.

5. Configurez les objets de la tâche.

   1. Sur la page Instance ID, configurez les objets à synchroniser.

      Parameter	Description
      Database Account	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Test Connectivity and Proceed et Configure Objects. Une fois la prévalidation terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Ces données servent de référence pour la synchronisation incrémentielle ultérieure.
      Synchronization Types	Sélectionnez les opérations au niveau de l'instance à synchroniser lors de la synchronisation incrémentielle des données. Remarque Pour sélectionner des opérations au niveau de la table, cliquez avec le bouton droit sur l'objet de synchronisation dans la liste Incremental Data Synchronization, puis sélectionnez les opérations souhaitées dans la boîte de dialogue qui s'affiche.
      Schema Synchronization	Full Data Synchronization : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la prévalidation réussit. Si une table du même nom existe, la prévalidation échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table homonyme dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Map table and column names. DDL and DML Operations to Be Synchronized : ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de l'option Selected Objects peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
      Processing Mode of Conflicting Tables	Dans la zone Precheck and Report Errors, sélectionnez la table à synchroniser, puis cliquez sur pour la déplacer vers la zone Ignore Errors and Proceed. Important Vous ne pouvez sélectionner qu'une seule table.
      Ignore Errors and Proceed	Pour définir le nom d'un objet de synchronisation dans l'instance de destination ou spécifier quel objet reçoit les données, cliquez avec le bouton droit sur l'objet de synchronisation dans la zone Source Objects et modifiez-le. Pour plus d'informations, consultez la rubrique Map table and column names. Pour supprimer un objet de synchronisation, cliquez dessus dans la zone Source Objects, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Si vous utilisez la fonctionnalité de mappage des noms d'objets, la synchronisation d'autres objets dépendant de l'objet mappé peut échouer. Pour définir une clause WHERE afin de filtrer les données, cliquez avec le bouton droit sur la table à synchroniser dans la zone Selected Objects. Dans la boîte de dialogue qui s'affiche, définissez la condition de filtre. Pour plus d'informations, consultez la rubrique Set filter conditions. Pour sélectionner les opérations SQL pour la synchronisation incrémentielle, cliquez avec le bouton droit sur l'objet de synchronisation dans la zone Selected Objects et sélectionnez les opérations souhaitées dans la boîte de dialogue qui s'affiche.

   2. Cliquez sur Selected Objects pour configurer les paramètres avancés.

      Paramètre	Description
      Source Objects	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner de cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez What is a DTS dedicated cluster?.
      Selected Objects	Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir une durée d'au moins 30 minutes. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez le délai de nouvelle tentative réseau sur 30 minutes pour l'instance A et sur 60 minutes pour l'instance B, c'est la durée la plus courte, soit 30 minutes, qui s'applique aux deux. Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Selected Objects	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions lors de l'exécution de commandes DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser cette durée dans une plage allant de 1 à 1 440 minutes. Nous vous recommandons de la fixer à au moins 10 minutes. Si les opérations concernées aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur du paramètre Next: Advanced Settings doit être inférieure à celle du paramètre Dedicated Cluster for Task Scheduling.
      Retry Time for Failed Connections	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de ces dernières. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Retry Time for Other Issues, Retry Time for Other Issues et Retry Time for Failed Connections. Remarque Cet élément de configuration est disponible uniquement lorsque le paramètre Enable Throttling for Full Data Synchronization est défini sur Queries per second (QPS) to the source database. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
      RPS of Full Data Migration	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, configurez les paramètres Data migration speed for full migration (MB/s) et Synchronization Types.
      Full Data Synchronization	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins. Pour ce tutoriel, aucun tag n'est requis.
      Enable Throttling for Incremental Data Synchronization	Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez What is ETL? Les valeurs valides sont : RPS of Incremental Data Synchronization : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configure ETL in a data migration or data synchronization task. Data synchronization speed for incremental synchronization (MB/s) : désactive la fonctionnalité ETL.
      Environment Tag	Spécifiez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. Configure ETL : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configure monitoring and alerting during task configuration.

   3. Cliquez sur No pour configurer une tâche de validation des données.

      Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir des instructions de configuration.

   4. Facultatif : Une fois les configurations précédentes terminées, cliquez sur Monitoring and Alerting pour configurer les informations relatives au No, à la Yes, à la Next: Data Validation et à la clé de partition (Next: Configure Database and Table Fields, Type et Primary Key Column) pour les tables à synchroniser dans la base de données de destination.

      Remarque

      • Cette étape est disponible uniquement si vous sélectionnez Distribution Key pour le paramètre Partition Key. Vous pouvez définir Partitioning Rules sur Partition Lifecycle pour modifier les champs.

      • Pour la Schema Synchronization pour servir de Synchronization Types et de Definition Status. Pour plus d'informations, consultez CREATE TABLE.

6. Enregistrez la tâche et exécutez une vérification préalable.

   • Pour afficher les paramètres API permettant de configurer cette instance, placez le curseur sur le bouton All et cliquez sur Primary Key Column dans la bulle d'aide.

   • Une fois que vous avez consulté les paramètres API, cliquez sur Primary Key Column en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une vérification préalable. La tâche ne peut démarrer que si tous les éléments de vérification réussissent.

   • Si la vérification préalable échoue, cliquez sur Distribution Key pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la vérification préalable.

   • Si la vérification préalable renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur Partition Key à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la vérification préalable.

     • Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Next: Save Task Settings and Precheck, Preview OpenAPI parameters, Next: Save Task Settings and Precheck et View Details afin d'ignorer l'avertissement et de relancer la vérification préalable. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.

7. Achetez l'instance de synchronisation des données.

   1. Lorsque le View Details atteint 100 %, cliquez sur Confirm Alert Details.

   2. Sur la page Ignore, sélectionnez la méthode de facturation et la spécification du lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      OK	Billing Method	Abonnement : vous réglez le paiement lors de la création de l'instance. Cette option convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : la facturation est horaire. Cette option est adaptée aux besoins ponctuels. Vous pouvez libérer l'instance immédiatement après son utilisation afin de réduire les coûts.
      	Resource Group Configuration	Groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que Resource Management ?.
      	Link Specification	DTS propose des spécifications de synchronisation offrant différents niveaux de performance. La spécification du lien de synchronisation influe sur le débit de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Spécifications des liens de synchronisation des données.
      	Subscription Duration	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option n'est disponible que lorsque la méthode de facturation est définie sur Precheck Again.

   3. Une fois la configuration terminée, lisez et acceptez les Success Rate.

   4. Cliquez sur Next: Purchase Instance. Dans la boîte de dialogue Purchase, cliquez sur New Instance Class.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.