Data Transmission Service:Synchroniser PolarDB for MySQL vers AnalyticDB for MySQL

Prérequis

• Un cluster destination AnalyticDB for MySQL doit être créé. Pour plus d'informations, consultez Créer un cluster.

• Vérifiez que le cluster destination AnalyticDB for MySQL dispose d'un espace de stockage suffisant.

• La journalisation binaire doit être activée sur le cluster source PolarDB for MySQL. Pour plus d'informations, consultez Activer la journalisation binaire.

Limites

• Lors de l'initialisation complète des données, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et destination, ce qui peut augmenter leur charge. Si les bases de données présentent de faibles performances, des spécifications limitées ou une charge de travail élevée (par exemple, un grand nombre d'instructions SQL lentes, des tables sans clés primaires ou des interblocages sur la base de données destination), la pression sur la base de données peut s'accroître davantage et entraîner une indisponibilité des services. Évaluez les performances des bases de données source et destination avant de démarrer la synchronisation des données. Nous vous recommandons d'effectuer la synchronisation pendant les heures creuses (par exemple, lorsque la charge CPU des bases de données source et destination est inférieure à 30 %).

• N'utilisez pas d'outils tels que gh-ost ou pt-online-schema-change pour effectuer des opérations DDL en ligne sur les objets à synchroniser dans la base de données source pendant la synchronisation des données. Dans le cas contraire, la tâche de synchronisation échouera.

• En raison des limites d'utilisation de AnalyticDB for MySQL, si l'utilisation du disque de n'importe quel nœud du cluster dépasse 80 %, le cluster est verrouillé. Avant de commencer, estimez l'espace de stockage requis pour les objets à synchroniser et assurez-vous que le cluster destination dispose d'une capacité suffisante.

• Les index de préfixe ne peuvent pas être synchronisés. Si la base de données source contient des index de préfixe, la synchronisation des données peut échouer.

• Si le cluster destination AnalyticDB for MySQL 3,0 effectue une sauvegarde pendant l'exécution de la tâche DTS, la tâche échoue.

Facturation

Opérations SQL prises en charge

• Opérations DDL : CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE, ADD COLUMN, DROP COLUMN et MODIFY COLUMN

• Opérations DML : INSERT, UPDATE et DELETE

Autorisations du compte de base de données

Pour plus d'informations sur la création et l'autorisation d'un compte de base de données, consultez Créer un compte de base de données PolarDB for MySQL ou Créer un compte de base de données pour Cloud-native Data Warehouse AnalyticDB for MySQL.

Mappages des types de données

Pour plus d'informations, consultez Mappages des types de données pour la synchronisation initiale du schéma.

Procédure

1. Acheter une tâche de synchronisation de données.

   Remarque

   Lors de l'achat de la tâche, définissez Instance source sur Apsara PolarDB, Instance cible sur AnalyticDB MySQL et Topologie de synchronisation sur One-way synchronization.

2. Connectez-vous à la console Data Transmission Service.

   Remarque

   Si vous êtes redirigé automatiquement vers la console Data Management (DMS), cliquez sur l'icône en bas à droite, puis cliquez sur pour revenir à la console DTS classique.

3. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

4. Dans la barre de navigation supérieure de la page Data Synchronization, sélectionnez la région où se trouve l'instance destination.

5. Recherchez l'instance de synchronisation de données achetée et cliquez sur Configure Synchronization Channel.

6. Configurez les instances source et destination pour le canal de synchronisation.

   Section	Paramètre	Description
   N/A	Nom de la tâche de synchronisation	DTS génère automatiquement un nom de tâche. Pour faciliter l'identification, nous vous recommandons d'utiliser un nom descriptif. Le nom n'a pas besoin d'être unique.
   Détails de l'instance source	Type d'instance	Définissez sur PolarDB Instance. Ce paramètre ne peut pas être modifié.
   	Région de l'instance	La région de l'instance source que vous avez sélectionnée lors de l'achat de la tâche. Ce paramètre ne peut pas être modifié.
   	ID de l'instance PolarDB	Sélectionnez l'ID du cluster source PolarDB for MySQL.
   	Compte de base de données	Saisissez le compte de base de données pour le cluster PolarDB for MySQL. Pour connaître les autorisations requises, consultez Autorisations du compte de base de données.
   	Mot de passe de la base de données	Saisissez le mot de passe du compte de base de données.
   Détails de l'instance destination	Type d'instance	Définissez sur ADS. Ce paramètre ne peut pas être modifié.
   	Région de l'instance	La région de l'instance destination que vous avez sélectionnée lors de l'achat de la tâche. Ce paramètre ne peut pas être modifié.
   	Version	Sélectionnez 3.0.
   	Base de données	Sélectionnez l'ID du cluster de l'instance destination AnalyticDB for MySQL.
   	Compte de base de données	Saisissez le compte de base de données pour l'instance AnalyticDB for MySQL. Pour connaître les autorisations requises, consultez Autorisations du compte de base de données.
   	Mot de passe de la base de données	Saisissez le mot de passe du compte de base de données.

7. En bas à droite de la page, cliquez sur Set Whitelist and Next.

   Si la base de données source ou destination est une instance de base de données Alibaba Cloud, telle qu'une instance ApsaraDB RDS for MySQL ou ApsaraDB for MongoDB, DTS ajoute automatiquement les blocs CIDR des serveurs DTS à la liste blanche d'adresses IP de l'instance. Si la base de données source ou destination est une base de données gérée par vos soins hébergée sur une instance Elastic Compute Service (ECS), DTS ajoute automatiquement les blocs CIDR des serveurs DTS aux règles du groupe de sécurité de l'instance ECS, et vous devez vous assurer que l'instance ECS peut accéder à la base de données. Si la base de données gérée par vos soins est hébergée sur plusieurs instances ECS, ajoutez manuellement les blocs CIDR des serveurs DTS aux règles du groupe de sécurité de chaque instance ECS. Si la base de données source ou destination est une base de données gérée par vos soins déployée dans un centre de données ou fournie par un fournisseur de services cloud tiers, ajoutez manuellement les blocs CIDR des serveurs DTS à la liste blanche d'adresses IP de la base de données pour permettre à DTS d'y accéder. Pour plus d'informations, consultez Ajouter les adresses IP des serveurs DTS à la liste blanche.

   Avertissement

   L'ajout des blocs CIDR d'adresses IP publiques des serveurs DTS, qu'il soit automatique ou manuel, peut présenter des risques de sécurité. En utilisant ce produit, vous reconnaissez et acceptez ces risques potentiels. Mettez en œuvre des protections de sécurité de base. Ces protections incluent, mais ne se limitent pas au renforcement de la sécurité des mots de passe, à la restriction des ports ouverts pour les blocs CIDR, à l'utilisation de l'authentification pour la communication API interne et à la révision et à la restriction régulières des blocs CIDR inutiles. Vous pouvez également vous connecter à la base de données via un réseau interne, tel qu'une ligne louée, une passerelle VPN ou Smart Access Gateway.

8. Configurez la politique de synchronisation et les objets.

   Paramètre	Description
   Initialisation de la synchronisation	Par défaut, les options Initial schema synchronization et Initial full data synchronization sont toutes deux sélectionnées. Une fois la vérification préalable terminée, DTS initialise le schéma et les données des objets synchronisés dans le cluster destination. Ce processus crée une ligne de base pour la synchronisation incrémentielle ultérieure des données.
   Action sur les tables existantes dans la destination	Precheck and report error : Vérifie si une table portant le même nom existe dans la base de données destination. Si aucune table de ce type n'existe, la vérification réussit. Si une table portant le même nom existe, une erreur est signalée lors de la phase de vérification préalable et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table conflictuelle dans la base de données destination, mappez la table vers un nouveau nom dans la destination. Pour plus d'informations, consultez Définir les noms d'objets dans l'instance destination. Ignore Errors and Proceed : Ignore la vérification des tables portant le même nom dans la base de données destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et des risques commerciaux. Par exemple : Si un enregistrement dans le cluster destination possède la même clé primaire qu'un enregistrement source, l'enregistrement destination est conservé et l'enregistrement source n'est pas synchronisé. Si les schémas de table sont différents, les données peuvent ne pas s'initialiser, seules certaines colonnes peuvent être synchronisées ou la tâche peut échouer.
   Fusionner plusieurs tables	Sélectionnez Yes : DTS ajoute la colonne __dts_data_source à chaque table pour stocker la source des données et ne prend plus en charge la synchronisation DDL. No : Option par défaut. La synchronisation DDL est prise en charge. Remarque La fonctionnalité de fusion de tables s'applique au niveau de la tâche, et non au niveau de la table. Si vous devez fusionner certaines tables mais pas d'autres, créez deux tâches de synchronisation de données distinctes.
   Types d'opérations de synchronisation	Sélectionnez les types d'opérations à synchroniser. Pour plus d'informations sur les opérations prises en charge, consultez Opérations SQL prises en charge. Par défaut, tous les types d'opérations sont sélectionnés.
   Sélectionner les objets de synchronisation	Dans la zone Available objects, cliquez sur les objets que vous souhaitez synchroniser, puis cliquez sur l'icône pour les déplacer vers la zone Selected objects. Vous pouvez sélectionner des bases de données et des tables comme objets de synchronisation. Remarque Si vous sélectionnez une base de données entière, toutes les opérations de modification de schéma pour les objets de cette base de données sont synchronisées vers la destination. Si vous sélectionnez une table spécifique, seules les opérations ADD COLUMN sur cette table sont synchronisées vers la destination. Par défaut, les noms des objets de synchronisation restent identiques. Si vous devez modifier les noms d'objets dans le cluster destination, utilisez la fonctionnalité de mappage des noms d'objets. Pour plus d'informations, consultez Définir les noms d'objets dans l'instance destination.
   Renommer les mappages d'objets	Modifiez les noms des objets synchronisés dans l'instance destination. Pour plus d'informations, consultez Mapper des bases de données, des tables et des colonnes.
   Répliquer les tables temporaires pendant le processus DDL en ligne dans DMS	Si vous utilisez Data Management (DMS) pour effectuer des modifications DDL en ligne sur la base de données source, vous pouvez choisir de synchroniser ou non les tables temporaires générées par les modifications DDL. Yes : Synchronise les tables temporaires générées par les modifications DDL en ligne. Remarque Si une grande quantité de données de table temporaire est générée par les modifications DDL en ligne, la tâche de synchronisation des données peut être retardée. No : Ne synchronise pas les tables temporaires générées par les modifications DDL en ligne. Seules les opérations DDL originales de la base de données source sont synchronisées. Remarque Cette option entraîne le verrouillage des tables dans la base de données destination.
   Délai d'expiration de la nouvelle tentative de connexion	Si DTS ne parvient pas à se connecter à l'instance source ou destination, il effectue des nouvelles tentatives pendant 720 minutes (12 heures) par défaut. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée. Si DTS se reconnecte à l'instance source ou destination dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Remarque Le temps d'exécution de la tâche est facturé pendant les nouvelles tentatives de connexion. Personnalisez la durée de nouvelle tentative en fonction de vos besoins professionnels, ou libérez l'instance DTS dès que les instances source et destination sont libérées.

9. Une fois les configurations précédentes terminées, cliquez sur Next en bas à droite de la page.

10. Définissez les types des tables à synchroniser dans la base de données destination.

    Le tableau de configuration comprend également les colonnes ADB Table Group, ADB Table Name, Number of Partitions et Definition Status. Lorsque vous survolez un nom de base de données ou de table, DTS affiche le nom de la table source.

    Remarque

    Si vous sélectionnez Initial Schema Synchronization, vous devez définir les tables à synchroniser dans AnalyticDB for MySQL, y compris le Type, la colonne de clé primaire et la colonne de partition. Pour plus d'informations, consultez CREATE TABLE.

11. Une fois les configurations précédentes terminées, cliquez sur Precheck and Start en bas à droite de la page.

    Remarque

    • Avant le démarrage officiel de la tâche de synchronisation, une vérification préalable est effectuée. La tâche de synchronisation ne peut démarrer qu'après la réussite de cette vérification.

    • Si la vérification préalable échoue, cliquez sur l'icône à côté d'un élément de vérification spécifique pour afficher les détails de l'échec.

      • Suivez l'invite pour corriger le problème et exécutez à nouveau la vérification préalable.

      • Si vous n'avez pas besoin de corriger les éléments de vérification d'avertissement, sélectionnez Ignore, Ignore Warning Items and Rerun Precheck pour ignorer les éléments de vérification d'avertissement et exécuter à nouveau la vérification préalable.

12. Une fois que Precheck Passed s'affiche dans la boîte de dialogue Precheck, fermez la boîte de dialogue. La tâche de synchronisation démarre automatiquement.

13. Attendez que le canal de synchronisation soit initialisé et que la tâche passe à l'état Synchronizing.

    La page

    Data Synchronization

    affiche l'état des travaux de synchronisation des données.