Data Transmission Service:Synchroniser des données incrémentielles d'une instance PolarDB-X 2.0 vers un projet DataHub

Prérequis

• Le service DataHub est activé et un projet destiné à recevoir les données à synchroniser est créé. Pour plus d'informations, consultez Démarrage rapide (exemple de synchronisation) et Gérer les projets.

• L'espace de stockage disponible du projet DataHub de destination est supérieur à la taille totale des données de l'instance PolarDB-X source.

Limites

Topologies de synchronisation prises en charge

• Synchronisation unidirectionnelle un-à-un

• Synchronisation unidirectionnelle un-à-plusieurs

• Synchronisation unidirectionnelle plusieurs-à-un

• Synchronisation unidirectionnelle en cascade

Pour plus d'informations sur les topologies de synchronisation prises en charge par DTS, consultez Topologies de synchronisation.

Opérations SQL synchronisables

Procédure

1. Accédez à la page des tâches de synchronisation de données.

   1. Connectez-vous à la console Data Management (DMS).

   2. Dans la barre de navigation supérieure, cliquez sur Data + AI.

   3. Dans le volet de navigation de gauche, choisissez DTS (DTS) > Data Synchronization.

   Remarque

   • Les opérations peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez Console en mode simple et Personnaliser la disposition et le style de la console DMS.

   • Vous pouvez également accéder directement à la page Tâches de synchronisation de données de la nouvelle console DTS.

2. À droite de Data Synchronization Tasks, sélectionnez la région où réside l'instance de synchronisation de données.

   Remarque

   Si vous utilisez la nouvelle console DTS, sélectionnez la région de l'instance de synchronisation dans la barre de navigation supérieure.

3. Cliquez sur Create Task pour configurer les bases de données source et de destination.

   Section	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Ce nom n'a pas besoin d'être unique.
   Source Database	Select DMS Database Instance	Sélectionnez une instance existante selon vos besoins. Si vous utilisez une instance existante, les informations de la base de données sont renseignées automatiquement. Vous n'avez pas besoin de les saisir à nouveau. Si vous n'utilisez pas d'instance existante, saisissez les informations suivantes.
   	Database Type	Type de la base de données source. Sélectionnez PolarDB-X 2.0.
   	Connection Type	Méthode d'accès à la base de données source. Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Région où réside l'instance PolarDB-X source.
   	Instance ID	ID de l'instance PolarDB-X source.
   	Database Account	Compte de la base de données PolarDB-X source. Ce compte doit disposer de l'autorisation SELECT sur les objets à synchroniser, ainsi que des autorisations REPLICATION CLIENT et REPLICATION SLAVE. Remarque Pour savoir comment accorder des autorisations, consultez Problèmes d'autorisations de compte lors de la synchronisation des données.
   	Database Password	Saisissez le mot de passe correspondant au compte de la base de données.
   Destination Database	Select DMS Database Instance	Sélectionnez une instance existante selon vos besoins. Si vous utilisez une instance existante, les informations de la base de données sont renseignées automatiquement. Vous n'avez pas besoin de les saisir à nouveau. Si vous n'utilisez pas d'instance existante, saisissez les informations suivantes.
   	Database Type	Type de la base de données de destination. Sélectionnez DataHub.
   	Connection Type	Méthode d'accès à la base de données de destination. Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Région où réside l'instance DataHub de destination.
   	Project	Projet vers lequel synchroniser les données dans l'instance DataHub de destination.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Si la base de données source ou de destination est une instance de base de données Alibaba Cloud, telle qu'une instance RDS for MySQL ou ApsaraDB for MongoDB, DTS ajoute automatiquement les adresses IP des serveurs DTS de la région correspondante à la liste d'autorisation de l'instance. Si la base de données source ou de destination est une base de données auto-gérée hébergée sur une instance ECS, DTS ajoute automatiquement ces adresses IP aux règles de sécurité de l'instance ECS. Assurez-vous également que la base de données auto-gérée autorise l'accès depuis l'instance ECS. Si la base de données est déployée en cluster sur plusieurs instances ECS, ajoutez manuellement les adresses IP des serveurs DTS aux règles de sécurité de chaque instance. Pour une base de données auto-gérée dans un centre de données local (IDC) ou provenant d'un autre fournisseur cloud, ajoutez manuellement les adresses IP des serveurs DTS de la région concernée pour autoriser leur accès. Pour plus d'informations sur les adresses IP des serveurs DTS, consultez Blocs CIDR d'adresses IP des serveurs DTS.

   Avertissement

   L'ajout des blocs CIDR d'adresses IP publiques des serveurs DTS, qu'il soit automatique ou manuel, peut présenter des risques de sécurité. En utilisant ce produit, vous reconnaissez et acceptez ces risques potentiels. Mettez en œuvre des protections de sécurité de base, notamment le renforcement de la sécurité des mots de passe, la restriction des ports ouverts pour les blocs CIDR, l'utilisation de l'authentification pour les communications API internes, ainsi que la révision régulière et la restriction des blocs CIDR inutiles. Vous pouvez également vous connecter à la base de données via un réseau interne, tel qu'une ligne louée, un VPN Gateway ou un Smart Access Gateway.

5. Configurez les objets de la tâche et les paramètres avancés.

   Paramètre	Description
   Synchronization Types	Incremental Data Synchronization est sélectionné par défaut. Vous pouvez uniquement sélectionner Schema Synchronization. La Full Data Synchronization n'est pas prise en charge. Remarque Lors de la phase d'initialisation de la tâche, DTS synchronise les définitions de schéma des objets (comme les schémas de table) vers le projet DataHub de destination.
   Processing Mode for Existing Tables in Destination	Precheck and Report Errors : Vérifie si une table portant le même nom existe déjà dans la base de données de destination. Si aucune table homonyme n'existe, la pré-vérification réussit. Dans le cas contraire, elle échoue et la tâche de synchronisation ne démarre pas. Remarque Si vous ne pouvez ni supprimer ni renommer la table homonyme dans la base de données de destination, mappez-la vers un nom différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : Ignore la vérification des doublons de noms de tables dans la base de données de destination. Avertissement La sélection de Ignore Errors and Proceed peut entraîner des incohérences de données et mettre votre activité en péril. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou unique qu'un enregistrement source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement source écrase celui de la base de données de destination. Si les schémas de table diffèrent, la synchronisation initiale peut échouer. Cela peut se traduire par une synchronisation partielle des colonnes ou un échec complet. Faites preuve de prudence.
   Naming Rules of Additional Columns	Lors de la synchronisation vers un projet DataHub, DTS ajoute des colonnes supplémentaires au topic de destination. Si leurs noms entrent en conflit avec des colonnes existantes, la synchronisation échoue. Définissez le paramètre Naming Rules of Additional Columns sur New Rule ou Previous Rule selon vos besoins métier. Avertissement Avant de définir ce paramètre sur Oui ou Non, vérifiez l'absence de conflits de noms entre les colonnes supplémentaires et les colonnes existantes du topic de destination. Pour plus d'informations, consultez Modifier les règles de nommage des colonnes supplémentaires.
   Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Seules les tables peuvent être sélectionnées comme objets de synchronisation.
   Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit dessus dans la zone Selected Objects. Pour plus d'informations, consultez Mapper une base de données, une table ou une colonne unique. Pour modifier les noms de plusieurs objets en lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Mapper des bases de données, tables et colonnes par lots. Remarque Pour spécifier des conditions WHERE afin de filtrer les données, faites un clic droit sur un objet dans la section Selected Objects. Spécifiez ensuite les conditions dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Définir des conditions de filtrage.

6. Paramètre	Description
   Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou de dépassement du seuil de latence défini, une notification est envoyée au contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
   Retry Time After Connection to Source or Destination Database Fails	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de se reconnecter. La durée de tentative par défaut est de 720 minutes. Vous pouvez spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Il est recommandé de définir une durée d'au moins 30 minutes. Si DTS parvient à se reconnecter dans le délai imparti, la tâche reprend automatiquement. Sinon, elle échoue. Remarque Si plusieurs instances DTS (par exemple, Instance A et Instance B) partagent la même source ou destination, et que vous définissez le temps de tentative réseau sur 30 minutes pour l'Instance A et 60 minutes pour l'Instance B, la durée la plus courte (30 minutes) s'applique aux deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de tentative de reconnexion, nous vous recommandons de personnaliser cette durée selon vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
   Configure ETL	Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.

7. Enregistrez la tâche et lancez une pré-vérification.

   • Pour consulter les paramètres API permettant de configurer cette instance, survolez le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.

   • Une fois la consultation des paramètres API terminée, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut débuter que si tous les éléments de la pré-vérification réussissent.

   • Si la pré-vérification échoue, cliquez sur View Details pour l'élément en échec. Corrigez le problème selon les instructions, puis relancez la pré-vérification.

   • Si la pré-vérification retourne un avertissement :

     • Si un élément de contrôle échoue et ne peut être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.

     • Pour les éléments pouvant être ignorés, cliquez successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Notez que masquer un avertissement peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

8. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

9. Sur la page Purchase, sélectionnez le mode de facturation et la spécification de lien pour l'instance de synchronisation. Le tableau suivant détaille ces paramètres.

   Catégorie	Paramètre	Description
   New Instance Class	Mode de facturation	Abonnement : Le paiement s'effectue lors de la création de l'instance. Ce mode convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : La facturation est horaire. Ce mode est adapté aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réduire les coûts.
   	Configuration du groupe de ressources	Groupe de ressources auquel l'instance appartient. Par défaut, il s'agit du groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que Resource Management ?.
   	Spécification du lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation influence le taux de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Spécifications des liens de synchronisation de données.
   	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou annuel de 1, 2, 3 ou 5 ans. Remarque Cette option n'est disponible que si le mode de facturation est Subscription.

10. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

11. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

    Vous pouvez suivre la progression de la tâche sur la page Data Synchronization.