Synchronisation de données entre instances PolarDB-X 2.0 - Data Transmission Service

Utilisez Data Transmission Service (DTS) pour synchroniser des données de manière unidirectionnelle entre des instances PolarDB-X 2,0.

Prérequis

Les instances PolarDB-X 2,0 source et de destination sont créées.
L'espace de stockage de l'instance PolarDB-X 2,0 de destination doit être supérieur à celui de l'instance PolarDB-X 2,0 source.

Considérations importantes

Remarque

Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement la vérification des contraintes et les opérations en cascade sur les clés étrangères au niveau de la session. Si des mises à jour ou des suppressions en cascade se produisent dans la base de données source pendant la synchronisation, des incohérences de données peuvent survenir.

Type	Description
Limitations de la base de données source	Les tables synchronisées doivent posséder une clé primaire ou une contrainte d'unicité. À défaut, des données en double peuvent apparaître dans la base de données de destination. DTS ne prend pas en charge les instances en lecture seule PolarDB-X 2,0 Enterprise Edition comme base de données source. Si vous synchronisez des tables individuellement et effectuez des modifications, telles que le mappage des noms de colonnes, une seule tâche de synchronisation de données prend en charge un maximum de 5 000 tables. Pour synchroniser plus de 5 000 tables, répartissez-les sur plusieurs tâches ou configurez la tâche pour synchroniser la base de données entière. Sinon, une erreur de requête peut se produire après la soumission de la tâche. Exigences relatives aux journaux binaires : Activez la fonctionnalité de journal binaire dans la console PolarDB-X 2,0 et définissez le paramètre binlog_row_image sur full. Pour plus d'informations, consultez la rubrique Paramétrage. À défaut, la prévérification échouera et la tâche de synchronisation des données ne pourra pas démarrer. Pour la synchronisation incrémentielle des données, conservez les journaux binaires de la base de données source pendant plus de 24 heures. Pour les tâches combinant synchronisation complète et incrémentielle, la période de rétention doit être d'au moins 7 jours. Une fois la synchronisation complète des données terminée, vous pouvez réduire la période de rétention à 24 heures. Le SLA de DTS ne couvre pas les problèmes causés par une période de rétention des journaux binaires insuffisante. Si un nom de table dans l'instance source PolarDB-X 2,0 contient des lettres majuscules, DTS ne prend en charge que la synchronisation du schéma pour cette table. DTS ne prend pas en charge la synchronisation des groupes de tables (TABLEGROUP) ni des bases de données et tables dotées de l'attribut Locality. DTS ne prend pas en charge la synchronisation des tables dont les noms sont des mots-clés réservés, tels que `select`. DTS ne peut pas synchroniser les partitions des bases de données en mode DRDS sur une instance PolarDB-X 2,0. N'exécutez pas d'opérations DDL modifiant les schémas de base de données ou de tables pendant la synchronisation du schéma ou la synchronisation complète. Sinon, la tâche de synchronisation échouera. Remarque Pendant la synchronisation complète, DTS interroge la base de données source. Cela crée des verrous de métadonnées susceptibles de bloquer les opérations DDL sur la base de données source. Pendant l'exécution d'une tâche de synchronisation DTS, il n'est pas pris en charge de modifier le type d'une table de diffusion dans l'instance source PolarDB-X 2,0 (par exemple, changer une table de diffusion en table standard ou en table fragmentée). Pour modifier le type de table, arrêtez d'abord la tâche de synchronisation, puis reconfigurez-la une fois la modification effectuée.
Autres limitations	Évaluez les performances de vos bases de données source et de destination avant de lancer la synchronisation des données. Effectuez la synchronisation pendant les heures creuses, car la synchronisation initiale complète des données consomme des ressources importantes et augmente la charge de la base de données. La synchronisation initiale complète des données exécute des opérations INSERT concurrentes, ce qui peut provoquer une fragmentation des tables dans la base de données de destination. Par conséquent, l'instance de destination peut occuper plus d'espace table que l'instance source après la synchronisation. N'utilisez pas d'outils tels que pt-online-schema-change pour effectuer des opérations DDL en ligne sur les objets en cours de synchronisation dans la base de données source. Sinon, la tâche de synchronisation échouera. Pendant la synchronisation des données, assurez-vous que seul DTS écrit des données dans la base de données de destination. L'écriture de données provenant d'autres sources peut entraîner des incohérences entre les bases de données source et de destination. Par exemple, si vous effectuez des modifications DDL en ligne via DMS tandis qu'un autre processus écrit dans la destination, une perte de données peut survenir. En cas d'échec d'une tâche, l'équipe support de DTS tentera de la restaurer dans un délai de huit heures. Lors de la restauration, ils peuvent redémarrer la tâche ou ajuster ses paramètres. Remarque Seuls les paramètres de la tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans la rubrique Modifier les paramètres de l'instance.
Précautions	DTS met régulièrement à jour la table `dts_health_check`.`ha_health_check` dans la base de données source pour faire avancer la position du fichier de journal binaire.

Facturation

Type de synchronisation

Tarification

Synchronisation du schéma et synchronisation complète des données

Gratuit.

Synchronisation incrémentielle des données

Payant. Pour plus d'informations, consultez la rubrique Présentation de la facturation.

Opérations SQL prises en charge

Type d'opération	Instruction SQL
DML	INSERT, UPDATE, DELETE
DDL	ALTER TABLE CREATE FUNCTION, CREATE INDEX, CREATE TABLE Remarque Si la base de données source est une instance Enterprise Edition PolarDB-X 2,0, les opérations CREATE FUNCTION et CREATE INDEX ne peuvent pas être synchronisées. DROP INDEX, DROP TABLE RENAME TABLE Important L'opération RENAME TABLE peut provoquer des incohérences de données. Par exemple, si vous sélectionnez uniquement une table spécifique comme objet de synchronisation, puis que vous renommez cette table dans l'instance source pendant la synchronisation, les données de cette table ne seront pas synchronisées vers la base de données de destination. Pour éviter ce problème, sélectionnez la base de données entière à laquelle appartient la table comme objet de synchronisation. Cela garantit que la table reste suivie après avoir été renommée, tant qu'elle demeure dans une base de données synchronisée. TRUNCATE TABLE

Autorisations des comptes de base de données

Base de données	Synchronisation du schéma	Synchronisation complète des données	Synchronisation incrémentielle des données
Instance source PolarDB-X 2,0	SELECT	SELECT	REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à synchroniser.
Instance de destination PolarDB-X 2,0	Autorisations en lecture et en écriture.

Précautions

Procédure

Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
1. Connectez-vous à la console Data Transmission Service (DTS).
2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS

Remarque
Les opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
1. Connectez-vous à Data Management (DMS).
2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

Configurez les bases de données source et de destination.

Avertissement

Après avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Si vous ne respectez pas ces limites, la tâche peut échouer ou des incohérences de données peuvent survenir.

Section	Paramètre	Description
S.O.	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB-X 2.0.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance source PolarDB-X 2,0.
	Replicate Data Across Alibaba Cloud Accounts	Pour cet exemple, qui illustre une synchronisation au sein du même compte Alibaba Cloud, sélectionnez No.
	Instance ID	Sélectionnez l'ID de l'instance source PolarDB-X 2,0.
	Database Account	Saisissez le compte de base de données pour l'instance source PolarDB-X 2,0. Le compte doit disposer des autorisations REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à synchroniser. Remarque Pour savoir comment accorder des autorisations, consultez la rubrique Problèmes d'autorisations de compte lors de la synchronisation des données.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB-X 2.0.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance de destination PolarDB-X 2,0.
	Instance ID	Sélectionnez l'ID de l'instance de destination PolarDB-X 2,0.
	Database Account	Saisissez le compte de base de données pour l'instance de destination PolarDB-X 2,0. Le compte doit disposer d'autorisations en lecture et en écriture.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

Remarque
Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.

Configurez les objets de la tâche.

Sur la page Configure Objects, configurez les objets à synchroniser.

Paramètre	Description
Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la prévérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure des données.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors : Vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la prévérification réussit. Si une table portant le même nom existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : Ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Pendant la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Pendant la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
Synchronization Topology	Sélectionnez One-way Synchronization.
Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des bases de données, des tables et des colonnes comme objets de synchronisation. Si vous sélectionnez des tables ou des colonnes, d'autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance de destination, cliquez avec le bouton droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez la rubrique Mapper une seule base de données, table ou colonne. Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper des bases de données, tables et colonnes par lot. Remarque Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, cliquez avec le bouton droit sur l'objet de synchronisation dans la zone Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche. Pour la liste des opérations prises en charge, consultez la section Opérations SQL prises en charge. Pour définir une clause WHERE afin de filtrer les données, cliquez avec le bouton droit sur la table à synchroniser dans la zone Selected Objects et définissez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour obtenir des instructions, consultez la rubrique Filtrer les données de tâche à l'aide de conditions SQL.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Paramètre	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou destination, et que vous définissez le temps de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes sera utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Ce paramètre est facultatif.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : Les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard. No : Écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Configure ETL	Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.
Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.

Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez la rubrique Configurer la validation des données pour obtenir des instructions de configuration.

Enregistrez la tâche et exécutez une prévérification.
- Pour afficher les paramètres API permettant de configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
- Une fois que vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
Remarque
- Avant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de prévérification.
- Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la prévérification.
- Si la prévérification renvoie un avertissement :
  
  Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la prévérification.
  
  Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

Achetez l'instance.

Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

Catégorie	Paramètre	Description
New Instance Class	Méthode de facturation	Abonnement : Vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : Vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?.
	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications de lien de synchronisation de données.
	Durée d'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.