Synchronize data from PolarDB for MySQL to PolarDB-X 2.0 - Data Transmission Service

Vous pouvez utiliser Data Transmission Service (DTS) pour synchroniser les données d'un cluster PolarDB for MySQL vers une instance PolarDB-X 2,0.

Prérequis

Créez une instance de destination PolarDB-X 2,0.
L'instance de destination PolarDB-X 2,0 doit disposer d'un espace de stockage supérieur à celui du cluster source PolarDB for MySQL.

Limites

Remarque

Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade sont effectuées sur la base de données source pendant l'exécution de la tâche.

Type	Description
Limites de la base de données source	Les tables à synchroniser doivent posséder une clé primaire ou une contrainte UNIQUE, et tous les champs doivent être uniques. Dans le cas contraire, des données en double peuvent apparaître dans la base de données de destination. Si vous synchronisez des données au niveau des tables et que vous devez modifier les tables (par exemple, mapper les noms de colonnes), une seule tâche de synchronisation prend en charge jusqu'à 1 000 tables. Si vous dépassez cette limite, une erreur est signalée lors de la soumission de la tâche. Pour résoudre ce problème, répartissez les tables sur plusieurs tâches de synchronisation ou synchronisez la base de données entière. Journaux binaires : Vous devez activer la journalisation binaire et définir le paramètre `loose_polar_log_bin` sur `ON`. Sinon, une erreur est signalée lors de la prévérification et l'instance DTS ne parvient pas à démarrer. Pour plus d'informations sur l'activation de la journalisation binaire et la modification des paramètres, consultez Activer la journalisation binaire et Définir les paramètres du cluster et des nœuds. Remarque L'activation de la journalisation binaire pour un cluster PolarDB for MySQL consomme de l'espace de stockage et engendre des frais. Les journaux binaires du cluster PolarDB for MySQL doivent être conservés pendant au moins 3 jours. Nous vous recommandons de les conserver pendant 7 jours. Dans le cas contraire, la tâche DTS peut échouer car DTS ne peut pas obtenir les journaux binaires. Dans les cas extrêmes, cela peut entraîner une incohérence ou une perte de données. Les problèmes causés par une période de rétention des journaux binaires inférieure à la période requise ne sont pas couverts par l'accord de niveau de service (SLA) de DTS. Remarque Pour plus d'informations sur la définition de la période de rétention des journaux binaires d'un cluster PolarDB for MySQL, consultez Modifier la période de rétention. N'exécutez pas d'opérations DDL modifiant les schémas de base de données ou de tables pendant la synchronisation du schéma ou la synchronisation complète. Dans le cas contraire, la tâche de synchronisation échoue. Remarque Lors de la synchronisation complète, DTS interroge la base de données source. Cela crée des verrous de métadonnées qui peuvent bloquer les opérations DDL sur la base de données source.
Autres limites	Exigences relatives aux objets de synchronisation : La synchronisation des données n'est pas prise en charge pour les types de données suivants : BIT, VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR, VECTOR et TXID_SNAPSHOT. Les index de préfixe ne sont pas pris en charge. Si un index de préfixe existe dans la base de données source, la tâche de synchronisation des données peut échouer. Vous ne pouvez pas synchroniser les données depuis un nœud en lecture seule du cluster source PolarDB for MySQL. Vous ne pouvez pas synchroniser les tables externes OSS depuis le cluster source PolarDB for MySQL. Si la table de destination PolarDB-X 2,0 a le partitionnement automatique activé (`auto_partition=true`), chaque instruction DDL exécutée sur la source ne peut contenir qu'une seule `alter_specification`. Dans le cas contraire, DTS signale une erreur (`TDDL-4998` : `Multi alter specifications when create GSI not support yet`). Pour exécuter une instruction DDL contenant plusieurs éléments `alter_specification`, divisez chaque `alter_specification` en une instruction DDL distincte et exécutez-les une par une. Pour plus d'informations, consultez ALTER TABLE (mode DRDS) et ALTER TABLE (mode AUTO). Le basculement principal/secondaire de l'instance de base de données n'est pas pris en charge lors de la synchronisation initiale complète des données. Si un basculement se produit, reconfigurez la tâche de synchronisation. Si votre base de données source utilise des opérations DDL en ligne en mode table temporaire, y compris mais sans s'y limiter, les scénarios de fusion de plusieurs tables, ou ajoute des index basés sur des fonctions aux colonnes de clé unique, une perte de données ou un échec de la tâche peut se produire dans la base de données de destination. Avant de synchroniser les données, évaluez les performances des bases de données source et de destination. Nous vous recommandons de synchroniser les données pendant les heures creuses. Dans le cas contraire, la synchronisation initiale complète des données consomme des ressources de lecture et d'écriture sur les deux bases de données, ce qui peut augmenter la charge de la base de données. La synchronisation initiale complète des données exécute des opérations INSERT concurrentes, ce qui provoque une fragmentation dans les tables de la base de données de destination. Par conséquent, l'espace de table de l'instance de destination est plus grand que celui de l'instance source après la synchronisation initiale complète des données. Pour la synchronisation des données au niveau des tables, n'utilisez pas d'outils tels que pt-online-schema-change pour effectuer des opérations DDL en ligne sur les objets de synchronisation dans la base de données source. Dans le cas contraire, la synchronisation échoue. Pour la synchronisation des données au niveau des tables, si aucune donnée autre que celles provenant de DTS n'est écrite dans la base de données de destination, vous pouvez utiliser Data Management (DMS) pour effectuer des opérations DDL en ligne. Pour plus d'informations, consultez Modifier les schémas sans verrouiller les tables. Pendant la synchronisation DTS, n'écrivez pas de données dans la base de données de destination à partir de sources autres que DTS. Cela peut provoquer une incohérence des données entre les bases de données source et de destination. Par exemple, si vous utilisez DMS pour effectuer une modification DDL en ligne pendant que des données externes sont écrites dans la base de données de destination, une perte de données peut survenir. Si une tâche échoue, l'équipe d'assistance DTS tentera de la restaurer dans un délai de huit heures. Lors de la restauration, elle peut redémarrer la tâche ou ajuster ses paramètres. Remarque Seuls les paramètres de la tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans Modifier les paramètres de l'instance.
Autres remarques	DTS exécute périodiquement la commande CREATE DATABASE IF NOT EXISTS `test` sur la base de données source pour faire avancer la position du journal binaire.

Facturation

Type de synchronisation

Tarification

Synchronisation du schéma et synchronisation complète des données

Gratuit.

Synchronisation incrémentielle des données

Facturé. Pour plus d'informations, consultez Présentation de la facturation.

Topologies de synchronisation

Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle plusieurs-à-un

Opérations SQL prises en charge

Type d'opération	Instruction SQL
DML	INSERT, UPDATE et DELETE
DDL	ALTER TABLE et ALTER VIEW CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE et CREATE VIEW DROP INDEX et DROP TABLE RENAME TABLE Important L'opération RENAME TABLE peut provoquer une incohérence des données. Par exemple, si l'objet de synchronisation est une table unique et que vous la renommez sur l'instance source pendant la synchronisation, les données de cette table ne sont pas synchronisées vers la base de données de destination. Pour éviter ce problème, vous pouvez configurer la tâche pour synchroniser la base de données entière contenant la table. Assurez-vous que la base de données à laquelle appartient la table, avant et après l'opération RENAME TABLE, est incluse dans les objets de synchronisation. TRUNCATE TABLE

Procédure

Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
1. Connectez-vous à la console Data Transmission Service (DTS).
2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS

Remarque
Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Simple mode et Customize the layout and style of the DMS interface.
1. Connectez-vous à Data Management (DMS).
2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

Configurez les bases de données source et de destination.

Avertissement

Après avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Le non-respect de ces limites peut entraîner l'échec de la tâche ou une incohérence des données.

Section	Parameter	Description
N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB for MySQL.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside le cluster PolarDB for MySQL source.
	PolarDB Cluster ID	Sélectionnez l'ID du cluster PolarDB for MySQL source.
	Database Account	Saisissez le compte de base de données pour le cluster PolarDB for MySQL source. Ce compte doit disposer d'autorisations de lecture sur les objets synchronisés.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
	Encryption	Sélectionnez une option en fonction de vos besoins. Pour plus d'informations, consultez la rubrique Configure SSL encryption.
Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB-X 2.0.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance PolarDB-X 2,0 de destination.
	Instance ID	Sélectionnez l'ID de l'instance PolarDB-X 2,0 de destination.
	Database Account	Saisissez le compte de base de données pour l'instance PolarDB-X 2,0 de destination. Ce compte doit disposer d'autorisations de lecture et d'écriture.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

Remarque
Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Add the IP address CIDR blocks of DTS servers to a whitelist.

Configurez les objets de la tâche.

Sur la page Configure Objects, configurez les objets à synchroniser.

Parameter	Description
Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de base de référence pour la synchronisation incrémentielle des données ultérieure.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la pré-vérification réussit. Si une table du même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : ignore la vérification des doublons de noms de tables dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des bases de données, des tables et des colonnes comme objets de synchronisation. Si vous sélectionnez des tables ou des colonnes, les autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Mapper une seule base de données, table ou colonne. Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Mapper des bases de données, tables et colonnes par lot. Remarque Pour sélectionner les opérations SQL à synchroniser pour une base de données ou une table spécifique, faites un clic droit sur l'objet dans la zone Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche. Pour filtrer les données à l'aide d'une clause WHERE, faites un clic droit sur la table dans la zone Selected Objects et définissez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Filtrer les données de tâche avec une condition SQL.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Parameter	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à réessayer la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez le temps de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le taux de synchronisation complète après le démarrage de l'instance de synchronisation.
Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Pour cet exemple, aucune sélection n'est nécessaire.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si vous souhaitez écrire les informations SQL de heartbeat dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : Les informations SQL de heartbeat ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS. No : Écrit les informations SQL de heartbeat dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Configure ETL	Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.
Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.

Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.

Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir des instructions de configuration.

Enregistrez la tâche et exécutez une pré-vérification.
- Pour afficher les paramètres API pour la configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
- Une fois que vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
Remarque
- Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
- Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.
- Si la pré-vérification renvoie un avertissement :
  
  Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.
  
  Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.

Achetez l'instance.

Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications du lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

Catégorie	Paramètre	Description
New Instance Class	Méthode de facturation	Abonnement : vous réglez le paiement lors de la création de l'instance. Cette option convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : la facturation est effectuée à l'heure. Cette option est adaptée aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après son utilisation afin de réduire les coûts.
	Configuration du groupe de ressources	Groupe de ressources auquel l'instance appartient. La valeur par défaut est « default resource group ». Pour plus d'informations, consultez Qu'est-ce que Resource Management ?.
	Spécification du lien	DTS propose des spécifications de synchronisation offrant différents niveaux de performance. La spécification du lien de synchronisation influence le débit de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Spécifications des liens de synchronisation des données.
	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance abonnée. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option n'est disponible que lorsque la méthode de facturation est définie sur Subscription.

Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.