Synchronize data from a PolarDB-X 1.0 instance to a PolarDB-X 2.0 instance - Data Transmission Service

Vous pouvez utiliser Data Transmission Service (DTS) pour synchroniser les données d'une instance PolarDB-X 1,0 vers une instance PolarDB-X 2,0.

Prérequis

L'instance source PolarDB-X 1,0 doit utiliser RDS for MySQL comme classe de stockage, y compris les instances RDS personnalisées privées et les instances RDS achetées séparément. PolarDB for MySQL n'est pas pris en charge actuellement.
Une instance de destination PolarDB-X 2,0 et une base de données destinée à recevoir les données ont été créées. Pour plus d'informations, consultez les rubriques Créer une instance (édition Starter) et Créer une base de données.
L'instance de destination doit disposer d'un espace de stockage supérieur à celui utilisé par l'instance source.

Remarques

Remarque

Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète des données et la synchronisation incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Des incohérences de données peuvent survenir si des opérations de mise à jour ou de suppression en cascade sont effectuées sur la base de données source pendant l'exécution de la tâche.

Type	Description
Limitations de la base de données source	Les tables à synchroniser doivent posséder une contrainte PRIMARY KEY ou UNIQUE. La synchronisation du schéma n'est pas prise en charge pour les tables disposant uniquement d'une contrainte UNIQUE ; utilisez plutôt une contrainte PRIMARY KEY. Les champs de clé doivent être uniques. Dans le cas contraire, des données en double peuvent apparaître dans la base de données de destination. Si vous synchronisez les données au niveau des tables et devez modifier des objets tels que les mappages de noms de tables ou de colonnes, une seule tâche de synchronisation prend en charge jusqu'à 1 000 tables. Si vous dépassez cette limite, une erreur est signalée lors de la soumission de la tâche. Pour contourner ce problème, répartissez les tables sur plusieurs tâches ou synchronisez la base de données entière. Journaux binaires des instances RDS for MySQL associées à l'instance PolarDB-X 1,0 : La journalisation binaire est activée par défaut. Pour plus d'informations, consultez la rubrique Afficher les paramètres de l'instance afin de confirmer que le paramètre binlog_row_image est défini sur full. Dans le cas contraire, une erreur est signalée lors de la pré-vérification et la tâche de synchronisation des données ne peut pas démarrer. Pour la synchronisation incrémentielle, DTS exige que les journaux binaires locaux de la base de données source soient conservés pendant plus de 24 heures. Pour la synchronisation complète et incrémentielle, les journaux binaires locaux doivent être conservés pendant au moins 7 jours. Vous pouvez modifier la période de rétention à plus de 24 heures une fois la synchronisation complète terminée. Si DTS ne parvient pas à obtenir les journaux binaires, la tâche peut échouer et, dans les cas extrêmes, entraîner une incohérence ou une perte de données. Les problèmes causés par une rétention insuffisante des journaux binaires ne sont pas couverts par l'accord de niveau de service (SLA) de DTS. Limitations des opérations sur la base de données source : Pour changer le type de réseau de l'instance PolarDB-X 1,0 pendant la synchronisation, mettez à jour les informations de connexion réseau du lien de synchronisation après la réussite du changement. Pendant la synchronisation, n'effectuez pas d'opérations sur l'instance source telles que la mise à l'échelle (par exemple, la mise à l'échelle de son instance ApsaraDB RDS for MySQL associée, ou la modification de la distribution des tables physiques correspondant aux tables logiques dans ApsaraDB RDS for MySQL, même si l'instance ApsaraDB RDS for MySQL n'est pas mise à l'échelle), la migration des tables fréquemment utilisées, la modification de la clé de sharding ou des modifications DDL. Dans le cas contraire, la tâche de synchronisation des données échouera ou des incohérences de données surviendront. Si vous modifiez la clé de partition d'une table source et que la clé primaire de la table de destination correspondante n'inclut pas la clé de partition, une perte de données peut se produire dans la base de données de destination. Raison : Une instance PolarDB-X 1,0 possède plusieurs instances ApsaraDB RDS for MySQL qui lui sont associées. DTS maintient des liens de synchronisation indépendants pour chaque instance ApsaraDB RDS for MySQL. La modification d'une clé de partition entraîne la suppression des données d'une instance ApsaraDB RDS for MySQL et leur insertion dans une autre. Étant donné que ces liens s'exécutent indépendamment, l'ordre des opérations DELETE et INSERT peut être perturbé. Si la clé primaire de la base de données de destination n'inclut pas la clé de partition, une opération DELETE exécutée ultérieurement peut supprimer incorrectement les données nouvellement insérées. Recommandation : Pour éviter la perte de données due à un désordre des opérations, assurez-vous que la clé primaire de la table de destination inclut les colonnes de clé de partition de la table source. Si vous effectuez uniquement une synchronisation complète des données, n'écrivez pas de nouvelles données dans l'instance source. Dans le cas contraire, une incohérence de données se produit entre la source et la destination. Pour maintenir la cohérence des données en temps réel, sélectionnez la synchronisation du schéma, la synchronisation complète des données et la synchronisation incrémentielle des données. N'exécutez pas d'opérations DDL modifiant les schémas de base de données ou de tables pendant la synchronisation du schéma ou la synchronisation complète. Dans le cas contraire, la tâche de synchronisation échoue. Remarque Pendant la synchronisation complète, DTS interroge la base de données source. Cela crée des verrous de métadonnées qui peuvent bloquer les opérations DDL sur la base de données source. L'instance source PolarDB-X 1,0 doit être en version 5.2 ou ultérieure.
Autres limitations	Le type de stockage de l'instance PolarDB-X 1,0 doit être RDS for MySQL, y compris les instances RDS personnalisées privées et les instances RDS achetées séparément. PolarDB for MySQL n'est pas pris en charge. Les tâches de synchronisation pour PolarDB-X 1,0 sont distribuées. Chaque instance RDS for MySQL associée correspond à une sous-tâche de synchronisation. Vous pouvez afficher l'état des sous-tâches sur la page Task Topology. La synchronisation incrémentielle des données repose sur la continuité des transactions XA dans l'instance source PolarDB-X 1,0 pour garantir la cohérence des données. Si cette continuité est interrompue, par exemple lors de la modification des objets de synchronisation ou pendant la récupération après sinistre du module de capture des données incrémentielles, les transactions XA non validées peuvent être perdues. Évaluez les performances des bases de données source et de destination et synchronisez les données pendant les heures creuses. Lors de la synchronisation complète des données, DTS consomme des ressources de lecture et d'écriture sur les deux bases de données, ce qui peut augmenter la charge. La synchronisation complète des données exécute des opérations INSERT concurrentes, ce qui provoque une fragmentation dans les tables de destination. Par conséquent, les tables de destination utilisent plus d'espace de stockage que les tables source après la synchronisation complète. Vérifiez que la précision de synchronisation utilisée par DTS pour les colonnes FLOAT ou DOUBLE répond à vos besoins métier. DTS lit les valeurs de ces types de données en utilisant `ROUND(COLUMN,PRECISION)`. Si vous ne spécifiez pas de précision, DTS utilise 38 chiffres pour les colonnes FLOAT et 308 chiffres pour les colonnes DOUBLE. DTS tente de reprendre les tâches de synchronisation ayant échoué dans un délai de sept jours. Avant de basculer les services vers l'instance de destination, terminez ou libérez la tâche, ou utilisez la commande `revoke` pour révoquer les autorisations d'écriture du compte DTS sur l'instance de destination. Dans le cas contraire, les données de l'instance source écraseront les données de l'instance de destination lorsque la tâche reprendra automatiquement. En cas d'échec d'une tâche, l'équipe support de DTS tentera de la restaurer dans un délai de huit heures. Lors de la restauration, ils peuvent redémarrer la tâche ou ajuster ses paramètres. Remarque Seuls les paramètres de tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans la rubrique Modifier les paramètres de l'instance. Si la table de destination PolarDB-X 2,0 a le partitionnement automatique activé (`auto_partition=true`), chaque instruction DDL exécutée sur la source ne peut contenir qu'une seule `alter_specification`. Dans le cas contraire, DTS signale une erreur (`TDDL-4998` : `Multi alter specifications when create GSI not support yet`). Pour exécuter une instruction DDL contenant plusieurs éléments `alter_specification`, divisez chaque `alter_specification` en une instruction DDL distincte et exécutez-les une par une. Pour plus d'informations, consultez les rubriques ALTER TABLE (mode DRDS) et ALTER TABLE (mode AUTO).

Facturation

Type de synchronisation

Tarification

Synchronisation du schéma et synchronisation complète des données

Gratuit.

Synchronisation incrémentielle des données

Facturé. Pour plus d'informations, consultez la rubrique Présentation de la facturation.

Opérations SQL prises en charge pour la synchronisation incrémentielle

Type d'opération	Opérations SQL
DML	INSERT, UPDATE, DELETE

Autorisations requises pour les comptes de base de données

Base de données

Autorisations requises

Méthode pour créer un compte et accorder des autorisations

Instance source PolarDB-X 1,0

Autorisation de lecture sur les objets de synchronisation.

Gestion des comptes

Instance de destination PolarDB-X 2,0

Autorisations de lecture et d'écriture sur la base de données de destination contenant les objets de synchronisation.

Gérer les comptes de base de données

Précautions

Procédure

Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
1. Connectez-vous à la .
2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS

Remarque
Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
1. Connectez-vous à .
2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

Configurez les bases de données source et de destination.

Catégorie	Configuration	Description
Aucune	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database	Select Existing Connection	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB-X 1.0.
	Access Method	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance PolarDB-X 1,0 source.
	Replicate Data Across Alibaba Cloud Accounts	Dans cet exemple, les données sont synchronisées entre des instances appartenant au même compte Alibaba Cloud. Sélectionnez No.
	Instance ID	Sélectionnez l'ID de l'instance PolarDB-X 1,0 source.
	Database Account	Saisissez le compte de base de données de l'instance PolarDB-X 1,0 source.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
Destination Database	Select Existing Connection	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB-X 2.0.
	Access Method	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance PolarDB-X 2,0 de destination.
	Instance ID	Sélectionnez l'ID de l'instance PolarDB-X 2,0 de destination.
	Database Account	Saisissez le compte de base de données de l'instance PolarDB-X 2,0 de destination.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

Remarque
Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.

Configurez les objets de la tâche.

Sur la page Configure Objects, configurez les objets à synchroniser.

Configuration	Description
Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle des données ultérieure.
Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes qui sont synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez la rubrique Politique de sensibilité à la casse pour les noms d'objets de destination.
Source Objects	Dans la zone Source Objects, sélectionnez l'objet que vous souhaitez synchroniser, puis cliquez sur l'icône pour le déplacer vers la zone Selected Objects. Remarque Nous vous recommandons de sélectionner des tables comme objets de synchronisation. Si vous sélectionnez une base de données entière, les modifications consistant à ajouter ou supprimer des tables dans cette base de données ne sont pas synchronisées vers la base de données de destination.
Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance de destination, cliquez avec le bouton droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez la rubrique Mapper une seule base de données, table ou colonne. Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper des bases de données, des tables et des colonnes par lot. Remarque Pour définir une clause WHERE afin de filtrer les données, cliquez avec le bouton droit sur la table dans la zone Selected Objects et définissez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations sur la définition de la condition, consultez la rubrique Filtrer les données de tâche avec une condition SQL. Si vous utilisez le mappage de noms d'objets, la synchronisation d'autres objets qui dépendent de l'objet mappé peut échouer.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Configuration	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à réessayer la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et commence immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète après le démarrage de l'instance de synchronisation.
Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Sélectionnez un tag d'environnement pour identifier l'instance si nécessaire.
Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : désactive la fonctionnalité ETL.
Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

Enregistrez la tâche et exécutez une pré-vérification.
- Pour afficher les paramètres API pour la configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
- Si vous avez terminé la consultation des paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
Remarque
- Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
- Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.
- Si la pré-vérification renvoie un avertissement :
  
  Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.
  
  Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.

Achetez l'instance.

Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

Catégorie	Paramètre	Description
New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?.
	Spécifications de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. Les spécifications de lien de synchronisation affectent le débit de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications de lien de synchronisation de données.
	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

Une fois la configuration terminée, lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.