Synchronisation de données entre des instances PolarDB-X 1.0 - Data Transmission Service

PolarDB-X 1,0

Prérequis

Les instances source et destination PolarDB-X 1,0 sont créées. Créez les bases de données et les tables correspondantes dans l'instance destination PolarDB-X 1,0 en fonction de la structure des données des objets à synchroniser depuis l'instance source PolarDB-X 1,0. Pour plus d'informations, consultez les rubriques Créer une instance PolarDB-X 1,0 et Créer une base de données.

Remarque
Le type de stockage d'une instance PolarDB-X 1,0 doit être RDS for MySQL, y compris les instances RDS personnalisées et les instances RDS achetées séparément. PolarDB for MySQL n'est pas pris en charge.
L'instance destination dispose d'un espace de stockage supérieur à celui de l'instance source.

Remarques sur l'utilisation

Important

La synchronisation bidirectionnelle entre des instances PolarDB-X 1,0 n'est pas prise en charge.

Type	Description
Limitations de la base de données source	Les tables à synchroniser doivent disposer d'une clé primaire ou d'une contrainte unique afin de garantir l'unicité de chaque ligne et d'éviter les doublons dans la base de données destination. Si une table ne possède qu'une contrainte unique, la synchronisation du schéma n'est pas prise en charge pour cette table. Nous vous recommandons d'utiliser une clé primaire. La synchronisation des tables dotées d'index secondaires n'est pas prise en charge. Si vous synchronisez des données au niveau des tables et effectuez des opérations de modification telles que le mappage des noms de colonnes, une tâche de synchronisation unique prend en charge un maximum de 5 000 tables. Si vous dépassez cette limite, répartissez les tables dans plusieurs tâches ou synchronisez la base de données entière. Dans le cas contraire, une erreur de requête peut se produire lors de la soumission de la tâche. Les journaux binaires des instances ApsaraDB RDS for MySQL associées à l'instance source PolarDB-X 1,0 doivent répondre aux exigences suivantes : Activez la fonctionnalité de journalisation binaire et définissez le paramètre `binlog_row_image` sur `full`. Sinon, la prévérification échoue et la tâche de synchronisation des données ne peut pas démarrer. Pour une tâche de synchronisation incrémentielle des données, conservez les journaux binaires de la base de données source pendant au moins 24 heures. Pour une tâche incluant à la fois la synchronisation complète et incrémentielle des données, conservez les journaux binaires pendant au moins 7 jours. Vous pouvez réduire la période de rétention à 24 heures une fois la synchronisation complète des données terminée. Si DTS ne parvient pas à obtenir les journaux binaires en raison d'une période de rétention trop courte, la tâche peut échouer. Dans des cas extrêmes, cela peut entraîner une incohérence ou une perte de données. Les problèmes causés par une période de rétention des journaux binaires inférieure aux exigences de DTS ne sont pas couverts par l'accord de niveau de service (SLA) de DTS. Limitations relatives aux opérations dans la base de données source : Si vous modifiez le type de réseau de l'instance PolarDB-X 1,0 pendant la synchronisation des données, mettez à jour les informations de connexion du lien de synchronisation. Pendant la synchronisation, n'effectuez pas d'opérations sur l'instance source telles que la mise à l'échelle (par exemple, la mise à l'échelle de son instance ApsaraDB RDS for MySQL associée, ou la modification de la distribution des tables physiques correspondant aux tables logiques dans ApsaraDB RDS for MySQL, même si l'instance ApsaraDB RDS for MySQL n'est pas mise à l'échelle), la migration des tables fréquemment consultées, la modification de la clé de partitionnement ou des modifications DDL. Dans le cas contraire, la tâche de synchronisation des données échouera ou des incohérences de données surviendront. Si vous modifiez la clé de partitionnement d'une table source et que la clé primaire de la table destination correspondante n'inclut pas la clé de partitionnement, une perte de données peut se produire dans la base de données destination. Raison : Une instance PolarDB-X 1,0 possède plusieurs instances ApsaraDB RDS for MySQL qui lui sont associées. DTS maintient des liens de synchronisation indépendants pour chaque instance ApsaraDB RDS for MySQL. La modification d'une clé de partitionnement entraîne la suppression des données d'une instance ApsaraDB RDS for MySQL et leur insertion dans une autre. Étant donné que ces liens s'exécutent indépendamment, l'ordre des opérations DELETE et INSERT peut être perturbé. Si la clé primaire de la base de données destination n'inclut pas la clé de partitionnement, une opération DELETE exécutée ultérieurement peut supprimer incorrectement les données nouvellement insérées. Recommandation : Pour éviter la perte de données due à un désordre des opérations, assurez-vous que la clé primaire de la table destination inclut les colonnes de clé de partitionnement de la table source. N'effectuez pas d'opérations DDL pendant la synchronisation complète des données, car cela entraîne l'échec de la tâche. Pendant la phase de synchronisation complète, DTS interroge la base de données source et peut générer des verrous de métadonnées, ce qui peut bloquer les opérations DDL sur la source. L'instance source PolarDB-X 1,0 doit être en version 5.2 ou ultérieure. Pendant l'exécution d'une tâche de synchronisation DTS, la modification du type d'une table de diffusion dans l'instance source PolarDB-X 1,0 (par exemple, changer une table de diffusion en table régulière ou en table fragmentée) n'est pas prise en charge. Pour modifier le type de table, arrêtez d'abord la tâche de synchronisation, puis reconfigurez-la une fois la modification effectuée.
Autres limitations	La synchronisation incrémentielle des données repose sur la continuité des transactions XA dans l'instance source PolarDB-X 1,0 pour garantir la cohérence des données. Si cette continuité est interrompue, par exemple lors de la modification des objets de synchronisation ou pendant la reprise après sinistre du module de capture des données incrémentielles, les transactions XA non validées peuvent être perdues. Le stockage de PolarDB-X 1,0 doit être ApsaraDB RDS for MySQL. Cela inclut les instances RDS personnalisées en privé et les instances RDS achetées séparément. PolarDB for MySQL n'est pas pris en charge. Les instances en lecture seule de PolarDB-X 1,0 ne sont pas prises en charge. Les ressources de stockage de PolarDB-X 1,0 doivent être fragmentées horizontalement. Le fractionnement vertical n'est pas pris en charge. La synchronisation des données depuis une instance PolarDB-X 1,0 est un processus distribué. DTS crée une sous-tâche pour chaque instance ApsaraDB RDS for MySQL associée. Consultez l'état des sous-tâches sur la page Task Topology. Effectuez la synchronisation des données pendant les heures creuses. La synchronisation complète des données consomme des ressources de lecture et d'écriture sur les bases de données source et destination, ce qui augmente leur charge. La synchronisation complète des données effectue des opérations INSERT concurrentes, ce qui peut provoquer une fragmentation des tables dans la base de données destination. Par conséquent, l'espace de table destination est plus grand que celui de la source après la synchronisation complète des données. N'utilisez pas d'outils tels que pt-online-schema-change pour effectuer des modifications DDL en ligne sur les objets de synchronisation dans la base de données source. Dans le cas contraire, la tâche de synchronisation échouera. Pendant la synchronisation des données, n'écrivez pas de données dans la base de données destination à l'aide d'outils autres que DTS. Dans le cas contraire, des incohérences de données peuvent survenir. Par exemple, si vous utilisez DMS pour effectuer une modification DDL en ligne pendant que d'autres données sont écrites dans la base de données destination, une perte de données peut se produire. En cas d'échec d'une tâche, l'équipe support de DTS tentera de la restaurer dans un délai de huit heures. Pendant la restauration, elle peut redémarrer la tâche ou ajuster ses paramètres. Remarque Seuls les paramètres de la tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans la rubrique Modifier les paramètres de l'instance.

Facturation

Type de synchronisation

Frais de configuration du lien

Synchronisation complète

Gratuit.

Synchronisation incrémentielle

Payant. Pour plus d'informations, consultez la rubrique Présentation de la facturation.

Topologies de synchronisation prises en charge

Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle en cascade
Synchronisation unidirectionnelle plusieurs-à-un

Pour plus d'informations sur les topologies de synchronisation et les remarques d'utilisation, consultez la rubrique Topologies de synchronisation.

Opérations SQL prises en charge

Type d'opération	Instruction SQL
DML	INSERT, UPDATE et DELETE

Autorisations requises pour les comptes de base de données

Base de données	Autorisations requises	Méthode d'autorisation
Instance source PolarDB-X 1,0	Autorisations de lecture sur les objets à synchroniser.	Gérer les comptes
Instance destination PolarDB-X 1,0	Autorisations de lecture et d'écriture sur la base de données destination vers laquelle les objets sont synchronisés.	Gérer les comptes

Procédure

Accédez à la page de liste des tâches de synchronisation de la région destination. Utilisez l'une des deux méthodes suivantes :
Depuis la console DTS
1. Connectez-vous à la console Data Transmission Service (DTS).
2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS

Remarque
Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
1. Connectez-vous à Data Management (DMS).
2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

Configurez les bases de données source et destination.

Avertissement

Après avoir sélectionné les instances source et destination, lisez attentivement les limites affichées en haut de la page. Si vous ne respectez pas ces limites, la tâche peut échouer ou des incohérences de données peuvent survenir.

Catégorie	Paramètre	Description
N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Source Database	Database Type	Sélectionnez PolarDB-X 1,0.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance source PolarDB-X 1,0.
	Instance ID	Sélectionnez l'ID de l'instance source PolarDB-X 1,0.
	Database Account	Saisissez le compte de base de données pour l'instance source PolarDB-X 1,0. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
Destination Database	Database Type	Sélectionnez PolarDB-X 1,0.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance destination PolarDB-X 1,0.
	Instance ID	Sélectionnez l'ID de l'instance destination PolarDB-X 1,0.
	Database Account	Saisissez le compte de base de données pour l'instance destination PolarDB-X 1,0. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

Remarque
Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste blanche.

Configurez les objets de la tâche.

Sur la page Configure Objects, configurez les objets à synchroniser.

Paramètre	Description
Synchronization Types	Incremental Data Synchronization est sélectionné. Vous ne pouvez sélectionner que Full Data Synchronization. Schema Synchronization n'est pas pris en charge. Une fois la prévérification terminée, DTS synchronise les données des objets sélectionnés depuis l'instance source vers le cluster destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure des données.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors : Vérifie si une table portant le même nom existe dans la base de données destination. Si aucune table portant le même nom n'existe, la prévérification réussit. Si une table portant le même nom existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données destination, mappez-la vers un nom de table différent. Pour plus d'informations, consultez la rubrique Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : Ignore la vérification des noms de tables en double dans la base de données destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement dans la base de données destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement dans la base de données source : Pendant la synchronisation complète, DTS conserve l'enregistrement dans le cluster destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Pendant la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement dans la base de données destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
Case Sensitivity Policy for Destination Object Names	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance destination. Par défaut, la politique DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et destination. Pour plus d'informations, consultez la rubrique Politique de sensibilité à la casse pour les noms d'objets destination.
Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Nous vous recommandons de sélectionner des tables comme objets de synchronisation. Si vous sélectionnez une base de données entière, les modifications consistant à ajouter ou supprimer des tables dans cette base de données ne seront pas synchronisées vers la base de données destination.
Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez la rubrique Mapper une seule base de données, table ou colonne. Pour modifier les noms de plusieurs objets de synchronisation dans l'instance destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper des bases de données, tables et colonnes par lot. Remarque Pour sélectionner les opérations SQL à synchroniser pour une base de données ou une table spécifique, faites un clic droit sur l'objet dans la zone Selected Objects et sélectionnez les opérations SQL souhaitées. Pour filtrer les données à l'aide d'une clause WHERE, faites un clic droit sur la table à synchroniser dans la zone Selected Objects et spécifiez la condition de filtre. Pour plus d'informations, consultez la rubrique Définir des conditions de filtre.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Paramètre	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, achetez un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou destination, et que vous définissez le temps de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et destination.
Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et destination, définissez une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Sélectionnez un tag d'environnement pour identifier l'instance. Non requis pour cet exemple.
Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.
Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la section Configurer la surveillance et les alertes lors de la configuration de la tâche.

Enregistrez la tâche et exécutez une prévérification.
- Pour afficher les paramètres API de configuration de cette instance, survolez le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
- Si vous avez terminé la consultation des paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
Remarque
- Avant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de prévérification.
- Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème selon les instructions, puis exécutez à nouveau la prévérification.
- Si la prévérification renvoie un avertissement :
  
  Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la prévérification.
  
  Pour les éléments de vérification pouvant être ignorés, cliquez successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

Achetez l'instance.

Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications du lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

Catégorie	Paramètre	Description
New Instance Class	Méthode de facturation	Abonnement : Vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : Vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Libérez l'instance immédiatement après utilisation pour économiser des coûts.
	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?.
	Spécification du lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le taux de synchronisation. Choisissez une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications des liens de synchronisation des données.
	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

Consultez la progression de la tâche sur la page Data Synchronization.