Data Transmission Service:Synchroniser des données d'une instance ApsaraDB RDS for MySQL vers une instance PolarDB-X 1,0

ApsaraDB RDS for MySQL

La journalisation binaire est activée par défaut sur les instances ApsaraDB RDS for MySQL. Assurez-vous que :

• Le paramètre binlog_row_image est défini sur full. Si ce n'est pas le cas, une erreur de pré-vérification se produit et la tâche ne peut pas démarrer. Consultez Définir les paramètres de l'instance.

• Les journaux binaires locaux sont conservés pendant au moins 3 jours (7 jours recommandés). Si les journaux sont purgés avant que DTS ne puisse les lire, la tâche échoue. Dans des cas extrêmes, une perte de données ou une incohérence peut survenir. Les tâches qui échouent en raison d'une rétention insuffisante des journaux ne sont pas couvertes par l'accord de niveau de service (SLA) de DTS. Pour définir la Retention Period des journaux binaires locaux, consultez Supprimer automatiquement les journaux locaux.

Les instances en lecture seule ApsaraDB RDS for MySQL 5.6 n'enregistrent pas les journaux de transactions et ne peuvent pas être utilisées comme base de données source.

MySQL autogéré

Pour une base de données MySQL autogérée, configurez les paramètres suivants :

Conservez les journaux binaires pendant au moins 7 jours. Si les journaux sont purgés avant que DTS ne puisse les lire, la tâche échoue, et les problèmes causés par une rétention insuffisante des journaux ne sont pas couverts par le SLA de DTS.

Exigences supplémentaires :

• Architecture primaire/primaire : Activez le paramètre log_slave_updates afin que DTS puisse obtenir tous les journaux binaires des deux nœuds. Consultez Créer un compte de base de données pour une base de données MySQL autogérée et configurer la journalisation binaire.

• Amazon Aurora MySQL ou instances en mode cluster : Assurez-vous que le nom de domaine ou l'adresse IP configuré pour la tâche pointe toujours vers le nœud en lecture/écriture (RW). Sinon, la tâche risque de ne pas s'exécuter correctement.

Limites de la base de données source

• Le serveur sur lequel la base de données source est déployée doit disposer d'une bande passante sortante suffisante. Une bande passante insuffisante réduit la vitesse de synchronisation.

• Les tables à synchroniser doivent posséder une clé primaire ou une contrainte UNIQUE avec des valeurs de champ uniques. Les tables dépourvues de ces contraintes peuvent générer des données en double dans la destination.

• Seules les tables peuvent être sélectionnées comme objets de synchronisation.

• Lors de l'utilisation du mappage de noms d'objets (par exemple, pour mapper les noms de tables ou de colonnes), une seule tâche prend en charge un maximum de 1 000 tables. Pour synchroniser plus de 1 000 tables avec mappage de noms, répartissez-les sur plusieurs tâches.

• La classe de stockage de l'instance PolarDB-X 1,0 doit être RDS MySQL (une instance RDS privée personnalisée). PolarDB MySQL n'est pas pris en charge.

• N'effectuez pas d'opérations DDL pendant la synchronisation complète des données, car cela entraînerait l'échec de la tâche.

  Pendant la phase de synchronisation complète, DTS interroge la base de données source et peut générer des verrous de métadonnées, ce qui peut bloquer les opérations DDL sur la source.

• Les modifications de données résultant d'opérations non enregistrées dans les journaux binaires ne sont pas synchronisées. Cela inclut la récupération de données à l'aide de sauvegardes physiques et les opérations en cascade.

  Si cela se produit, supprimez la base de données ou la table concernée des objets de synchronisation, puis ajoutez-la à nouveau, si votre activité le permet. Consultez Modifier les objets à synchroniser .

• Colonnes invisibles (MySQL 8.0.23 et versions ultérieures) : Si les données à synchroniser contiennent des colonnes invisibles, DTS ne peut pas obtenir les données de ces colonnes, ce qui peut entraîner une perte de données. Exécutez la commande suivante pour rendre les colonnes invisibles visibles :

  ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;

  Les tables sans clé primaire génèrent automatiquement une clé primaire invisible, qui doit également être rendue visible. Consultez Colonnes invisibles et Clés primaires invisibles générées.

• Si la table PolarDB-X 1,0 de destination a le partitionnement automatique activé (auto_partition=true), chaque instruction DDL exécutée sur la source ne peut contenir qu'une seule alter_specification. Sinon, DTS signale une erreur (TDDL-4998 : Multi alter specifications when create GSI not support yet). Pour exécuter une instruction DDL contenant plusieurs éléments alter_specification, divisez chaque alter_specification en une instruction DDL distincte et exécutez-les une par une. Pour plus d'informations, consultez ALTER TABLE.

Autres limites

• EncDB (toujours confidentiel) : La synchronisation complète des données n'est pas prise en charge lorsque la fonctionnalité toujours confidentiel (EncDB) est activée sur l'instance RDS MySQL source.

  Les instances avec le chiffrement transparent des données (TDE) activé prennent en charge la synchronisation du schéma, la synchronisation complète des données et la synchronisation incrémentielle des données.

• Si vous effectuez des opérations DDL en ligne utilisant des tables temporaires dans la base de données source, telles que la fusion de plusieurs tables, des données peuvent être perdues dans la base de données de destination ou l'instance DTS peut échouer.

• N'utilisez pas d'outils tels que pt-online-schema-change pour effectuer des opérations DDL en ligne sur les objets en cours de synchronisation, car cela entraînerait l'échec de la tâche.

• L'écriture de données provenant d'autres sources dans la base de données de destination pendant la synchronisation peut provoquer une incohérence des données.

• Évaluez l'impact sur les performances des bases de données source et de destination avant de démarrer la synchronisation. Exécutez les tâches de synchronisation pendant les heures creuses lorsque cela est possible. La synchronisation complète des données utilise les ressources de lecture et d'écriture des deux bases de données et peut augmenter la charge du serveur.

• Une fois la synchronisation complète des données terminée, les opérations INSERT concurrentes peuvent provoquer une fragmentation dans les tables de destination. L'espace table utilisé de la base de données de destination peut être supérieur à celui de la base de données source.

• Si une instance DTS échoue, l'équipe d'assistance DTS tentera de la récupérer dans un délai de 8 heures. Les opérations de récupération peuvent inclure le redémarrage de l'instance ou l'ajustement des paramètres de l'instance DTS (et non des paramètres de la base de données). Consultez Modifier les paramètres de l'instance.

Cas particuliers pour les sources MySQL autogérées

• Si un basculement primaire/secondaire se produit dans la base de données source pendant la synchronisation, la tâche échoue.

• La latence de synchronisation est calculée à partir de la différence entre l'horodatage actuel et l'horodatage du dernier enregistrement de données synchronisé. Si aucune opération DML n'est effectuée sur la base de données source pendant une longue période, la latence affichée peut être inexacte. Effectuez une opération DML sur la source pour mettre à jour la valeur de latence.

  Si vous choisissez de synchroniser l'intégralité de la base de données, créez une table de heartbeat. DTS met à jour ou écrit dans la table de heartbeat chaque seconde pour maintenir la précision de la lecture de la latence.

• DTS exécute périodiquement CREATE DATABASE IF NOT EXISTS sur la base de données source pour faire avancer le décalage du journal binaire.

Cas particuliers pour les sources ApsaraDB RDS for MySQL

• Les instances ApsaraDB RDS for MySQL qui n'enregistrent pas les journaux de transactions, telles que les instances en lecture seule d'ApsaraDB RDS for MySQL 5.6, ne peuvent pas être utilisées comme base de données source.

• DTS exécute périodiquement CREATE DATABASE IF NOT EXISTS sur la base de données source pour faire avancer le décalage du journal binaire.

Étape 1 : Accédez à la page Synchronisation des données

Utilisez soit la console DTS, soit la console DMS.

Étape 2 : Configurez les bases de données source et de destination

1. Cliquez sur Create Task.

2. Sur la page de configuration de la tâche, définissez les paramètres suivants.

Général

Base de données source

Base de données de destination

1. Cliquez sur Test Connectivity and Proceed.

Assurez-vous que les blocs CIDR du serveur DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination. Consultez Ajouter les adresses IP des serveurs DTS à une liste d'autorisation . Si la base de données source ou de destination est une base de données autogérée non accessible via Alibaba Cloud Instance , cliquez sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers .

Étape 3 : Configurez les objets de synchronisation

À l'étape Configure Objects, définissez les paramètres suivants.

Cliquez sur Next: Advanced Settings.

Étape 4 : Configurez les paramètres avancés

Étape 5 : Exécutez la pré-vérification

Cliquez sur Next: Save Task Settings and Precheck.

Pour afficher les paramètres API pour cette configuration de tâche, survolez Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters .

La tâche exécute une pré-vérification avant de démarrer. La tâche ne peut démarrer qu'après la réussite de la pré-vérification.

• Si un élément échoue, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème et cliquez sur Precheck Again.

• Si un élément déclenche une alerte pouvant être ignorée, cliquez sur Confirm Alert Details, puis cliquez sur Ignore > OK > Precheck Again. Ignorer les éléments d'alerte peut provoquer une incohérence des données.

Étape 6 : Achetez l'instance

1. Attendez que le Success Rate atteigne 100%, puis cliquez sur Next: Purchase Instance.

2. Sur la page d'achat, configurez les paramètres suivants.

1. Lisez et sélectionnez Data Transmission Service (Pay-as-you-go) Service Terms.

2. Cliquez sur Buy and Start, puis cliquez sur OK pour confirmer.

La tâche apparaît dans la liste des tâches. Surveillez sa progression à cet endroit.