Data Transmission Service:Synchroniser les données d'un cluster PolarDB for MySQL vers une instance SelectDB

Base de données source

• Tables avec clés primaires ou contraintes uniques : tous les champs de la destination doivent être uniques ; sinon, la destination peut contenir des données en double.

• Tables sans clés primaires ni contraintes uniques : sélectionnez Schema Synchronization pour Types de synchronisation et duplicate pour Moteur à l'étape Configurations pour les bases de données, les tables et les colonnes.

• Lorsque vous sélectionnez des tables (et non des bases de données entières) comme objets de synchronisation, une seule tâche prend en charge jusqu'à 1 000 tables. Pour plus de 1 000 tables, configurez plusieurs tâches ou effectuez la synchronisation au niveau de la base de données.

• N'effectuez pas d'opérations LDD (Language Definition Language) modifiant les schémas lors de la synchronisation initiale du schéma ou de la synchronisation initiale des données complètes. Pendant la synchronisation complète des données, DTS interroge la base de données source, ce qui crée des verrous de métadonnées susceptibles de bloquer les opérations LDD.

• Les modifications de données non enregistrées dans les journaux binaires — telles que les données restaurées à partir d'une sauvegarde physique ou générées par des opérations en cascade — ne sont pas synchronisées vers la destination. Si cela se produit, retirez la base de données ou la table concernée des objets de synchronisation, puis ajoutez-la à nouveau. Consultez la rubrique Modifier les objets à synchroniser.

Objets et opérations non pris en charge

• Les nœuds en lecture seule du cluster PolarDB for MySQL source ne sont pas synchronisés.

• Les tables externes OSS du cluster source ne sont pas synchronisées.

• INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER et FK ne sont pas synchronisés.

• Le basculement primaire/secondaire n'est pas pris en charge pendant la synchronisation complète. Si un basculement se produit, reconfigurez la tâche.

• Vous ne pouvez pas modifier la LDD sur plusieurs colonnes à la fois ni modifier la LDD sur la même table de manière consécutive.

• Les modifications LDD en ligne utilisant pt-online-schema-change ne sont pas prises en charge. Si de telles modifications existent sur la source, une perte de données peut survenir ou l'instance de synchronisation peut échouer.

• La synchronisation des données de type VECTOR n'est pas prise en charge.

Contraintes de destination

• Seuls le modèle Unique Key et le modèle Duplicate Key sont pris en charge dans l'instance SelectDB de destination.

• Les noms de base de données et de table dans SelectDB doivent commencer par une lettre. Utilisez la fonctionnalité de mappage de nom d'objet pour renommer ceux qui ne respectent pas cette règle.

• Si un nom de base de données, de table ou de colonne contient des caractères chinois, utilisez la fonctionnalité de mappage de nom d'objet pour le renommer (par exemple, en un équivalent anglais). Sinon, la tâche peut échouer.

• Ne créez pas de clusters dans l'instance SelectDB de destination pendant la synchronisation. Si la tâche échoue pour cette raison, redémarrez l'instance de synchronisation des données pour reprendre.

• N'ajoutez pas de nœuds backend à l'instance SelectDB de destination pendant la synchronisation. Si la tâche échoue pour cette raison, redémarrez l'instance de synchronisation des données pour reprendre.

• Seul le paramètre bucket_count peut être spécifié dans la section Selected Objects. La valeur doit être un entier positif. Valeur par défaut : auto.

• Dans les scénarios de fusion multi-tables où les données de plusieurs tables sources sont synchronisées vers la même table de destination, toutes les tables sources doivent avoir le même schéma. Des schémas incompatibles peuvent entraîner une incohérence des données ou l'échec de la tâche.

• Dans PolarDB for MySQL, M dans VARCHAR(M) représente la longueur en caractères. Dans SelectDB, N dans VARCHAR(N) représente la longueur en octets. Si vous n'utilisez pas la synchronisation de schéma DTS, définissez les longueurs des champs VARCHAR de SelectDB sur quatre fois les longueurs des champs VARCHAR correspondants de PolarDB for MySQL.

• Lorsque vous utilisez DMS ou gh-ost pour effectuer des modifications LDD en ligne sur la source, DTS ne synchronise que la LDD d'origine vers la destination. Cela peut provoquer des verrouillages de table au niveau de la destination.

• Si des données sont écrites dans la base de données de destination à partir de sources autres que DTS pendant la synchronisation, des incohérences de données peuvent survenir.

• DTS exécute CREATE DATABASE IF NOT EXISTS \ test\`` dans la base de données source à intervalles réguliers pour faire avancer la position du journal binaire.

• Pendant la synchronisation incrémentielle, DTS utilise une stratégie par lots qui écrit les données pour chaque objet de synchronisation au maximum une fois toutes les 5 secondes. Il en résulte une latence de synchronisation normale inférieure à 10 secondes. Pour réduire cette latence, ajustez le paramètre selectdb.reservoir.timeout.milliseconds dans la console DTS. La plage autorisée est de 1 000 à 10 000 millisecondes. Des valeurs plus faibles augmentent la fréquence d'écriture, ce qui peut accroître la charge et le temps de réponse (RT) de la destination.

• En cas d'échec d'une instance DTS, l'équipe d'assistance DTS tente une récupération sous 8 heures. Pendant la récupération, l'instance peut être redémarrée ou ses paramètres ajustés. Pour connaître les paramètres susceptibles d'être modifiés, consultez la rubrique Modifier les paramètres d'une instance.

• Avant de synchroniser les données, évaluez les performances des deux bases de données et exécutez la synchronisation pendant les heures creuses. La synchronisation initiale des données complètes exécute des opérations INSERT concurrentes, ce qui augmente la charge sur les deux bases de données et provoque une fragmentation des tables dans la destination, entraînant un espace table plus grand que dans la source.

Modèle Unique Key

Toutes les clés uniques de la table de destination doivent exister dans la table source et être incluses dans les objets de synchronisation. Dans le cas contraire, des incohérences de données peuvent survenir.

Modèle Duplicate Key

Des données en double peuvent apparaître dans la destination si l'un des événements suivants se produit :

• Une opération de nouvelle tentative dans une instance de synchronisation des données

• Deux opérations LMD (Language Manipulation Data) ou plus sur la même ligne après le démarrage de l'instance de synchronisation

Pour dédupliquer les données, utilisez les colonnes supplémentaires _is_deleted, _version et _record_id. Pour plus de détails sur les colonnes, consultez la section Informations sur les colonnes supplémentaires.

Pour les tables du modèle Duplicate Key, DTS convertit les instructions UPDATE et DELETE en instructions INSERT.

Étape 1 : Accédez à la page Synchronisation des données

Utilisez l'une des méthodes suivantes pour ouvrir la page Synchronisation des données.

Console DTS

1. Connectez-vous à la console DTS.

2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

3. Dans le coin supérieur gauche, sélectionnez la région où réside l'instance de synchronisation des données.

Console Data Management (DMS)

Le chemin de navigation exact peut varier selon le mode et la disposition de la console DMS. Consultez les rubriques Mode simple et Personnaliser la disposition et le style de la console DMS .

1. Connectez-vous à la console DMS.

2. Dans la barre de navigation supérieure, placez le pointeur sur Data + AI et choisissez DTS (DTS) > Data Synchronization.

3. Dans la liste déroulante à droite de Tâches de synchronisation des données, sélectionnez la région où réside l'instance.

Étape 2 : Configurer les bases de données source et de destination

1. Cliquez sur Create Task.

2. Configurez le nom de la tâche et la base de données source.

   Paramètre	Description
   Task Name	DTS génère automatiquement un nom. Spécifiez un nom descriptif pour faciliter l'identification de la tâche. Le nom n'a pas besoin d'être unique.
   Select Existing Connection (source)	Si l'instance source est enregistrée auprès de DTS, sélectionnez-la dans la liste. DTS renseigne automatiquement les paramètres de connexion. Sinon, configurez les paramètres manuellement. Consultez la rubrique Gérer les connexions à la base de données.
   Database Type	Sélectionnez PolarDB for MySQL.
   Access Method	Sélectionnez Alibaba Cloud Instance.
   Instance Region	Sélectionnez la région où réside le cluster PolarDB for MySQL source.
   Replicate Data Across Alibaba Cloud Accounts	Sélectionnez No pour synchroniser au sein du même compte Alibaba Cloud.
   PolarDB Cluster ID	Sélectionnez l'ID du cluster PolarDB for MySQL source.
   Database Account	Saisissez le compte du cluster source. Consultez la section Autorisations requises pour les comptes de base de données.
   Database Password	Saisissez le mot de passe du compte de base de données.
   Encryption	Sélectionnez une méthode de chiffrement si nécessaire. Pour le chiffrement SSL (Secure Sockets Layer), consultez la rubrique Configurer le chiffrement SSL.

3. Configurez la base de données de destination.

   Paramètre	Description
   Select Existing Connection (destination)	Si l'instance de destination est enregistrée auprès de DTS, sélectionnez-la dans la liste. DTS renseigne automatiquement les paramètres de connexion. Sinon, configurez les paramètres manuellement. Consultez la rubrique Gérer les connexions à la base de données.
   Database Type	Sélectionnez SelectDB.
   Access Method	Sélectionnez Alibaba Cloud Instance.
   Instance Region	Sélectionnez la région où réside l'instance SelectDB de destination.
   Replicate Data Across Alibaba Cloud Accounts	Sélectionnez No pour synchroniser au sein du même compte Alibaba Cloud.
   Instance ID	Sélectionnez l'ID de l'instance SelectDB de destination.
   Database Account	Saisissez le compte de l'instance de destination. Consultez la section Autorisations requises pour les comptes de base de données.
   Database Password	Saisissez le mot de passe du compte de base de données.

4. Cliquez sur Test Connectivity and Proceed.

   Les blocs CIDR du serveur DTS doivent être ajoutés aux paramètres de sécurité des bases de données source et de destination. DTS peut les ajouter automatiquement, ou vous pouvez les ajouter manuellement. Consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste blanche . Si la Méthode d'accès de la base de données source ou de destination n'est pas Instance Alibaba Cloud , cliquez sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers .

Étape 3 : Configurer les objets de synchronisation

1. À l'étape Configurer les objets, définissez les paramètres suivants.

   Paramètre	Description
   Synchronization Types	Par défaut, Synchronisation incrémentielle des données est sélectionné. Sélectionnez également Schema Synchronization et Synchronisation complète des données. Après la prévérification, DTS synchronise les données historiques de la source vers la destination comme base pour la synchronisation incrémentielle ultérieure. Important Lors de la synchronisation de PolarDB for MySQL vers SelectDB, les types de données sont convertis. Si vous ne sélectionnez pas Schema Synchronization, créez à l'avance des tables de modèle Unique ou Duplicate avec des schémas appropriés dans l'instance SelectDB de destination. Consultez les sections Mappages de types de données, Informations sur les colonnes supplémentaires et Modèles de données.
   Processing Mode of Conflicting Tables	Prévérification et signaler les erreurs : vérifie la présence de tables portant le même nom dans la destination. En cas de conflit, une erreur est signalée lors de la prévérification et la tâche ne démarre pas. Pour résoudre les conflits sans supprimer ni renommer la table de destination, utilisez la fonctionnalité de mappage de nom d'objet. Consultez la rubrique Mapper les noms de bases de données, de tables et de colonnes. Ignorer les erreurs et continuer : ignore la vérification. Avertissement Cela peut entraîner une incohérence des données. Si les schémas correspondent, DTS écrase les enregistrements de destination ayant la même clé primaire ou clé unique. Si les schémas diffèrent, l'initialisation des données peut échouer ou seules certaines colonnes peuvent être synchronisées.
   Capitalization of Object Names in Destination Instance	Contrôle la casse des noms de bases de données, de tables et de colonnes dans la destination. Par défaut : Stratégie par défaut de DTS. Consultez la rubrique Spécifier la casse des noms d'objets dans l'instance de destination.
   Source Objects	Sélectionnez un ou plusieurs objets et cliquez sur l'icône pour les déplacer vers Objets sélectionnés. Vous pouvez sélectionner des bases de données ou des tables.
   Selected Objects	Pour renommer un objet de synchronisation, faites un clic droit dessus. Consultez la rubrique Mapper le nom d'un seul objet. Si Synchronisation du schéma est sélectionné, faites un clic droit sur une table dans Selected Objects, définissez Enable Parameter Settings sur Oui, spécifiez une valeur pour bucket_count et cliquez sur OK. Pour filtrer les opérations SQL ou les lignes pour un objet spécifique, faites un clic droit dessus et configurez les options. Pour le filtrage des lignes, consultez la rubrique Spécifier les conditions de filtrage. Remarque Le renommage d'un objet avec la fonctionnalité de mappage de nom d'objet peut empêcher la synchronisation des objets dépendants.

2. Cliquez sur Next: Advanced Settings et configurez les paramètres suivants.

   Paramètre	Description
   Dedicated Cluster for Task Scheduling	Par défaut, la tâche est planifiée sur le cluster partagé. Pour une stabilité accrue, achetez un cluster dédié. Consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
   Retry Time for Failed Connections	Durée pendant laquelle DTS effectue des nouvelles tentatives si la connexion à la base de données source ou de destination échoue après le démarrage de la tâche. Plage valide : 10–1 440 minutes. Par défaut : 720 minutes. Définissez une valeur supérieure à 30 minutes. Si DTS se reconnecte dans le délai de nouvelle tentative, la tâche reprend. Sinon, la tâche échoue. Remarque Si plusieurs tâches partagent la même base de données source ou de destination, le délai de nouvelle tentative le plus court est prioritaire. Les frais DTS s'appliquent pendant la période de nouvelle tentative.
   Retry Time for Other Issues	Durée pendant laquelle DTS effectue des nouvelles tentatives pour les opérations LDD ou LMD ayant échoué. Plage valide : 1–1 440 minutes. Par défaut : 10 minutes. Définissez une valeur supérieure à 10 minutes. Cette valeur doit être inférieure au Délai de nouvelle tentative en cas d'échec de connexion.
   Enable Throttling for Full Data Synchronization	Limite l'utilisation des ressources de lecture/écriture pendant la synchronisation complète des données. Lorsqu'elle est activée, configurez Queries per second (QPS) to the source database, RPS de la migration complète des données et Vitesse de migration des données pour la migration complète (Mo/s). Disponible uniquement si Synchronisation complète des données est sélectionné.
   Enable Throttling for Incremental Data Synchronization	Limite l'utilisation des ressources pendant la synchronisation incrémentielle. Lorsqu'elle est activée, configurez RPS of Incremental Data Synchronization et Vitesse de synchronisation des données pour la synchronisation incrémentielle (Mo/s).
   Environment Tag	Sélectionnez éventuellement un tag pour identifier l'instance.
   Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Contrôle si DTS écrit les opérations SQL de la table de heartbeat dans la base de données source. Oui : n'écrit pas les opérations de heartbeat (une latence peut s'afficher pour l'instance DTS). Non : écrit les opérations de heartbeat (peut affecter des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source).
   Configure ETL	Active la fonctionnalité ETL (Extract, Transform, Load). Consultez la rubrique Qu'est-ce que l'ETL ? Oui : configurez l'ETL avec des instructions de traitement des données. Consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation des données. Non : ignorez la configuration ETL.
   Monitoring and Alerting	Configure des alertes en cas d'échec de la tâche ou si la latence de synchronisation dépasse un seuil. Oui : configurez le seuil d'alerte et les paramètres de notification. Consultez la rubrique Configurer la surveillance et les alertes lors de la création d'une tâche DTS. Non : les alertes sont désactivées.

3. (Facultatif) Cliquez sur Next: Configure Database and Table Fields. Dans la boîte de dialogue, spécifiez Colonne de clé primaire, Clé de distribution et Moteur pour les tables à synchroniser.

   Cette étape est disponible uniquement si Synchronisation du schéma est sélectionné. Définissez Definition Status sur Tous pour afficher et modifier toutes les tables. Vous pouvez sélectionner plusieurs colonnes pour Colonne de clé primaire . Une ou plusieurs de ces colonnes peuvent être utilisées pour Clé de distribution . Pour les tables sans clés primaires ni contraintes uniques, sélectionnez duplicate pour Moteur . Sinon, la tâche peut échouer ou des pertes de données peuvent survenir.

Étape 4 : Exécuter la prévérification

1. Cliquez sur Next: Save Task Settings and Precheck. Pour prévisualiser les paramètres API pour cette configuration de tâche, survolez le bouton et cliquez sur Preview OpenAPI parameters.

2. Attendez que la prévérification soit terminée.

   • Si la prévérification échoue, cliquez sur View Details à côté de chaque élément ayant échoué, résolvez le problème, puis cliquez sur Precheck Again.

   • Si une alerte est déclenchée :

     • Pour les alertes qui ne peuvent pas être ignorées, cliquez sur View Details, résolvez le problème et exécutez à nouveau la prévérification.

     • Pour les alertes qui peuvent être ignorées, cliquez sur Confirm Alert Details, cliquez sur Ignore dans la boîte de dialogue, cliquez sur OK, puis cliquez sur Precheck Again. Ignorer une alerte peut entraîner une incohérence des données.

   La tâche ne peut pas démarrer tant qu'elle n'a pas passé la prévérification.

Étape 5 : Acheter et démarrer l'instance

1. Attendez que le Taux de réussite atteigne 100 %, puis cliquez sur Next: Purchase Instance.

2. Sur la page buy, configurez les paramètres suivants.

   Paramètre	Description
   Billing Method	Abonnement : payez à l'avance pour une période fixe. Plus rentable pour une utilisation à long terme. Paiement à l'utilisation : facturé à l'heure. Adapté à une utilisation à court terme. Libérez l'instance lorsqu'elle n'est plus nécessaire pour arrêter la facturation.
   Resource Group Settings	Le groupe de ressources pour l'instance. Par défaut : groupe de ressources par défaut. Consultez la rubrique Qu'est-ce que Resource Management ?
   Instance Class	Sélectionnez une classe en fonction de vos exigences en matière de vitesse de synchronisation. Consultez la rubrique Classes d'instance des instances de synchronisation des données.
   Subscription Duration	Disponible uniquement pour la méthode de facturation Abonnement. Options : 1–9 mois, 1 an, 2 ans, 3 ans ou 5 ans.

3. Lisez et sélectionnez Data Transmission Service (Pay-as-you-go) Service Terms.

4. Cliquez sur Buy and Start, puis cliquez sur OK dans la boîte de dialogue.

La tâche apparaît dans la liste des tâches. Vous pouvez y surveiller sa progression.