Data Transmission Service:Synchroniser les données d'un cluster PolarDB pour MySQL vers une base de données Doris auto-gérée

Base de données source

• Tables avec clé PRIMARY KEY ou contrainte UNIQUE : tous les champs doivent être uniques, sinon la destination peut contenir des données en double.

• Tables sans clé PRIMARY KEY ni contrainte UNIQUE : sélectionnez Schema Synchronization pour Synchronization Types et duplicate pour Engine à l'étape Configurations for Databases, Tables, and Columns.

• Si vous sélectionnez des tables (et non des bases de données) comme objets de synchronisation et que vous devez renommer des tables ou des colonnes dans la destination, une tâche unique prend en charge jusqu'à 1 000 tables. Le dépassement de cette limite provoque une erreur de requête. Configurez plusieurs tâches ou synchronisez la base de données entière à la place.

• Exigences relatives aux journaux binaires :

  • Le paramètre loose_polar_log_bin doit être défini sur ON

  • Période de conservation : au moins trois jours, sept jours recommandés

• N'exécutez pas d'opérations DDL modifiant les schémas de base de données ou de tables lors de la synchronisation initiale du schéma ou de la synchronisation complète initiale des données. DTS interroge la base de données source pendant la synchronisation complète, ce qui crée des verrous de métadonnées susceptibles de bloquer les opérations DDL.

• Les modifications résultant d'opérations non enregistrées dans les journaux binaires, telles que la restauration de données à partir de sauvegardes physiques ou générées par des opérations en cascade, ne sont pas synchronisées vers la destination. Si cela se produit, vous pouvez supprimer et rajouter la base de données ou la table concernée des objets de synchronisation si votre activité le permet. Consultez la rubrique Modifier les objets de synchronisation.

Limitations générales

• DTS ne synchronise pas les nœuds en lecture seule du cluster source PolarDB pour MySQL.

• DTS ne synchronise pas les tables externes Object Storage Service (OSS) depuis la source.

• Le basculement principal/de secours n'est pas pris en charge lors de la synchronisation complète initiale des données. En cas de basculement, reconfigurez la tâche de synchronisation.

• Seules les tables utilisant le Unique Key Model ou le Duplicate Key Model dans Doris sont prises en charge. Lors de l'utilisation du Duplicate Key Model, DTS convertit les instructions UPDATE et DELETE en instructions INSERT. Des données en double peuvent apparaître si l'un des événements suivants se produit : Utilisez les colonnes supplémentaires _is_deleted, _version et _record_id pour dédupliquer si nécessaire (voir Colonnes supplémentaires ajoutées par DTS).

  • Une opération de nouvelle tentative s'exécute sur l'instance de synchronisation des données

  • L'instance est redémarrée

  • Deux opérations DML ou plus sont appliquées à la même ligne après le démarrage de l'instance

• Seul le paramètre bucket_count peut être spécifié dans la section Selected Objects. La valeur doit être un entier positif. Par défaut : auto.

• Ne créez pas de clusters dans la base de données Doris de destination pendant la synchronisation. Si cela se produit, la tâche échoue. Redémarrez l'instance de synchronisation des données pour reprendre.

• Doris ne prend en charge que les noms de bases de données et de tables commençant par une lettre. Utilisez la fonctionnalité de mappage de nom d'objet pour renommer tout objet dont le nom commence par un caractère autre qu'une lettre.

• Si un nom de base de données, de table ou de colonne contient des caractères chinois, utilisez le mappage de nom d'objet pour le renommer (par exemple, en un nom anglais). Sinon, la tâche peut échouer.

• Vous ne pouvez pas modifier les opérations DDL sur plusieurs colonnes à la fois, ni modifier consécutivement les opérations DDL sur une table.

• N'ajoutez pas de nœuds backend (BE) à la base de données Doris de destination pendant la synchronisation. Si cela se produit, la tâche échoue. Redémarrez l'instance de synchronisation des données pour reprendre.

• Dans les scénarios de fusion multi-tables (plusieurs tables sources synchronisées vers une table de destination unique), les schémas de toutes les tables sources doivent être identiques. Sinon, une incohérence des données ou un échec de la tâche peut survenir.

• Dans PolarDB pour MySQL, VARCHAR(M) utilise la longueur en caractères pour M. Dans Doris, VARCHAR(N) utilise la longueur en octets pour N. Si vous n'utilisez pas la synchronisation du schéma, définissez la longueur VARCHAR de Doris à quatre fois la longueur VARCHAR MySQL correspondante pour éviter toute perte de données.

• Lors de l'utilisation de DMS ou gh-ost pour effectuer des modifications DDL en ligne sur la source, DTS synchronise uniquement le DDL d'origine vers la destination. Les modifications DDL en ligne effectuées avec pt-online-schema-change ne sont pas prises en charge et peuvent entraîner une perte de données ou un échec de la synchronisation.

• Lors de la synchronisation complète initiale des données, DTS utilise les ressources de lecture et d'écriture des deux bases de données. Évaluez l'impact sur les performances au préalable et planifiez la synchronisation pendant les heures creuses, lorsque l'utilisation du CPU aux deux extrémités est inférieure à 30 %.

• Les opérations INSERT concurrentes lors de la synchronisation complète initiale des données provoquent une fragmentation des tables dans la destination. Une fois la synchronisation complète terminée, les tables de destination peuvent occuper plus d'espace de stockage que la source.

• N'utilisez pas pt-online-schema-change ou des outils similaires pour des opérations DDL en ligne sur les objets de synchronisation pendant la synchronisation. Cela entraîne un échec de la synchronisation.

• Si des données sont écrites dans la base de données de destination à partir de sources autres que DTS pendant la synchronisation, une incohérence des données peut survenir entre la source et la destination.

• DTS exécute périodiquement CREATE DATABASE IF NOT EXISTS \ test\`` sur la source pour faire avancer la position du journal binaire.

• Lors de la synchronisation incrémentielle, DTS utilise une stratégie par lots et écrit dans chaque objet de synchronisation au maximum une fois toutes les cinq secondes. Cela peut introduire une latence de synchronisation normale inférieure à 10 secondes. Pour réduire la latence, ajustez le paramètre selectdb.reservoir.timeout.milliseconds (plage : 1 000–10 000 millisecondes) dans la console DTS. Des intervalles de lot plus courts augmentent la fréquence d'écriture, ce qui peut accroître la charge et le temps de réponse de la destination.

• En cas de panne d'une instance, l'assistance DTS tente une récupération dans un délai de huit heures. Pendant la récupération, l'instance peut être redémarrée ou ses paramètres ajustés. Seuls les paramètres de l'instance DTS sont modifiés ; les paramètres de la base de données restent inchangés.

Étape 1 : Accéder à la page de synchronisation des données

Utilisez l'une des méthodes suivantes :

Étape 2 : Configurer les bases de données source et de destination

1. Cliquez sur Create Task.

2. Configurez le Task Name. DTS génère automatiquement un nom. Spécifiez un nom descriptif pour faciliter l'identification de la tâche ; un nom unique n'est pas requis.

3. Configurez les connexions aux bases de données source et de destination à l'aide des paramètres ci-dessous.

Base de données source (PolarDB pour MySQL)

Base de données de destination (Doris)

1. Cliquez sur Test Connectivity and Proceed. Dans la boîte de dialogue CIDR Blocks of DTS Servers, cliquez sur Test Connectivity.

Assurez-vous que les blocs CIDR des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination. Consultez la rubrique Ajouter des adresses IP de serveur DTS à une liste d'autorisation .

Étape 3 : Sélectionner les objets de synchronisation

1. À l'étape Configure Objects, configurez les éléments suivants :

1. Cliquez sur Next: Advanced Settings et configurez les éléments suivants :

1. (Facultatif) Cliquez sur Next: Configure Database and Table Fields. Spécifiez Primary Key Column, Distribution Key et Engine pour chaque table.

Cette étape est disponible uniquement lorsque Schema Synchronization est sélectionné. Définissez Definition Status sur All pour afficher toutes les tables.

Primary Key Column prend en charge plusieurs colonnes. Distribution Key doit être un sous-ensemble des colonnes de clé primaire.

Pour les tables sans clés primaires ni contraintes UNIQUE, sélectionnez duplicate pour Engine . Sinon, la tâche peut échouer ou des pertes de données peuvent survenir.

Étape 4 : Exécuter la prévérification

Cliquez sur Next: Save Task Settings and Precheck.

DTS effectue une prévérification avant de démarrer la tâche. La tâche ne démarre qu'après avoir réussi toutes les vérifications.

Si une vérification échoue, cliquez sur View Details pour voir la cause, corriger le problème et relancer la prévérification.

Si un avertissement apparaît : corrigez et relancez si l'élément ne peut pas être ignoré ; cliquez sur Confirm Alert Details > Ignore > OK > Precheck Again si l'élément peut être ignoré en toute sécurité. Ignorer les alertes peut entraîner une incohérence des données.

Pour prévisualiser les paramètres OpenAPI pour cette configuration de tâche, placez le pointeur sur Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters.

Étape 5 : Acheter une instance

1. Attendez que le Success Rate atteigne 100%, puis cliquez sur Next: Purchase Instance.

2. Sur la page d'achat, configurez les éléments suivants :

1. Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

2. Cliquez sur Buy and Start, puis sur OK dans la boîte de dialogue.

La tâche apparaît dans la liste des tâches. Surveillez sa progression à partir de là.