Data Transmission Service:Synchroniser des données d'un cluster PolarDB for MySQL vers une instance AnalyticDB for PostgreSQL

Base de données source

• Les tables à synchroniser doivent posséder une clé primaire ou une contrainte UNIQUE avec des champs uniques. Sans cela, des données en double peuvent apparaître dans la base de données de destination.

• Pour la synchronisation au niveau des tables nécessitant une édition des tables (comme le mappage des noms de colonnes), une seule tâche prend en charge un maximum de 1 000 tables. Si vous dépassez cette limite, répartissez les tables sur plusieurs tâches ou configurez une tâche pour synchroniser la base de données entière.

• La rétention des journaux binaires doit être d'au moins 3 jours. Si DTS ne peut pas obtenir les journaux binaires, la tâche peut échouer, ce qui peut entraîner, dans les cas extrêmes, une incohérence ou une perte de données. Les problèmes liés à une période de rétention inférieure à celle requise ne sont pas couverts par l'accord de niveau de service (SLA) de DTS.

• N'exécutez pas d'opérations DDL modifiant les clés primaires ou ajoutant des commentaires aux tables (par exemple, ALTER TABLE table_name COMMENT='Table comment';) pendant la synchronisation. Ces opérations échoueront.

• N'exécutez pas d'opérations DDL modifiant les schémas de base de données ou de tables pendant la synchronisation du schéma ou la synchronisation complète. La tâche échouera. Lors de la synchronisation complète, DTS interroge la base de données source, créant ainsi des verrous de métadonnées qui peuvent bloquer les opérations DDL sur la source.

• Si la base de données source contient des valeurs de date 0000-00-00 00:00:00, la tâche peut échouer. DTS convertit ces valeurs en null dans la destination. Pour contourner ce problème, modifiez les valeurs sources en 0001-01-01 00:00:00 ou configurez le champ de destination pour qu'il accepte les valeurs nulles.

Autres limitations

• Seule la synchronisation au niveau des tables est prise en charge.

• Les types de données suivants ne sont pas pris en charge : BIT, VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR, TXID_SNAPSHOT.

• Les index de préfixe ne sont pas pris en charge. Si la source contient des index de préfixe, la synchronisation peut échouer.

• La synchronisation depuis un nœud en lecture seule du cluster PolarDB for MySQL source n'est pas prise en charge.

• Les tables externes OSS ne peuvent pas être synchronisées depuis la source.

• Les types d'objets suivants ne sont pas pris en charge : PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER, FK, INDEX.

• Les tables Append-Only (AO) ne sont pas prises en charge en tant que tables de destination.

• Le basculement primaire/secondaire n'est pas pris en charge lors de la synchronisation initiale complète des données. En cas de basculement, reconfigurez la tâche.

• Outils DDL en ligne : pt-online-schema-change n'est pas pris en charge et entraînera l'échec de la tâche. Pour les DDL en ligne en mode table temporaire ou les index basés sur des fonctions sur les colonnes de clé unique, une perte de données ou un échec de la tâche peut survenir.

• Si vous utilisez le mappage de colonnes pour une synchronisation partielle des tables, ou si les schémas des tables source et destination sont incohérents, les données des colonnes manquantes dans la table de destination seront perdues.

• Si la table à synchroniser possède une clé primaire, la colonne de clé primaire dans la table de destination doit correspondre à celle de la table source. Si la table ne possède pas de clé primaire, la colonne de clé primaire dans la table de destination doit correspondre à la clé de distribution.

• La clé unique dans la table de destination, y compris la colonne de clé primaire, doit inclure toutes les colonnes de la clé de distribution.

• La synchronisation initiale complète des données exécute des opérations INSERT concurrentes, ce qui provoque une fragmentation. Par conséquent, l'espace de table de l'instance de destination peut être plus grand que celui de la source une fois la synchronisation complète terminée.

• Planifiez la synchronisation pendant les heures creuses. La synchronisation complète des données consomme des ressources de lecture et d'écriture sur les deux bases de données et peut augmenter la charge de la base de données.

• Pour la synchronisation au niveau des tables, n'écrivez pas d'autres données que celles provenant de DTS dans la base de données de destination. Cela pourrait entraîner une incohérence des données entre la source et la destination.

• Pour la synchronisation au niveau des tables, n'utilisez pas pt-online-schema-change pour les opérations DDL en ligne sur les objets de synchronisation dans la base de données source.

• Pour la synchronisation au niveau des tables, si aucune donnée autre que celles provenant de DTS n'est écrite dans la base de données de destination, vous pouvez utiliser Data Management (DMS) pour les opérations DDL en ligne. Consultez Modifier les schémas sans verrouiller les tables.

• En cas d'échec d'une tâche, l'équipe support de DTS tentera de la restaurer sous 8 heures. Elle peut redémarrer la tâche ou ajuster les paramètres de la tâche DTS (et non les paramètres de la base de données). Les paramètres susceptibles d'être ajustés sont répertoriés dans Modifier les paramètres de l'instance.

Comportement de résolution des conflits

Remarques d'utilisation

• DTS exécute périodiquement CREATE DATABASE IF NOT EXISTS \ test\`` sur la base de données source pour faire avancer le décalage du journal binaire.

• Lors de l'utilisation de DMS ou gh-ost pour les modifications DDL en ligne, configurez le paramètre avancé Copy the temporary table of the Online DDL tool en conséquence.

Étape 1 : Ouvrir la page de configuration de la tâche

1. Connectez-vous à la console Data Management (DMS).

2. Dans la barre de navigation supérieure, cliquez sur Data + AI.

3. Dans le volet de navigation de gauche, choisissez DTS (DTS) > Data Synchronization.

   Le chemin de navigation peut varier selon le mode et la disposition de la console DMS. Consultez Console en mode simple et Personnaliser la disposition et le style de la console DMS . Vous pouvez également accéder directement à la page des tâches de synchronisation des données de la console DTS .

4. Cliquez sur Create Task.

Étape 2 : Configurer les bases de données source et de destination

Sur la page de configuration de la tâche, renseignez les champs suivants :

Après avoir rempli tous les champs, cliquez sur Test Connectivity and Proceed.

Assurez-vous que les blocs d'adresses IP de DTS ont été ajoutés aux paramètres de sécurité des bases de données source et de destination, soit automatiquement par DTS, soit manuellement. Consultez Ajouter la liste d'autorisation d'adresses IP des serveurs DTS .

Étape 3 : Configurer les objets de synchronisation

Sur la page Configure Objects

Synchronization types

DTS sélectionne toujours Incremental Data Synchronization. Sélectionnez également Schema Synchronization et Full Data Synchronization (sélectionné par défaut). Après la prévérification, DTS initialise l'instance de destination avec les données complètes des objets source sélectionnés, ce qui sert de référence pour la synchronisation incrémentielle ultérieure. Avec les trois types activés, DTS :

1. Copie le schéma vers la destination.

2. Charge un instantané complet des objets source sélectionnés comme référence.

3. Applique les modifications incrémentielles continues issues du journal binaire.

Objets et opérations

Étape 4 : Configurer les paramètres avancés

Cliquez sur Next: Advanced Settings et configurez les options suivantes :

Étape 5 : Configurer la vérification des données (facultatif)

Cliquez sur Data Verification pour configurer une tâche de vérification des données. Consultez Configurer la vérification des données.

Étape 6 : Configurer les champs des tables de destination (facultatif)

Cliquez sur Next: Configure Database and Table Fields pour définir le Type, la Primary Key Column et la Distribution Key pour chaque table de destination dans AnalyticDB for PostgreSQL.

Cette étape n'est disponible que lorsque Schema Synchronization est sélectionné. Définissez Definition Status sur All pour modifier les champs. Pour former une clé primaire composite, spécifiez plusieurs colonnes dans Primary Key Column , puis sélectionnez une ou plusieurs de ces colonnes comme Distribution Key . Consultez Gérer les tables et Définir la distribution des tables .

Étape 7 : Exécuter la prévérification

Cliquez sur Next: Save Task Settings and Precheck.

Pour prévisualiser les paramètres de l'API pour cette configuration de tâche, survolez le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters .

Avant le démarrage d'une tâche de synchronisation, DTS effectue une prévérification. La tâche ne démarre que si la prévérification réussit.

• Si la prévérification échoue, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème et relancez la prévérification.

• Si la prévérification renvoie des avertissements :

  • Pour les avertissements non ignorables, cliquez sur View Details, corrigez le problème et relancez la prévérification.

  • Pour les avertissements ignorables, cliquez sur Confirm Alert Details, puis sur Ignore, puis sur OK, puis sur Precheck Again pour continuer. Ignorer les avertissements peut entraîner des incohérences de données. Procédez avec prudence.

Étape 8 : Acheter et démarrer l'instance

Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

Sur la page Purchase, sélectionnez la méthode de facturation et la classe d'instance :

Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms, puis cliquez sur Buy and Start et confirmez dans la boîte de dialogue.

Surveillez la progression de la tâche sur la page des tâches de synchronisation des données.Page des tâches de synchronisation des données de la nouvelle console DTS