Utilisez DTS pour migrer les données d'une instance PolarDB-X 2.0 vers une instance AnalyticDB for PostgreSQL.
Prérequis
Vous disposez d'une instance source PolarDB-X 2.0. Pour plus d'informations, consultez la rubrique Créer une instance.
Vous disposez d'une instance de destination AnalyticDB for PostgreSQL. Pour plus d'informations, consultez la rubrique Créer une instance.
L'espace de stockage de l'instance de destination AnalyticDB for PostgreSQL doit être supérieur à l'espace utilisé par l'instance source PolarDB-X 2.0.
Précautions
|
Type |
Description |
|
Limitations de la base de données source |
|
|
Autres limitations |
|
|
Autres précautions |
DTS met régulièrement à jour la table |
Facturation
| Type de migration | Frais de configuration de lien | Frais de transfert de données |
|---|---|---|
| Migration du schéma + migration complète des données | Gratuit | Gratuit (sauf si la méthode d'accès à la destination est Public IP Address — consultez la rubrique Présentation de la facturation) |
| Migration incrémentielle des données | Facturé — consultez la rubrique Présentation de la facturation | — |
Types de migration
-
Migration du schéma
DTS migre les définitions de schéma des objets de migration de la base de données source vers la base de données de destination.
-
Migration complète
DTS migre toutes les données historiques des objets de migration spécifiés de la base de données source vers la base de données de destination.
-
Migration incrémentielle
Une fois la migration complète terminée, DTS migre les mises à jour incrémentielles des données de la base de données source vers la base de données de destination. La migration incrémentielle vous permet de migrer les données en toute transparence sans interrompre vos applications gérées en interne.
Opérations SQL prises en charge pour la migration incrémentielle
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT, UPDATE et DELETE Remarque
Lorsque des données sont écrites dans une instance de destination AnalyticDB for PostgreSQL, le système convertit automatiquement les instructions UPDATE en instructions REPLACE INTO. Si une instruction UPDATE modifie une clé primaire, le système la convertit plutôt en une instruction DELETE suivie d'une instruction INSERT. |
|
DDL |
ADD COLUMN |
Exigences en matière d'autorisations pour les comptes de base de données
|
Base de données |
Migration du schéma |
Migration complète |
Migration incrémentielle |
|
Instance PolarDB-X 2.0 |
Autorisation SELECT |
Autorisation SELECT |
Autorisations REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à migrer. Remarque
Pour savoir comment accorder des autorisations à un compte de base de données, consultez la rubrique Outils de synchronisation des données pour PolarDB-X. |
|
AnalyticDB for PostgreSQL |
Autorisations de lecture et d'écriture |
||
Mappages de types de données
Pour plus d'informations, consultez la rubrique Mappages de types de données pour la synchronisation initiale du schéma.
Procédure
-
Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Migration.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de migration.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Console en mode simple et Personnaliser la disposition et le style de la console DMS.
Connectez-vous à la console Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Migration Tasks, sélectionnez la région où se trouve l'instance de migration.
Cliquez sur Create Task pour accéder à la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, examinez les Limits affichées en haut de la page pour vous assurer que la tâche de migration peut être créée et exécutée avec succès.
Section
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Spécifiez un nom descriptif pour une identification plus facile. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront automatiquement configurées.
RemarqueDans la console DMS, ce paramètre est nommé Select a DMS database instance..
Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Database Type
Sélectionnez PolarDB-X 2.0.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où réside l'instance source PolarDB-X 2.0.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple migre des données au sein du même compte Alibaba Cloud. Sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance source PolarDB-X 2.0.
Database Account
Saisissez le compte de base de données de l'instance source PolarDB-X 2.0. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
Database Password
Saisissez le mot de passe du compte de base de données.
Destination Database
Select Existing Connection
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront automatiquement configurées.
RemarqueDans la console DMS, ce paramètre est nommé Select a DMS database instance..
Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Database Type
Sélectionnez AnalyticDB for PostgreSQL.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où réside l'instance de destination AnalyticDB for PostgreSQL.
Instance ID
Sélectionnez l'ID de l'instance de destination AnalyticDB for PostgreSQL.
Database Name
Saisissez le nom de la base de données de destination dans l'instance AnalyticDB for PostgreSQL.
Database Account
Saisissez le compte de base de données de l'instance de destination AnalyticDB for PostgreSQL.
Database Password
Saisissez le mot de passe du compte de base de données.
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages d'adresses IP du service DTS sont automatiquement ou manuellement ajoutées aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.
Paramètre
Description
Migration Types
-
Si vous souhaitez effectuer uniquement une migration complète des données, sélectionnez à la fois Schema Migration et Full Data Migration.
-
Pour effectuer une migration en ligne sans interruption de service, sélectionnez Schema Migration, Full Data Migration et Incremental Data Migration.
Remarque-
Si vous sélectionnez Schema Migration, les clés étrangères de la base de données source sont également migrées vers la base de données de destination.
-
Si vous sélectionnez Full Data Migration, les schémas et les données des tables créées à l'aide de l'instruction CREATE TABLE peuvent être migrés vers la base de données de destination.
-
Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez pas de nouvelles données dans l'instance source pendant la migration des données afin de garantir la cohérence des données.
Processing Mode for Existing Destination Tables
Precheck and Report Errors : vérifie si des tables portant les mêmes noms existent dans la base de données de destination. Si aucune table portant les mêmes noms n'existe, la vérification préalable est réussie. Si des tables portant les mêmes noms existent, une erreur est signalée lors de la vérification préalable et la tâche de migration des données ne démarre pas.
RemarqueSi une table de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier le nom de la table dans la base de données de destination. Pour plus d'informations, consultez la rubrique Mappage des noms d'objets.
Ignore Errors and Proceed : ignore la vérification des tables portant les mêmes noms.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et des risques commerciaux. Par exemple :
Si les schémas de table sont cohérents et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base de données source :
Lors de la migration complète, DTS conserve l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source n'est pas migré.
Lors de la migration incrémentielle, DTS ne conserve pas l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
Si les schémas de table sont incohérents, seules certaines colonnes de données peuvent être migrées, ou la migration peut échouer. Procédez avec prudence.
Storage Engine Type
Sélectionnez un moteur de stockage pour les tables de destination en fonction de vos besoins métier. La valeur par défaut est Beam.
RemarqueCe paramètre est disponible uniquement si l'instance de destination AnalyticDB for PostgreSQL possède une version du noyau v7.0.6.6 ou ultérieure et si vous avez sélectionné Migration Types pour le paramètre Schema Migration.
Capitalization of Object Names in Destination Instance
Configurez la politique de mise en majuscules pour les noms de base de données, de tables et de colonnes migrés dans l'instance de destination. La politique par défaut de DTS est sélectionnée par défaut. Vous pouvez également maintenir la cohérence avec la politique de la base de données source ou de destination. Pour plus d'informations, consultez la rubrique Mise en majuscules des noms d'objets dans l'instance de destination.
Source Objects
Sélectionnez un ou plusieurs objets dans la section Source Objects. Cliquez sur l'icône
et ajoutez les objets à la section Selected Objects. RemarqueVous ne pouvez sélectionner que des tables comme objets de migration. D'autres objets, tels que les vues, les déclencheurs et les procédures stockées, ne sont pas migrés vers la base de données de destination.
Selected Objects
-
Pour modifier le nom d'un seul objet de migration dans l'instance cible, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper les noms individuels de schéma, de table et de colonne.
-
Pour modifier les noms de plusieurs objets de migration dans l'instance cible, cliquez sur Selected Objects dans le coin supérieur droit de la zone Batch Edit. Pour plus d'informations, consultez la rubrique Mapper plusieurs noms de schéma, de table et de colonne.
Remarque-
Si vous utilisez la fonctionnalité de mappage des noms d'objets, la migration d'autres objets dépendant de l'objet renommé peut échouer.
-
Pour spécifier une clause WHERE afin de filtrer les données, faites un clic droit sur une table dans la zone Selected Objects et spécifiez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez la rubrique Filtrer les données de tâche à l'aide d'instructions SQL.
-
Pour sélectionner les opérations SQL à migrer au niveau de la table, faites un clic droit sur une table dans la zone Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé. Vous n'avez pas besoin d'en sélectionner un. Si vous souhaitez des tâches plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de migration DTS.
Retry Time for Failed Connections
Une fois la tâche de migration démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser le temps de nouvelle tentative à une valeur comprise entre 10 et 1440 minutes. Nous vous recommandons de définir la durée à plus de 30 minutes. Si DTS se reconnecte aux bases de données source et de destination dans la durée spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue.
RemarquePour plusieurs instances DTS partageant la même source ou la même destination, le temps de nouvelle tentative réseau est déterminé par le paramètre de la dernière tâche créée.
Étant donné que vous êtes facturé pour la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser le temps de nouvelle tentative en fonction de vos besoins métier, ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Une fois la tâche de migration démarrée, si un problème autre qu'un problème de connectivité, tel qu'une exception d'exécution DDL ou DML, se produit dans la base de données source ou de destination, DTS signale une erreur et commence immédiatement à retenter l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser le temps de nouvelle tentative à une valeur comprise entre 1 et 1440 minutes. Nous vous recommandons de définir la durée à plus de 10 minutes. Si les opérations associées réussissent dans la durée de nouvelle tentative spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à la valeur de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Lors de la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation de débit pour la tâche de migration complète. Vous pouvez définir les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s) pour réduire la charge sur la base de données de destination.
RemarqueCet élément de configuration est disponible uniquement si vous sélectionnez Full Data Migration pour Migration Types.
Vous pouvez également ajuster la vitesse de migration complète une fois l'instance de migration en cours d'exécution.
Enable Throttling for Incremental Data Migration
Si nécessaire, vous pouvez également choisir de définir des limites de vitesse pour la tâche de migration incrémentielle. Vous pouvez définir les paramètres RPS of Incremental Data Migration et Data migration speed for incremental migration (MB/s) pour réduire la charge sur la base de données de destination.
RemarqueCet élément de configuration est disponible uniquement si vous sélectionnez Incremental Data Migration pour Migration Types.
Vous pouvez également ajuster la vitesse de migration incrémentielle une fois l'instance de migration en cours d'exécution.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
Yes : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard.
-
No : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Environment Tag
Sélectionnez une balise d'environnement pour identifier l'instance. Non requis pour cet exemple.
Configure ETL
Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation des données.
-
No : désactive la fonctionnalité ETL.
Monitoring and Alerting
Sélectionnez si vous souhaitez définir des alertes et recevoir des notifications d'alerte en fonction de vos besoins métier.
No : ne définit pas d'alerte.
Yes : configurez les alertes en définissant un seuil d'alerte et des notifications d'alerte. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.
-
Facultatif : Après avoir terminé les configurations précédentes, cliquez sur Next: Configure Database and Table Fields pour configurer la colonne de clé primaire et la clé de distribution pour les tables à migrer vers l'instance de destination AnalyticDB for PostgreSQL.
RemarqueSi vous sélectionnez Migration Types sous Schema Migration, vous devez configurer des paramètres tels que Type, Primary Key Column et Distribution Key pour les tables à migrer vers l'instance AnalyticDB for PostgreSQL. Pour plus d'informations, consultez la rubrique CREATE TABLE.
La Primary Key Column peut être une clé primaire composite composée de plusieurs colonnes, et vous devez sélectionner une ou plusieurs colonnes de la Primary Key Column pour servir de Distribution Key.
-
-
Enregistrez la tâche et exécutez une vérification préalable.
Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle qui s'affiche.
Si vous n'avez pas besoin d'afficher ou avez terminé d'afficher les paramètres de l'API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de migration, DTS effectue une vérification préalable. La tâche ne démarre qu'après avoir réussi la vérification préalable.
Si la vérification préalable échoue, cliquez sur View Details à côté de l'élément de vérification ayant échoué, corrigez le problème selon l'invite, puis relancez la vérification préalable.
-
Si un avertissement est signalé lors de la vérification préalable :
Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème selon l'invite, puis relancez la vérification préalable.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'élément d'avertissement et relancer la vérification préalable. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et poser des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la spécification de lien pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.
Catégorie
Paramètre
Description
New Instance Class
Resource Group Settings
Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?
Instance Class
DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de lien affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications de lien de migration de données.
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK qui s'affiche, cliquez sur OK.
Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks.
RemarqueSi la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Une fois la tâche arrêtée, son Status passe à Completed.
Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, l'Status de la tâche est Running.