Vous pouvez utiliser le service Data Transmission Service (DTS) pour migrer les données d'une instance PolarDB-X 2.0 vers un projet DataHub.
Prérequis
Une instance source PolarDB-X 2.0 doit être créée. Pour plus d'informations, consultez la rubrique Créer une instance.
Le service DataHub doit être activé et un projet doit être créé pour stocker les données migrées. Pour plus d'informations, reportez-vous aux rubriques Démarrage rapide (exemple de synchronisation) et Gérer les projets.
Limites
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
|
Autres précautions |
DTS met régulièrement à jour la table |
Facturation
|
Type de migration |
Frais de configuration de lien |
Frais de trafic Internet |
|
Migration du schéma |
Gratuit. |
Cet exemple est gratuit. |
|
Migration incrémentielle des données |
Cette fonctionnalité est payante. Pour plus d'informations, consultez la rubrique Présentation de la facturation. |
Types de migration
-
Migration du schéma
DTS migre les définitions de schéma des objets de migration depuis la base de données source vers la base de données de destination.
-
Migration incrémentielle
Une fois la migration complète terminée, DTS migre les mises à jour incrémentielles des données de la base source vers la base de destination. La migration incrémentielle permet de transférer les données sans interrompre vos applications auto-gérées.
Opérations SQL prises en charge pour la migration incrémentielle
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT, UPDATE, DELETE |
|
DDL |
ADD COLUMN |
Permissions des comptes de base de données
|
Base de données |
Migration du schéma |
Migration incrémentielle |
|
Instance PolarDB-X 2.0 |
Permission SELECT |
Permissions REPLICATION SLAVE et REPLICATION CLIENT, ainsi que la permission SELECT sur les objets à migrer. Remarque
Pour savoir comment accorder des permissions, consultez la rubrique Permissions de compte pour la synchronisation des données. |
Mappage des types de données
Pour plus d'informations, consultez la rubrique Mappages de types de données pour la migration du schéma.
Procédure
-
Accédez à la page de liste des tâches de migration pour la région de destination en suivant l'une des méthodes ci-dessous.
Depuis la console DTS
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Console en mode simple et Personnaliser la disposition et le style de la console DMS.
Cliquez sur Create Task pour accéder à la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, consultez la section Limits affichée en haut de la page afin de vous assurer que vous pourrez créer et exécuter la tâche de migration avec succès.
Catégorie
Paramètre
Description
S.O.
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement.
RemarqueDans la console DMS, ce paramètre est nommé Select a DMS database instance..
Si vous n'avez pas enregistré l'instance de base de données auprès du système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Database Type
Sélectionnez PolarDB-X 2.0.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve l'instance PolarDB-X 2.0 source.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, les données sont migrées au sein du même compte Alibaba Cloud. Sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance PolarDB-X 2.0 source.
Database Account
Saisissez le compte de base de données pour l'instance PolarDB-X 2.0 source. Pour connaître les exigences en matière d'autorisations, consultez la section Autorisations du compte de base de données.
Database Password
Saisissez le mot de passe du compte de base de données.
Destination Database
Select Existing Connection
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement.
RemarqueDans la console DMS, ce paramètre est nommé Select a DMS database instance..
Si vous n'avez pas enregistré l'instance de base de données auprès du système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Database Type
Sélectionnez DataHub.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve le projet DataHub de destination.
Project
Sélectionnez l'ID du projet DataHub de destination.
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages d'adresses IP du service DTS sont ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.
Parameter
Description
Migration Types
Pour migrer des données de PolarDB-X 2.0 vers DataHub, seules les options Schema Migration et Incremental Data Migration sont prises en charge. Sélectionnez les types de migration en fonction de vos besoins métier.
Remarque-
Si vous sélectionnez Schema Migration, les clés étrangères de la base de données source sont également migrées vers la base de données de destination.
-
Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez aucune nouvelle donnée dans l'instance source pendant la migration afin de garantir la cohérence des données.
Naming Rules of Additional Columns
Lorsque DTS migre des données vers DataHub, il ajoute des colonnes supplémentaires à la table de destination. Si ces nouveaux noms de colonne entrent en conflit avec des noms existants, la migration des données échoue. Vous devez choisir New Rule ou Previous Rule selon vos besoins métier.
AvertissementAvant de sélectionner une règle pour les colonnes supplémentaires, vérifiez si leurs noms entreront en conflit avec les colonnes existantes de la table de destination. Pour plus d'informations sur les règles et définitions des colonnes supplémentaires, consultez Names and definitions of additional columns.
Processing Mode of Conflicting Tables
Precheck and Report Errors : vérifie l'existence de tables portant le même nom dans la base de données de destination. En l'absence de doublons, la prévérification est validée. Si des tables homonymes existent, une erreur est signalée lors de la prévérification et la tâche de migration des données ne démarre pas.
RemarqueSi une table de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier son nom dans la base de données de destination. Pour plus d'informations, consultez Object name mapping.
Ignore Errors and Proceed : ignore la vérification des tables portant le même nom.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et présenter des risques pour votre activité. Par exemple :
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base de données source :
Lors de la migration complète, DTS conserve l'enregistrement présent dans la base de données de destination. L'enregistrement issu de la base de données source n'est pas migré.
Lors de la migration incrémentielle, DTS ne conserve pas l'enregistrement de la base de données de destination. L'enregistrement issu de la base de données source écrase celui de la base de données de destination.
Si les schémas de table sont différents, seule une partie des données de colonne peut être migrée, ou la migration peut échouer. Agissez avec prudence.
Capitalization of Object Names in Destination Instance
Vous pouvez configurer la politique de sensibilité à la casse pour les noms des objets migrés (bases de données, tables et colonnes) dans l'instance de destination. Par défaut, l'option DTS default policy est sélectionnée. Vous pouvez également choisir d'aligner la sensibilité à la casse sur la politique par défaut de la base de données source ou de destination. Pour plus d'informations, consultez Case sensitivity of object names in the destination database.
Source Objects
Sélectionnez un ou plusieurs objets dans la section Source Objects. Cliquez sur l'icône
pour ajouter les objets à la section Selected Objects. RemarqueLes objets de migration peuvent être sélectionnés au niveau de la base de données, de la table ou de la colonne. Si vous ne sélectionnez que des tables comme objets de migration, les autres types d'objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas migrés vers la base de données de destination.
Selected Objects
-
Pour modifier le nom d'un seul objet de migration dans l'instance cible, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations, consultez Map individual schema, table, and column names.
-
Pour modifier les noms de plusieurs objets de migration dans l'instance cible, cliquez sur Selected Objects dans le coin supérieur droit de la zone Batch Edit. Pour plus d'informations, consultez Map multiple schema, table, and column names.
Remarque-
Si vous utilisez la fonctionnalité de mappage des noms d'objets, la migration d'autres objets dépendant de l'objet renommé peut échouer.
-
Pour filtrer les données à l'aide de clauses WHERE, faites un clic droit sur une table à migrer dans la zone Selected Objects et définissez les conditions de filtre dans la boîte de dialogue qui s'affiche. Pour obtenir des instructions, consultez Set filter conditions.
-
Pour sélectionner les opérations SQL à migrer au niveau de la base de données ou de la table, faites un clic droit sur l'objet de migration dans la zone Selected Objects et choisissez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Parameter
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé ; aucune sélection n’est requise. Pour une stabilité accrue, vous pouvez acheter un dedicated cluster afin d’exécuter les tâches de migration DTS.
Retry Time for Failed Connections
Une fois la tâche de migration lancée, toute rupture de connexion vers la base de données source ou destination génère une erreur et déclenche immédiatement des tentatives de reconnexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser cette durée entre 10 et 1 440 minutes. Il est recommandé de définir une durée supérieure à 30 minutes. Si DTS rétablit la connexion aux bases de données source et destination dans le délai imparti, la tâche de migration reprend automatiquement. Dans le cas contraire, la tâche échoue.
RemarquePour plusieurs instances DTS partageant la même base de données source ou destination, la durée de nouvelle tentative réseau est déterminée par le paramétrage de la dernière tâche créée.
La facturation de la tâche se poursuivant pendant la période de nouvelle tentative de connexion, il est conseillé d’adapter la durée de nouvelle tentative à vos besoins métier ou de libérer l’instance DTS dès que possible après la libération des instances de bases de données source et destination.
Retry Time for Other Issues
Après le démarrage de la tâche de migration, si un problème autre qu’une défaillance de connectivité survient (par exemple, une exception lors de l’exécution d’une instruction DDL ou DML) sur la base de données source ou destination, DTS signale une erreur et tente immédiatement de relancer l’opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser cette durée entre 1 et 1 440 minutes. Il est recommandé de définir une durée supérieure à 10 minutes. Si les opérations concernées aboutissent dans le délai imparti, la tâche de migration reprend automatiquement. Dans le cas contraire, la tâche échoue.
ImportantLa valeur du paramètre Retry Time for Other Issues doit être inférieure à celle du paramètre Retry Time for Failed Connections.
Enable Throttling for Incremental Data Migration
Si nécessaire, vous pouvez également définir des limites de vitesse pour la tâche de migration incrémentielle. Définissez les paramètres RPS of Incremental Data Migration et Data migration speed for incremental migration (MB/s) afin de réduire la charge sur la base de données destination.
RemarqueCet élément de configuration est disponible uniquement si vous sélectionnez Incremental Data Migration pour le paramètre Migration Types.
Vous pouvez également ajuster la vitesse de migration incrémentielle une fois l’instance de migration en cours d’exécution.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Décidez s’il convient d’écrire les informations SQL de pulsation (heartbeat) dans la base de données source lorsque l’instance DTS est en cours d’exécution.
-
Yes : Les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner l’apparition d’un délai signalé par l’instance DTS.
-
No : Écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Environment Tag
Sélectionnez un tag d’environnement pour identifier l’instance. Aucune sélection n’est requise pour cet exemple.
Configure ETL
Selon vos besoins métier, décidez s’il y a lieu de configurer la fonctionnalité ETL pour traiter les données.
Yes : Configure la fonctionnalité ETL. Vous devez également saisir des instructions de traitement des données dans la zone de texte.
No : Ne configure pas la fonctionnalité ETL.
Monitoring and Alerting
Définissez ou non des alertes et recevez des notifications d’alerte selon vos besoins métier.
No : Ne définit pas d’alerte.
Yes : Configurez les alertes en définissant un seuil d’alerte et des notifications d’alerte. En cas d’échec de la migration ou si la latence dépasse le seuil, le système envoie une notification d’alerte.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres de configuration de cette instance lors de l’appel à l’opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck puis cliquez sur Preview OpenAPI parameters dans l’infobulle qui s’affiche.
Si vous n’avez pas besoin d’afficher les paramètres API ou si vous avez terminé leur consultation, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de migration, DTS effectue une pré-vérification. La tâche ne démarre qu’après réussite de cette étape.
En cas d’échec de la pré-vérification, cliquez sur View Details à côté de l’élément de vérification ayant échoué, corrigez le problème selon les instructions, puis relancez la pré-vérification.
-
Si un avertissement est signalé lors de la pré-vérification :
Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l’élément ayant échoué, corrigez le problème selon les instructions, puis relancez la pré-vérification.
Pour les éléments de vérification pouvant être ignorés, cliquez sur Confirm Alert Details, Ignore, OK et Precheck Again afin d’ignorer l’élément d’avertissement et de relancer la pré-vérification. L’ignorance d’un avertissement peut entraîner des problèmes tels qu’une incohérence des données et présenter des risques pour votre activité.
-
Achetez l’instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez les spécifications de liaison pour l'instance de migration des données. Pour plus d'informations, consultez le tableau ci-dessous.
Catégorie
Paramètre
Description
New Instance Class
Resource Group Settings
Sélectionnez le groupe de ressources auquel l'instance appartient. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que Resource Management ?
Instance Class
DTS propose des spécifications de migration offrant différents niveaux de performance. Les spécifications de liaison influent sur la vitesse de migration. Vous pouvez choisir une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Spécifications de liaison pour la migration des données.
Une fois la configuration terminée, lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK qui s'affiche, cliquez sur OK.
Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks.
RemarqueSi la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Une fois la tâche arrêtée, son Status passe à Completed.
Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, le Status de la tâche est défini sur Running.