Cette rubrique explique comment migrer les données d'une instance PolarDB-X 1,0 vers un cluster AnalyticDB for MySQL 3,0 à l'aide du service Data Transmission Service (DTS).
Prérequis
-
Vous disposez d'une instance source PolarDB-X 1,0. Pour plus d'informations, consultez la page Créer une instance PolarDB-X 1,0.
RemarqueL'instance PolarDB-X 1,0 doit utiliser ApsaraDB RDS for MySQL comme type de stockage. Cela inclut les instances RDS personnalisées et achetées séparément. PolarDB for MySQL n'est pas pris en charge.
Si vous devez effectuer une migration incrémentielle des données, assurez-vous que le jeu de caractères des données source n'est pas utf8mb3. Dans le cas contraire, la migration échouera.
Vous disposez d'un cluster de destination AnalyticDB for MySQL V3.0. L'espace de stockage du cluster doit être supérieur à l'espace utilisé par l'instance source PolarDB-X 1,0. Pour plus d'informations, consultez la page Créer un cluster.
Limitations
Lors de la migration du schéma, DTS ne migre pas les clés étrangères de la base de données source vers la base de données de destination.
Pendant la migration complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Si des opérations de mise à jour ou de suppression en cascade se produisent dans la base de données source pendant l'exécution de la tâche, des incohérences de données peuvent survenir.
Lors de la migration du schéma, DTS ne prend pas en charge la migration des vues matérialisées vers l'instance AnalyticDB for MySQL de destination. Pour utiliser des vues matérialisées, créez-les manuellement dans l'instance de destination une fois la migration terminée.
Type | Description |
Limitations de la base de données source |
|
Autres limitations |
|
Considérations supplémentaires | DTS met régulièrement à jour la table |
Facturation
|
Type de migration |
Frais de configuration de l'instance |
Frais de trafic Internet |
|
Migration du schéma et migration complète des données |
Gratuit. |
Gratuit dans cet exemple. |
|
Migration incrémentielle des données |
Facturé. Consultez la page Présentation de la facturation pour plus d'informations. |
Types de migration
-
Migration du schéma
DTS migre les définitions de schéma des objets de migration de la base de données source vers la base de données de destination.
-
Migration complète
DTS migre toutes les données historiques des objets de migration spécifiés de la base de données source vers la base de données de destination.
-
Migration incrémentielle
Une fois la migration complète terminée, DTS migre les mises à jour incrémentielles des données de la base de données source vers la base de données de destination. La migration incrémentielle vous permet de migrer les données en toute transparence sans interrompre vos applications autogérées.
Opérations SQL prises en charge pour la migration incrémentielle
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT, UPDATE, DELETE Remarque
Lorsque vous écrivez des données dans AnalyticDB for MySQL, le système convertit automatiquement les instructions |
Exigences en matière d'autorisations pour les comptes de base de données
|
Base de données |
Migration du schéma |
Migration complète des données |
Migration incrémentielle des données |
|
Instance PolarDB-X 1,0 |
Privilège SELECT |
Privilège SELECT |
Privilèges REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à migrer. Remarque
Pour obtenir des informations sur l'octroi de privilèges, consultez la page Autorisations de compte pour la synchronisation des données. |
|
Cluster AnalyticDB for MySQL V3.0 |
Autorisations de lecture et d'écriture |
||
Pour créer un compte de base de données et accorder des privilèges :
Pour les instances PolarDB-X 1,0, consultez la page Gérer les comptes.
Pour les clusters AnalyticDB for MySQL V3.0, consultez la page Créer un compte de base de données.
Mappages de types de données
Pour plus de détails, consultez la page Mappages de types de données pour l'initialisation du schéma.
Procédure
-
Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Migration.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de migration.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Console en mode simple et Personnaliser la disposition et le style de la console DMS.
Connectez-vous à la console Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Migration Tasks, sélectionnez la région où se trouve l'instance de migration.
Cliquez sur Create Task pour accéder à la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, nous vous recommandons de lire attentivement les limites affichées en haut de la page. Dans le cas contraire, la tâche pourrait échouer ou entraîner une incohérence des données.
Catégorie
Paramètre
Description
Aucun
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement.
RemarqueDans la console DMS, ce paramètre est nommé Select a DMS database instance..
Si vous n'avez pas enregistré l'instance de base de données auprès du système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Database Type
Sélectionnez PolarDB-X 1.0.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve l'instance PolarDB-X 1,0 source.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, une instance de base de données sous le compte Alibaba Cloud actuel est utilisée. Sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance PolarDB-X 1,0 source.
Database Account
Saisissez le compte de base de données pour l'instance PolarDB-X 1,0 source. Pour plus de détails sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
Database Password
Saisissez le mot de passe du compte de base de données.
Destination Database
Select Existing Connection
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement.
RemarqueDans la console DMS, ce paramètre est nommé Select a DMS database instance..
Si vous n'avez pas enregistré l'instance de base de données auprès du système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Database Type
Sélectionnez AnalyticDB for MySQL 3.0.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve le cluster AnalyticDB for MySQL de destination.
Instance ID
Sélectionnez l'ID du cluster AnalyticDB for MySQL de destination.
Database Account
Saisissez le compte de base de données pour le cluster AnalyticDB for MySQL de destination. Pour plus de détails sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
Database Password
Saisissez le mot de passe du compte de base de données.
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages d'adresses IP du service DTS sont ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.
Parameter
Description
Migration Types
Si vous devez uniquement effectuer une migration complète, sélectionnez à la fois Schema Migration et Full Data Migration.
Pour réaliser une migration sans interruption de service, sélectionnez Schema Migration, Full Data Migration et Incremental Data Migration.
RemarqueSi vous ne sélectionnez pas Schema Migration, assurez-vous qu'une base de données et des tables destinées à recevoir les données existent dans la base de données de destination. Vous pouvez également utiliser la fonctionnalité de mappage des noms d'objets dans la zone Selected Objects selon vos besoins.
Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez aucune nouvelle donnée dans l'instance source pendant la migration afin de garantir la cohérence des données.
DDL and DML Operations to Be Synchronized
Sélectionnez les opérations SQL pour la migration incrémentielle au niveau de l'instance. Pour plus d'informations sur les opérations prises en charge, consultez la section Opérations SQL prises en charge pour la migration incrémentielle.
RemarquePour sélectionner les opérations SQL de migration incrémentielle au niveau de la base de données ou de la table, cliquez avec le bouton droit sur un objet de migration dans la zone Selected Objects et choisissez les opérations SQL souhaitées dans la boîte de dialogue.
Merge Tables
-
Yes : DTS ajoute une colonne
__dts_data_sourceà chaque table pour stocker la source des données. Pour plus d'informations, consultez la rubrique Activer la fusion de plusieurs tables.RemarqueLa fonctionnalité de fusion de tables est configurée au niveau de la tâche, et non au niveau de la table. Si vous souhaitez fusionner certaines tables mais pas d'autres, créez deux tâches de migration de données distinctes.
-
No : il s'agit de l'option par défaut.
AvertissementN'effectuez pas d'opérations DDL pour modifier le schéma de la base de données ou des tables sources. Cela pourrait entraîner une incohérence des données ou l'échec de la tâche de migration.
Processing Mode of Conflicting Tables
Precheck and Report Errors : vérifie si des tables portant le même nom existent dans la base de données de destination. En l'absence de tables homonymes, la prévérification est validée. Si des tables portent le même nom, une erreur est signalée lors de la prévérification et la tâche de migration de données ne démarre pas.
RemarqueSi une table de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, modifiez le nom de la table dans la base de données de destination. Pour plus d'informations, consultez la rubrique Mappage des noms d'objets.
Ignore Errors and Proceed : ignore la vérification des tables portant le même nom.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et présenter des risques pour votre activité. Par exemple :
Si les schémas de table sont cohérents et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base de données source :
Lors de la migration complète, DTS conserve l'enregistrement dans la base de données de destination. L'enregistrement provenant de la base de données source n'est pas migré.
Lors de la migration incrémentielle, DTS ne conserve pas l'enregistrement dans la base de données de destination. L'enregistrement provenant de la base de données source écrase celui de la base de données de destination.
Si les schémas de table sont incohérents, seules certaines colonnes de données peuvent être migrées ou la migration peut échouer. Agissez avec prudence.
Capitalization of Object Names in Destination Instance
Vous pouvez configurer la politique de sensibilité à la casse pour les noms des objets migrés (bases de données, tables et colonnes) dans l'instance de destination. Par défaut, l'option DTS default policy est sélectionnée. Vous pouvez également choisir de conserver la sensibilité à la casse conforme à la politique par défaut de la base de données source ou de destination. Pour plus d'informations, consultez la rubrique Sensibilité à la casse des noms d'objets dans la base de données de destination.
Source Objects
Dans la zone Source Objects, cliquez sur les objets à migrer, puis cliquez sur
pour les déplacer vers la zone Selected Objects.Remarque-
Vous pouvez sélectionner des bases de données ou des tables comme objets de migration.
-
Si vous sélectionnez une base de données entière à migrer, les règles par défaut suivantes s'appliquent :
-
Si une table à migrer dans la base de données source possède une clé primaire (sur une seule colonne ou composite), les colonnes de clé primaire sont utilisées comme clé de distribution.
-
Si une table à migrer dans la base de données source ne possède pas de clé primaire, DTS génère automatiquement une colonne de clé primaire à incrémentation automatique. Cela peut entraîner une incohérence des données entre les bases de données source et de destination.
-
Les modifications telles que l'ajout ou la suppression de tables dans la base de données source ne sont pas migrées vers la base de données de destination.
-
Selected Objects
-
Pour modifier le nom d'un seul objet de migration dans l'instance cible, cliquez avec le bouton droit sur l'objet dans la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper les noms individuels de schéma, de table et de colonne.
-
Pour modifier les noms de plusieurs objets de migration dans l'instance cible, cliquez sur Selected Objects dans le coin supérieur droit de la zone Batch Edit. Pour plus d'informations, consultez la rubrique Mapper plusieurs noms de schéma, de table et de colonne.
Remarque-
Si vous utilisez la fonctionnalité de mappage des noms d'objets pour renommer un objet, la migration d'autres objets qui en dépendent peut échouer.
-
Pour utiliser des conditions WHERE afin de filtrer les données, cliquez avec le bouton droit sur la table à migrer dans la zone Selected Objects et spécifiez les conditions de filtrage dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez la rubrique Définir des conditions de filtrage.
-
Pour sélectionner les opérations SQL à migrer au niveau de la base de données ou de la table, cliquez avec le bouton droit sur l'objet de migration dans la zone Selected Objects et choisissez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Parameter
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé. Aucune sélection n'est requise. Si vous souhaitez une stabilité accrue pour vos tâches, vous pouvez acheter un cluster dédié pour exécuter les tâches de migration DTS.
Retry Time for Failed Connections
Une fois la tâche de migration démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser cette durée entre 10 et 1 440 minutes. Nous vous recommandons de définir une durée supérieure à 30 minutes. Si DTS se reconnecte aux bases de données source et de destination dans le délai spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue.
RemarquePour plusieurs instances DTS partageant la même source ou la même destination, le délai de nouvelle tentative réseau est déterminé par le paramétrage de la dernière tâche créée.
Étant donné que la tâche est facturée pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser le délai de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Une fois la tâche de migration démarrée, si un problème autre que la connectivité (tel qu'une exception d'exécution DDL ou DML) survient dans la base de données source ou de destination, DTS signale une erreur et tente immédiatement de relancer l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser ce délai entre 1 et 1 440 minutes. Nous vous recommandons de définir une durée supérieure à 10 minutes. Si les opérations concernées aboutissent dans le délai de nouvelle tentative spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur du paramètre Retry Time for Other Issues doit être inférieure à celle du paramètre Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Pendant la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation de débit pour la tâche de migration complète. Définissez les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s) afin de réduire la charge sur la base de données de destination.
RemarqueCet élément de configuration est disponible uniquement si vous sélectionnez l'option Full Data Migration pour le paramètre Migration Types.
Vous pouvez également ajuster la vitesse de migration complète une fois l'instance de migration en cours d'exécution.
Enable Throttling for Incremental Data Migration
Si nécessaire, vous pouvez également définir des limites de vitesse pour la tâche de migration incrémentielle. Définissez les paramètres RPS of Incremental Data Migration et Data migration speed for incremental migration (MB/s) afin de réduire la charge sur la base de données de destination.
RemarqueCet élément de configuration est disponible uniquement si vous sélectionnez l'option Incremental Data Migration pour le paramètre Migration Types.
Vous pouvez également ajuster la vitesse de migration incrémentielle une fois l'instance de migration en cours d'exécution.
Environment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance en fonction de vos besoins métier. Dans cet exemple, aucune sélection de tag d'environnement n'est requise.
Configure ETL
En fonction de vos besoins métier, indiquez si vous souhaitez configurer la fonctionnalité ETL pour traiter les données.
Yes : configure la fonctionnalité ETL. Vous devez également saisir les instructions de traitement des données dans la zone de texte.
No : ne configure pas la fonctionnalité ETL.
Monitoring and Alerting
Indiquez si vous souhaitez configurer des alertes et recevoir des notifications d'alerte en fonction de vos besoins métier.
No : ne configure pas d'alerte.
Yes : configurez les alertes en définissant un seuil d'alerte et un destinataire des notifications d'alerte. En cas d'échec de la migration ou si la latence dépasse le seuil, le système envoie une notification d'alerte.
-
Facultatif : Une fois les configurations précédentes terminées, cliquez sur Next: Configure Database and Table Fields pour définir le Type, la Primary Key Column, la Distribution Key ainsi que les informations de clé de partition (Partition Key, Partitioning Rules et Partition Lifecycle) pour les tables à migrer dans la base de données de destination.
RemarqueCette étape est disponible uniquement si vous avez sélectionné l'option Schema Migration pour le paramètre Migration Types. Pour modifier les paramètres, définissez Definition Status sur All.
Dans le champ Primary Key Column, vous pouvez sélectionner plusieurs colonnes pour former une clé primaire composite. Vous devez ensuite choisir une ou plusieurs colonnes parmi celles de la Primary Key Column pour servir de Distribution Key et de Partition Key. Pour plus d'informations, consultez la documentation CREATE TABLE.
-
-
Enregistrez la tâche et exécutez une prévérification.
Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle qui s'affiche.
Si vous n'avez pas besoin d'afficher les paramètres API ou si vous avez terminé leur consultation, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de migration, DTS effectue une prévérification. La tâche ne démarre qu'après validation de cette prévérification.
En cas d'échec de la prévérification, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème selon les instructions, puis relancez la prévérification.
-
Si un avertissement est émis lors de la prévérification :
Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème selon les instructions, puis relancez la prévérification.
Pour les éléments de vérification pouvant être ignorés, cliquez sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'élément d'avertissement et de relancer la prévérification. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la spécification de liaison pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.
Category
Parameter
Description
New Instance Class
Resource Group Settings
Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est « default resource group ». Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?
Instance Class
DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de liaison influence la vitesse de migration. Sélectionnez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications de liaison pour la migration de données.
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start, puis, dans la boîte de dialogue Purchase Confirmation qui s'affiche, cliquez sur Buy and Start.
Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks.
RemarqueSi la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Après l'arrêt de la tâche, son Status passe à Completed.
Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, le Status de la tâche est Running.