Migrer PolarDB for MySQL vers DataHub - Data Transmission Service

Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.

Depuis la console DTS

Connectez-vous à la Data Transmission Service (DTS) console.
Dans le volet de navigation de gauche, cliquez sur Data Migration.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de migration.

Depuis la console DMS

Remarque

Les opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez Console en mode simple et Personnaliser la disposition et le style de la console DMS.

Connectez-vous à la Data Management (DMS) console.
Dans la barre de menus supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Migration.
À droite de Data Migration Tasks, sélectionnez la région où se trouve l'instance de migration.

Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

Configurez les bases de données source et de destination.

Catégorie	Paramètre	Description
S/O	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Source Database	Select DMS Database Instance	Sélectionnez une instance existante si nécessaire. Si vous utilisez une instance existante, les informations de la base de données sont renseignées automatiquement. Vous n'avez pas besoin de les saisir à nouveau. Si vous n'utilisez pas d'instance existante, saisissez les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB for MySQL.
	Access Method	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance PolarDB for MySQL source.
	Cross-account	Cet exemple migre des données au sein du même compte Alibaba Cloud. Sélectionnez No.
	PolarDB Cluster ID	Sélectionnez l'ID du cluster PolarDB for MySQL source.
	Database Account	Saisissez le compte de base de données de l'instance PolarDB for MySQL source. Pour obtenir des informations sur les autorisations requises, consultez Autorisations requises pour les comptes de base de données.
	Database Password	Saisissez le mot de passe du compte de base de données.
	Encryption	Sélectionnez un type de connexion si nécessaire. Pour plus d'informations sur la fonctionnalité de chiffrement SSL, consultez Activer le chiffrement SSL.
Destination Database	Select DMS Database Instance	Sélectionnez une instance existante si nécessaire. Si vous utilisez une instance existante, les informations de la base de données sont renseignées automatiquement. Vous n'avez pas besoin de les saisir à nouveau. Si vous n'utilisez pas d'instance existante, saisissez les informations de base de données suivantes.
	Database Type	Sélectionnez DataHub.
	Access Method	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside le projet DataHub de destination.
	Project	Sélectionnez l'ID du projet DataHub de destination.

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

Remarque

Assurez-vous que les plages d'adresses IP du service DTS sont ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.

Configurez les objets de la tâche.

Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.

Paramètre	Description
Migration Types	Si vous devez uniquement effectuer une migration complète, sélectionnez à la fois Schema Migration et Full Data Migration. Pour effectuer une migration sans interruption de service, sélectionnez Schema Migration, Full Data Migration et Incremental Data Migration. Remarque Si vous ne sélectionnez pas Schema Migration, vous devez vous assurer qu'une base de données et des tables destinées à recevoir les données existent dans la base de données de destination. Vous pouvez également utiliser la fonctionnalité de mappage des noms d'objets dans la zone Selected Objects si nécessaire. Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez pas de nouvelles données dans l'instance source pendant la migration des données afin de garantir la cohérence des données.
Naming Rules of Additional Columns	DTS ajoute des colonnes aux tables de destination lors de la migration vers DataHub. Si ces noms de colonnes entrent en conflit avec des noms existants, la migration échoue. Sélectionnez New Rule ou Previous Rule en fonction de vos besoins métier. Avertissement Avant de sélectionner une règle, vérifiez si les noms des colonnes supplémentaires entrent en conflit avec les colonnes existantes dans les tables de destination. Pour plus d'informations sur les règles et les définitions des colonnes supplémentaires, consultez Noms et définitions des colonnes supplémentaires.
Processing Mode for Existing Destination Tables	Precheck and Report Errors : vérifie si des tables portant les mêmes noms existent dans la base de données de destination. Si aucune table portant les mêmes noms n'existe, la prévérification réussit. Si des tables portant les mêmes noms existent, une erreur est signalée lors de la prévérification et la tâche de migration des données ne démarre pas. Remarque Si une table de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier le nom de la table dans la base de données de destination. Pour plus d'informations, consultez Mappage des noms d'objets. Ignore Errors and Proceed : ignore la vérification des tables portant les mêmes noms. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et des risques métier. Par exemple : Si les schémas de table sont cohérents et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base de données source : Lors de la migration complète, DTS conserve l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source n'est pas migré. Lors de la migration incrémentielle, DTS ne conserve pas l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source écrase l'enregistrement dans la base de données de destination. Si les schémas de table sont incohérentes, seules certaines colonnes de données peuvent être migrées ou la migration peut échouer. Procédez avec prudence.
Case Sensitivity Policy for Destination Object Names	Configurez la politique de sensibilité à la casse pour les noms de bases de données, de tables et de colonnes des objets de migration dans l'instance de destination. Par défaut, l'option DTS default policy est sélectionnée. Vous pouvez également vous aligner sur la politique par défaut de la base de données source ou de destination. Pour plus d'informations, consultez Politique de sensibilité à la casse pour les noms d'objets de destination.
Source Objects	Sélectionnez un ou plusieurs objets dans la section Source Objects. Cliquez sur l'icône et ajoutez les objets à la section Selected Objects. Remarque Sélectionnez des bases de données ou des tables comme objets de migration. Si vous sélectionnez des tables, d'autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas migrés.
Selected Objects	Pour modifier le nom d'un seul objet de migration dans l'instance cible, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations, consultez Mapper les noms individuels de schémas, de tables et de colonnes. Pour modifier les noms de plusieurs objets de migration dans l'instance cible, cliquez sur Selected Objects dans le coin supérieur droit de la zone Batch Edit. Pour plus d'informations, consultez Mapper plusieurs noms de schémas, de tables et de colonnes. Remarque Si vous utilisez le mappage des noms d'objets, la migration d'autres objets qui dépendent de l'objet renommé peut échouer. Pour filtrer les données à l'aide de clauses WHERE, faites un clic droit sur la table à migrer dans le panneau Selected Objects et spécifiez les conditions de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Définir les conditions de filtre. Pour sélectionner les opérations SQL à migrer au niveau de la base de données ou de la table, faites un clic droit sur l'objet de migration dans le panneau Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche. Lors d'une migration au niveau de la table, vous pouvez définir la Shardkey (clé de partitionnement) en faisant un clic droit sur la table dans le panneau Selected Objects et en désélectionnant l'option Sync All Columns dans la boîte de dialogue qui s'affiche.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Paramètre	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé. Vous n'avez pas besoin d'en sélectionner un. Si vous souhaitez des tâches plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de migration DTS.
Retry Time for Failed Connections	Une fois la tâche de migration démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser la durée de nouvelle tentative avec une valeur comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à plus de 30 minutes. Si DTS se reconnecte aux bases de données source et de destination dans la durée spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Remarque Pour plusieurs instances DTS partageant la même source ou la même destination, la durée de nouvelle tentative réseau est déterminée par le paramétrage de la dernière tâche créée. Étant donné que vous êtes facturé pour la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier, ou de libérer l'instance DTS dès que possible après la libération des instances de bases de données source et de destination.
Retry Time for Other Issues	Une fois la tâche de migration démarrée, si un problème autre qu'un problème de connectivité, tel qu'une exception d'exécution DDL ou DML, se produit dans la base de données source ou de destination, DTS signale une erreur et commence immédiatement à retenter l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser la durée de nouvelle tentative avec une valeur comprise entre 1 et 1 440 minutes. Nous vous recommandons de définir la durée à plus de 10 minutes. Si les opérations associées réussissent dans la durée de nouvelle tentative spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à la valeur de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Lors de la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation de débit pour la tâche de migration complète. Vous pouvez définir les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s) pour réduire la charge sur la base de données de destination. Remarque Cet élément de configuration est disponible uniquement si vous sélectionnez Full Data Migration pour Migration Types. Vous pouvez également ajuster la vitesse de migration complète une fois que l'instance de migration est en cours d'exécution.
Enable Throttling for Incremental Data Migration	Si nécessaire, vous pouvez également choisir de définir des limites de vitesse pour la tâche de migration incrémentielle. Vous pouvez définir les paramètres RPS of Incremental Data Migration et Data migration speed for incremental migration (MB/s) pour réduire la charge sur la base de données de destination. Remarque Cet élément de configuration est disponible uniquement si vous sélectionnez Incremental Data Migration pour Migration Types. Vous pouvez également ajuster la vitesse de migration incrémentielle une fois que l'instance de migration est en cours d'exécution.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : Les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard. No : Écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Yes	Sélectionnez une balise d'environnement pour identifier l'instance. Non requis pour cet exemple.
Configure ETL	En fonction de vos besoins métier, choisissez de configurer ou non la fonctionnalité ETL pour traiter les données. Environment Tag : Configure la fonctionnalité ETL. Vous devez également saisir des instructions de traitement des données dans la zone de texte. No : Ne configure pas la fonctionnalité ETL.
Yes	Choisissez de définir ou non des alertes et de recevoir des notifications d'alerte en fonction de vos besoins métier. No : Ne définit pas d'alerte. Monitoring and Alerting : Configurez les alertes en définissant un seuil d'alerte et des notifications d'alerte. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.

Enregistrez la tâche et exécutez une prévérification.

Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Yes dans la bulle qui s'affiche.
Si vous n'avez pas besoin d'afficher ou avez terminé d'afficher les paramètres de l'API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

Remarque

Avant le démarrage de la tâche de migration, DTS effectue une prévérification. La tâche ne démarre qu'après avoir réussi la prévérification.
Si la prévérification échoue, cliquez sur Preview OpenAPI parameters à côté de l'élément de vérification ayant échoué, corrigez le problème selon l'invite, puis relancez la prévérification.
Si un avertissement est signalé lors de la prévérification :
- Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème selon l'invite, puis relancez la prévérification.
- Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur View Details, View Details, Confirm Alert Details et Ignore pour ignorer l'élément d'avertissement et relancer la prévérification. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et poser des risques pour votre activité.

Achetez l'instance.

Lorsque le OK atteint 100 %, cliquez sur Precheck Again.

Sur la page Success Rate, sélectionnez la spécification de liaison pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.

Catégorie	Paramètre	Description
Next: Purchase Instance	Purchase	Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?
Next: Purchase Instance	New Instance Class	DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de liaison affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Spécifications de liaison pour la migration de données.

Une fois la configuration terminée, lisez et acceptez les Resource Group Settings.
Cliquez sur Instance Class. Dans la boîte de dialogue Data Transmission Service (Pay-as-you-go) Service Terms qui s'affiche, cliquez sur Buy and Start.

Vous pouvez consulter la progression de la tâche de migration sur la page de liste OK.
Remarque
- Si la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Une fois la tâche arrêtée, son OK passe à Data Migration Tasks.
- Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, le Status de la tâche est Completed.

Utilisez Data Transmission Service (DTS) pour migrer les données d'un cluster PolarDB for MySQL vers un projet DataHub.

Prérequis

Vous avez créé un projet DataHub de destination. Pour plus d'informations, consultez Démarrage rapide.
DataHub a été activé et un projet a été créé pour recevoir les données migrées. Pour plus d'informations, consultez Démarrage rapide et Gérer les projets.
Le projet DataHub de destination doit disposer de plus d'espace de stockage que celui actuellement utilisé par le cluster PolarDB for MySQL source.

Limitations

Remarque

DTS ne migre pas les clés étrangères. Par conséquent, les opérations en cascade telles que la suppression en cascade dans la base de données source ne sont pas répliquées dans la base de données de destination.

Catégorie	Description
Limitations de la base de données source	Exigences en matière de bande passante : le serveur qui héberge la base de données source doit disposer d'une bande passante sortante suffisante. Sinon, la vitesse de migration des données sera affectée. Les tables à migrer doivent posséder une clé primaire ou une contrainte d'unicité, et les valeurs des colonnes doivent être uniques. Sinon, des données en double peuvent apparaître dans la base de données de destination. Si vous migrez des données au niveau de la table et devez effectuer des modifications telles que le mappage de colonnes, une seule tâche de migration de données prend en charge un maximum de 1 000 tables. Pour migrer davantage de tables, nous vous recommandons de les répartir dans plusieurs tâches ou de configurer une tâche pour migrer la base de données entière. Sinon, une erreur de requête peut se produire après la soumission de la tâche. Si vous effectuez une migration incrémentielle : Vous devez activer la journalisation binaire et définir le paramètre loose_polar_log_bin sur on. Sinon, la prévérification signale une erreur et la tâche de migration des données ne peut pas démarrer. Pour plus d'informations sur l'activation de la journalisation binaire et la modification des paramètres, consultez Activer la journalisation binaire et Modifier les paramètres. Remarque L'activation de la journalisation binaire pour un cluster PolarDB for MySQL consomme de l'espace de stockage et entraîne des frais de stockage. Les journaux binaires du cluster PolarDB for MySQL doivent être conservés pendant au moins 3 jours. Nous vous recommandons une période de conservation de 7 jours. Sinon, DTS peut ne pas réussir à obtenir les journaux binaires, ce qui peut entraîner l'échec de la tâche. Dans des cas extrêmes, cela peut provoquer une incohérence des données ou une perte de données. Les problèmes causés par une période de conservation des journaux binaires inférieure à l'exigence de DTS ne sont pas couverts par l'accord de niveau de service (SLA) de DTS. Remarque Pour plus d'informations sur la définition de la période de conservation des journaux binaires d'un cluster PolarDB for MySQL, consultez Modifier la période de conservation. N'effectuez pas d'opérations DDL modifiant le schéma d'une base de données ou d'une table pendant la migration du schéma. Sinon, la tâche de migration des données échoue.
Autres limitations	Un seul champ String dans DataHub peut atteindre une longueur maximale de 2 Mo. Seule la migration de données au niveau de la table est prise en charge. Si vous ajoutez une colonne à une table source en cours de migration, les données de cette nouvelle colonne ne seront pas migrées. DTS ne peut pas migrer les nœuds en lecture seule d'un cluster PolarDB for MySQL source. DTS ne prend pas en charge la migration des tables externes OSS depuis l'instance PolarDB for MySQL source. DTS ne prend pas en charge les scénarios de basculement principal/secondaire pour l'instance de base de données pendant la migration complète des données. Dans un tel scénario, reconfigurez rapidement la tâche de migration. La migration complète des données consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter leur charge. Nous vous recommandons d'évaluer les performances des deux bases de données et d'effectuer la migration pendant les heures creuses. Pour les colonnes de type FLOAT ou DOUBLE, DTS utilise `ROUND(COLUMN,PRECISION)` pour lire les valeurs. Si vous ne définissez pas explicitement la précision, DTS utilise une précision de migration par défaut de 38 chiffres pour FLOAT et de 308 chiffres pour DOUBLE. Assurez-vous que la précision répond à vos exigences. DTS tente de reprendre une tâche de migration ayant échoué dans un délai de sept jours. Avant d'effectuer un basculement de charge de travail vers l'instance de destination, vous devez arrêter ou libérer l'instance de migration. Vous pouvez également exécuter la commande `REVOKE` pour révoquer les autorisations d'écriture du compte utilisé par DTS pour accéder à l'instance de destination. Cela empêche la tâche de reprendre automatiquement et d'écraser les données dans l'instance de destination. N'utilisez pas d'outils tels que pt-online-schema-change pour effectuer des opérations DDL en ligne sur les objets de migration dans la base de données source. Sinon, la migration échoue. Si une tâche échoue, le personnel d'assistance DTS tentera de la restaurer dans un délai de huit heures. Lors de la restauration, ils peuvent redémarrer la tâche ou ajuster ses paramètres. Remarque Seuls les paramètres de tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans Modifier les paramètres de l'instance.
Autres remarques	DTS exécute périodiquement la commande CREATE DATABASE IF NOT EXISTS `test` sur la base de données source pour faire avancer la position du journal binaire.

Facturation

Type de migration	Frais de configuration de l'instance	Frais de trafic Internet
Migration de schéma et migration complète des données	Gratuit.	Lorsque le paramètre Access Method de la base de données de destination est défini sur Public IP Address, des frais de trafic Internet vous sont facturés. Pour plus d'informations, consultez Présentation de la facturation.
Migration incrémentielle des données	Facturé. Pour plus d'informations, consultez Présentation de la facturation.

Types de migration

Migration de schéma

DTS migre les définitions de schéma des objets de migration de la base de données source vers la base de données de destination.
Migration incrémentielle

Une fois la migration complète terminée, DTS migre les mises à jour incrémentielles des données de la base de données source vers la base de données de destination. La migration incrémentielle vous permet de migrer les données en toute transparence sans interrompre vos applications gérées en interne.

Opérations SQL pour la migration incrémentielle

Type d'opération	Instruction SQL
DML	INSERT, UPDATE, DELETE
DDL	ADD COLUMN Important Si vous modifiez manuellement la structure de la table dans la base de données cible, redémarrez la tâche : mettre en pause puis démarrer la tâche.

Autorisations requises pour les comptes de base de données

Base de données

Autorisations requises

Compte et autorisations

Cluster PolarDB for MySQL

Autorisations de lecture sur les objets de migration

Créer et gérer des comptes de base de données