Vous pouvez utiliser Data Transmission Service (DTS) pour migrer des données d'une instance PolarDB-X 1,0 vers une instance AnalyticDB for PostgreSQL. Cette solution vous permet de transférer et de centraliser facilement vos données à des fins d'analyse.
Prérequis
Le type de stockage pour PolarDB-X 1,0 doit être ApsaraDB RDS for MySQL. PolarDB for MySQL n'est pas pris en charge actuellement.
Vous avez créé une instance de destination AnalyticDB for PostgreSQL. L'instance de destination doit disposer d'une capacité de stockage supérieure à l'espace utilisé par l'instance source PolarDB-X 1,0. Pour plus d'informations, consultez la rubrique Créer une instance.
Vous avez créé une base de données dans l'instance de destination AnalyticDB for PostgreSQL afin de recevoir les données migrées. Pour plus d'informations, consultez la rubrique CREATE DATABASE.
Notes d'utilisation
Type | Description |
Limitations de la base de données source |
|
Autres limitations |
|
Facturation
|
Type de migration |
Frais de configuration du lien |
Frais de trafic public |
|
Migration de schéma et migration complète des données |
Gratuit. |
Aucun frais n'est facturé dans ce tutoriel. |
|
Migration incrémentielle des données |
Facturé. Pour plus d'informations, consultez la rubrique Présentation de la facturation. |
Instructions SQL prises en charge pour la migration incrémentielle
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT, UPDATE, DELETE Remarque Le système convertit automatiquement une instruction UPDATE en instruction REPLACE INTO lors de l'écriture dans l'instance de destination AnalyticDB for PostgreSQL. Si une instruction UPDATE modifie une clé primaire, le système la convertit en instructions DELETE et INSERT. |
Autorisations requises pour les comptes de base de données
|
Base de données |
Migration de schéma |
Migration complète des données |
Migration incrémentielle des données |
|
Instance source PolarDB-X 1,0 |
SELECT |
SELECT |
Autorisations de lecture et d'écriture sur les objets de migration. |
|
Instance de destination AnalyticDB for PostgreSQL |
Autorisations de lecture et d'écriture sur la base de données de destination. Remarque
Vous pouvez également utiliser le compte initial ou un compte disposant de l'autorisation RDS_SUPERUSER. |
||
Pour plus d'informations sur la création d'un compte de base de données et l'octroi d'autorisations, consultez les rubriques suivantes :
Pour une instance PolarDB-X 1,0, consultez la rubrique Gérer les comptes.
Pour une instance AnalyticDB for PostgreSQL, consultez les rubriques Créer et gérer des utilisateurs et Gérer les autorisations des utilisateurs.
Procédure
-
Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.
Depuis la console DTS
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez Console en mode simple et Personnaliser la disposition et le style de la console DMS.
Cliquez sur Create Task pour accéder à la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Catégorie
Paramètre
Description
S.O.
Data Migration
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Data + AI
Data Transmission (DTS)
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement.
RemarqueDans la console DMS, ce paramètre est nommé Data Migration.
Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Data Migration Tasks
Sélectionnez Create Task.
Task Name
Sélectionnez Source Database.
Instance Region
Sélectionnez la région où réside l'instance PolarDB-X 1,0 source.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple migre des données au sein du même compte Alibaba Cloud. Sélectionnez Database Type.
PolarDB-X 1.0
Sélectionnez l'ID de l'instance PolarDB-X 1,0 source.
Access Method
Saisissez le compte de base de données de l'instance PolarDB-X 1,0 source. Pour plus d'informations sur les autorisations requises, consultez Autorisations requises pour les comptes de base de données.
Alibaba Cloud Instance
Saisissez le mot de passe correspondant au compte de base de données.
Destination Database
Select Existing Connection
Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement.
RemarqueDans la console DMS, ce paramètre est nommé Select a DMS database instance..
Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
Instance ID
Sélectionnez Database Account.
Database Password
Sélectionnez Alibaba Cloud Instance.
Select Existing Connection
Sélectionnez la région où réside l'instance AnalyticDB for PostgreSQL de destination.
Select a DMS database instance.
Sélectionnez l'ID de l'instance AnalyticDB for PostgreSQL de destination.
Database Type
Saisissez le nom de la base de données dans l'instance AnalyticDB for PostgreSQL de destination qui recevra les objets migrés.
AnalyticDB for PostgreSQL
Saisissez le compte de base de données de l'instance AnalyticDB for PostgreSQL de destination. Pour plus d'informations sur les autorisations requises, consultez Autorisations requises pour les comptes de base de données.
Access Method
Saisissez le mot de passe correspondant au compte de base de données.
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages d'adresses IP du service DTS sont ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.
Paramètre
Description
Migration Types
Si vous devez uniquement effectuer une migration complète, sélectionnez à la fois Instance Region et Instance ID.
Pour effectuer une migration sans interruption de service, sélectionnez Database Name, Database Account et Database Password.
RemarqueSi vous ne sélectionnez pas Test Connectivity and Proceed, vous devez vous assurer qu'une base de données et des tables destinées à recevoir les données existent dans la base de données de destination. Vous pouvez également utiliser la fonctionnalité de mappage de noms d'objets dans la zone Configure Objects selon vos besoins.
Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez pas de nouvelles données dans l'instance source pendant la migration des données afin de garantir la cohérence des données.
Schema Migration
Full Data Migration : vérifie si des tables portant les mêmes noms existent dans la base de données de destination. Si aucune table portant le même nom n'existe, la prévérification est réussie. Si des tables portant les mêmes noms existent, une erreur est signalée lors de la prévérification et la tâche de migration des données ne démarre pas.
RemarqueSi une table de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier le nom de la table dans la base de données de destination. Pour plus d'informations, consultez Mappage de noms d'objets.
Schema Migration : ignore la vérification des tables portant les mêmes noms.
AvertissementLa sélection de Full Data Migration peut entraîner une incohérence des données et des risques commerciaux. Par exemple :
Si les schémas de table sont cohérents et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base de données source :
Lors de la migration complète, DTS conserve l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source n'est pas migré.
Lors de la migration incrémentielle, DTS ne conserve pas l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
Si les schémas de table sont incohérents, seules certaines colonnes de données peuvent être migrées, ou la migration peut échouer. Agissez avec prudence.
Incremental Data Migration
Sélectionnez un moteur de stockage pour les tables de destination en fonction de vos besoins métier. La valeur par défaut est Beam.
RemarqueCe paramètre est disponible uniquement si l'instance AnalyticDB for PostgreSQL de destination dispose d'une version de noyau v7.0.6.6 ou ultérieure et si vous avez sélectionné Schema Migration pour le paramètre Selected Objects.
Capitalization of Object Names in Destination Instance
Vous pouvez configurer la politique de sensibilité à la casse pour les noms des objets migrés, tels que les bases de données, les tables et les colonnes, dans l'instance de destination. Par défaut, Processing Mode of Conflicting Tables est sélectionné. Vous pouvez également choisir de maintenir la sensibilité à la casse cohérente avec la politique par défaut de la base de données source ou de destination. Pour plus d'informations, consultez Sensibilité à la casse des noms d'objets dans la base de données de destination.
Precheck and Report Errors
Dans la zone Ignore Errors and Proceed, cliquez sur les objets à migrer, puis cliquez sur
pour les déplacer vers la zone Ignore Errors and Proceed.RemarqueSélectionnez les objets à migrer au niveau de la table. Si vous sélectionnez une base de données entière, les modifications apportées pour ajouter ou supprimer des tables dans cette base de données ne seront pas migrées vers la destination.
Storage Engine Type
-
Pour modifier le nom d'un seul objet de migration dans l'instance cible, faites un clic droit sur l'objet dans la zone Migration Types. Pour plus d'informations, consultez Mapper les noms de schéma, de table et de colonne individuels.
-
Pour modifier les noms de plusieurs objets de migration dans l'instance cible, cliquez sur Schema Migration dans le coin supérieur droit de la zone Batch Edit. Pour plus d'informations, consultez Mapper les noms de schéma, de table et de colonne multiples.
Remarque-
Si vous utilisez la fonctionnalité de mappage de noms d'objets, d'autres objets qui dépendent de l'objet renommé risquent de ne pas être migrés.
-
Pour filtrer les données à l'aide d'une clause WHERE, faites un clic droit sur une table dans le panneau DTS default policy et spécifiez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Définir les conditions de filtre.
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Source Objects
Par défaut, DTS planifie les tâches sur un cluster partagé. Vous n'avez pas besoin d'en sélectionner un. Si vous souhaitez des tâches plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de migration DTS.
Sélectionnez si vous souhaitez définir des alertes et recevoir des notifications d'alerte en fonction de vos besoins métier.
Source Objects : ne définit pas d'alerte.
Selected Objects : configurez les alertes en définissant un seuil d'alerte et des notifications d'alerte. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.
Selected Objects
Après le démarrage de la tâche de migration, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser la durée de nouvelle tentative à une valeur comprise entre 10 et 1440 minutes. Nous vous recommandons de définir la durée à plus de 30 minutes. Si DTS se reconnecte aux bases de données source et de destination dans la durée spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue.
RemarquePour plusieurs instances DTS partageant la même source ou destination, le temps de nouvelle tentative réseau est déterminé par le paramètre de la dernière tâche créée.
Étant donné que vous êtes facturé pour la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier, ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Selected Objects
Après le démarrage de la tâche de migration, si un problème autre que la connectivité, tel qu'une exception d'exécution DDL ou DML, se produit dans la base de données source ou de destination, DTS signale une erreur et commence immédiatement à retenter l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser la durée de nouvelle tentative à une valeur comprise entre 1 et 1440 minutes. Nous vous recommandons de définir la durée à plus de 10 minutes. Si les opérations associées réussissent dans la durée de nouvelle tentative spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Selected Objects doit être inférieure à la valeur de Retry Time for Failed Connections.
Selected Objects
Lors de la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation de débit pour la tâche de migration complète. Vous pouvez définir Next: Advanced Settings, Dedicated Cluster for Task Scheduling et Data migration speed for full migration (MB/s) pour réduire la charge sur la base de données de destination.
RemarqueCet élément de configuration est disponible uniquement si vous sélectionnez Full Data Migration pour Migration Types.
Vous pouvez également ajuster la vitesse de migration complète après le démarrage de l'instance de migration.
Retry Time for Other Issues
Si nécessaire, vous pouvez également choisir de définir des limites de vitesse pour la tâche de migration incrémentielle. Vous pouvez définir Retry Time for Other Issues et Retry Time for Failed Connections pour réduire la charge sur la base de données de destination.
RemarqueCet élément de configuration est disponible uniquement si vous sélectionnez Enable Throttling for Full Data Migration pour Queries per second (QPS) to the source database.
Vous pouvez également ajuster la vitesse de migration incrémentielle après le démarrage de l'instance de migration.
RPS of Full Data Migration
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance en fonction de vos besoins métier. Aucun tag n'est sélectionné dans ce tutoriel.
Configure ETL
En fonction de vos besoins métier, sélectionnez si vous souhaitez configurer la fonctionnalité ETL pour traiter les données.
Yes : configure la fonctionnalité ETL. Vous devez également saisir des instructions de traitement des données dans la zone de texte.
No : ne configure pas la fonctionnalité ETL.
Enable Throttling for Incremental Data Migration
Sélectionnez si vous souhaitez définir des alertes et recevoir des notifications d'alerte en fonction de vos besoins métier.
No : ne définit pas d'alerte.
Yes : configurez les alertes en définissant un seuil d'alerte et des notifications d'alerte. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.
-
Facultatif : Cliquez sur Next: Configure Database and Table Fields pour définir le Type, la Primary Key Column et la Distribution Key pour les tables à migrer vers l'instance AnalyticDB for PostgreSQL de destination.
RemarqueCette étape est disponible uniquement si vous sélectionnez Schema Migration pour Migration Types lors de la configuration des objets de migration. Vous pouvez sélectionner All pour Definition Status puis apporter des modifications.
Vous pouvez sélectionner plusieurs colonnes pour Primary Key Column afin de former une clé primaire composite. Vous devez également sélectionner une ou plusieurs colonnes de la Primary Key Column comme Distribution Key. Pour plus d'informations, consultez Gérer les tables de données et Définir la distribution des tables.
-
-
Enregistrez la tâche et exécutez une prévérification.
Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle qui apparaît.
Si vous n'avez pas besoin d'afficher ou si vous avez terminé d'afficher les paramètres de l'API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de migration, DTS effectue une prévérification. La tâche ne démarre qu'après avoir réussi la prévérification.
Si la prévérification échoue, cliquez sur View Details à côté de l'élément de vérification ayant échoué, corrigez le problème en suivant les instructions, puis relancez la prévérification.
-
Si un avertissement est signalé lors de la prévérification :
Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème en suivant les instructions, puis relancez la prévérification.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'élément d'avertissement et relancer la prévérification. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la spécification de lien pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.
Catégorie
Paramètre
Description
Incremental Data Migration
Migration Types
Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?
Environment Tag
DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de lien affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Spécifications de lien de migration de données.
Une fois la configuration terminée, lisez et acceptez les <!--@uicontrol {"id":"d8e4a2757dm8a","data-isbold="true"}-->Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK qui apparaît, cliquez sur OK.
Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks.
RemarqueSi la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Une fois la tâche arrêtée, son Status passe à Completed.
Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, le Status de la tâche est Running.