Migrate data between ApsaraDB RDS for MariaDB instances - Data Transmission Service

Prérequis

Créez une instance de destination ApsaraDB RDS for MariaDB. Pour plus d'informations, consultez la rubrique Créer une instance ApsaraDB RDS for MariaDB.
L'espace de stockage disponible de l'instance de destination ApsaraDB RDS for MariaDB doit être supérieur à l'espace de stockage utilisé par l'instance source ApsaraDB RDS for MariaDB.

Limites

Remarque

DTS migre les clés étrangères lors de la migration du schéma.
Pendant les phases de migration complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les cascades de clés étrangères au niveau de la session. Les mises à jour ou suppressions en cascade dans la base de données source pendant l'exécution de la tâche peuvent entraîner des incohérences de données.

Type	Description
Limites de la base de données source	Le serveur hébergeant la base de données source doit disposer d'une bande passante sortante suffisante. À défaut, la vitesse de migration sera réduite. Les tables à migrer doivent posséder une clé primaire ou une contrainte d'unicité, et les champs inclus dans cette contrainte doivent contenir des valeurs uniques. Sinon, des données en double risquent d'apparaître dans la base de données de destination. Si vous migrez des données au niveau des tables et devez modifier des objets tels que les mappages de noms de tables ou de colonnes, une seule tâche de migration prend en charge jusqu'à 1 000 tables. Si vous dépassez cette limite, une erreur de requête s'affiche lors de la soumission de la tâche. Dans ce cas, nous vous recommandons de répartir les tables sur plusieurs tâches de migration ou de migrer la base de données entière via une seule tâche. Si vous effectuez une migration incrémentielle des données, les journaux binaires doivent respecter les exigences suivantes : La journalisation binaire doit être activée, avec le paramètre `binlog_format` défini sur `ROW` et le paramètre `binlog_row_image` défini sur `FULL`. À défaut, la prévérification échoue et la tâche de migration des données ne peut pas démarrer. Si vous n'effectuez qu'une migration incrémentielle des données, les journaux binaires locaux de la base de données source doivent être conservés pendant plus de 24 heures. Si vous effectuez à la fois une migration complète et une migration incrémentielle des données, les journaux binaires doivent être conservés pendant au moins 7 jours. Vous pouvez réduire la période de conservation à plus de 24 heures une fois la migration complète des données terminée. Si la période de conservation est trop courte, DTS peut ne pas parvenir à récupérer les journaux binaires, ce qui entraîne l'échec de la tâche ou, dans les cas extrêmes, une perte ou une incohérence des données. Le SLA de DTS ne couvre pas les problèmes causés par une rétention insuffisante des journaux binaires. Pendant les phases de migration du schéma et de migration complète, n'effectuez pas d'opérations DDL modifiant le schéma de la base de données ou des tables. Sinon, la tâche de migration des données échouera. Remarque Pendant la phase de migration complète, DTS interroge la base de données source. Cela crée un verrouillage des métadonnées, susceptible de bloquer les opérations DDL sur la base de données source. Si vous n'effectuez qu'une migration complète des données, n'écrivez pas de nouvelles données dans la base de données source. Sinon, des incohérences de données apparaîtront entre les bases de données source et de destination. Pour maintenir la cohérence des données en temps réel, sélectionnez les options Migration du schéma, Migration complète des données et Migration incrémentielle des données.
Autres limites	Évaluez les performances des bases de données source et de destination avant de commencer. Nous vous recommandons d'effectuer la migration pendant les heures creuses. Lors de la migration complète des données, DTS consomme des ressources de lecture et d'écriture sur les deux bases de données, ce qui peut augmenter la charge du serveur. Pendant la migration complète des données, les opérations `INSERT` simultanées provoquent une fragmentation des tables dans la base de données de destination. Par conséquent, les tables de la base de données de destination peuvent occuper plus d'espace de stockage que celles de l'instance source. Vérifiez que la précision de migration pour les colonnes `FLOAT` ou `DOUBLE` répond à vos besoins métier. DTS lit les valeurs de ces colonnes à l'aide de la fonction `ROUND(COLUMN,PRECISION)`. Si vous ne spécifiez pas la précision, DTS utilise 38 chiffres pour les colonnes `FLOAT` et 308 chiffres pour les colonnes `DOUBLE`. DTS tente de reprendre les tâches de migration ayant échoué dans un délai de sept jours. Avant de basculer votre activité vers l'instance de destination, arrêtez ou libérez la tâche. Vous pouvez également utiliser la commande `REVOKE` pour révoquer les autorisations d'écriture du compte utilisé par DTS pour accéder à l'instance de destination. Cela empêche la tâche reprise d'écraser les données de l'instance de destination. Si une instruction DDL échoue lors de l'écriture dans la base de données de destination, la tâche DTS se poursuit. Vous pouvez consulter l'instruction DDL ayant échoué dans les journaux de la tâche. Pour plus d'informations, consultez la rubrique Interroger les journaux des tâches. Assurez-vous qu'aucune colonne invisible n'existe dans les tables source ou de destination. Sinon, l'instance de migration des données risque d'échouer ou des données peuvent être perdues. En cas d'échec d'une tâche, l'équipe d'assistance DTS tentera de la restaurer dans un délai de huit heures. Pendant la restauration, elle peut redémarrer la tâche ou ajuster ses paramètres. Remarque Seuls les paramètres de la tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans la rubrique Modifier les paramètres de l'instance.
Cas particuliers	Si la destination est une instance ApsaraDB RDS for MariaDB DTS crée automatiquement une base de données dans l'instance ApsaraDB RDS for MariaDB. Toutefois, si un nom de base de données n'est pas conforme aux conventions de nommage d'ApsaraDB RDS for MariaDB, vous devez créer manuellement la base de données dans l'instance de destination avant de configurer la tâche de migration. Pour plus d'informations, consultez la rubrique Créer une base de données et un compte.

Facturation

Type de migration	Frais de configuration de liaison
Migration complète des données	Gratuit.
Migration incrémentielle des données	Payant. Pour plus d'informations, consultez la rubrique Présentation de la facturation.

Types de migration

Migration du schéma

DTS migre les schémas des objets sélectionnés de la base de données source vers la base de données de destination.
Migration complète des données

DTS migre toutes les données existantes des objets sélectionnés de la base de données source vers la base de données de destination.
Migration incrémentielle des données

Après la migration complète, DTS réplique continuellement les modifications incrémentielles des données de la base de données source vers la base de données de destination, minimisant ainsi les temps d'arrêt liés à votre migration.

Opérations SQL prises en charge pour la migration incrémentielle

Type d'opération	Instruction SQL
DML	INSERT, UPDATE, DELETE
DDL	ALTER TABLE, ALTER VIEW CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE, CREATE VIEW DROP INDEX, DROP TABLE RENAME TABLE Important Une opération RENAME TABLE peut provoquer des incohérences de données. Par exemple, si vous ne sélectionnez qu'une seule table comme objet de migration et que vous renommez cette table dans l'instance source pendant la migration, les données de cette table ne seront pas migrées vers la base de données de destination. Pour éviter ce problème, sélectionnez la base de données entière à laquelle appartient la table comme objet de migration lors de la configuration de la tâche de migration des données. Assurez-vous que les bases de données auxquelles la table appartient avant et après l'opération RENAME TABLE sont toutes deux incluses dans les objets de migration. TRUNCATE TABLE

Autorisations requises pour les comptes de base de données

Base de données	Migration du schéma	Migration complète des données	Migration incrémentielle des données
Instance source ApsaraDB RDS for MariaDB	Autorisation SELECT	Autorisation SELECT	Autorisations de lecture et d'écriture
Instance de destination ApsaraDB RDS for MariaDB	Autorisations de lecture et d'écriture	Autorisations de lecture et d'écriture	Autorisations de lecture et d'écriture

Pour savoir comment créer un compte de base de données et accorder des autorisations sur une instance ApsaraDB RDS for MariaDB, consultez les rubriques Créer un compte et Modifier ou réinitialiser les autorisations d'un compte.

Procédure

Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.
Depuis la console DTS
1. Connectez-vous à la console Data Transmission Service (DTS).
2. Dans le volet de navigation de gauche, cliquez sur Data Migration.
3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de migration.
Depuis la console DMS

Remarque
Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Console en mode simple et Personnaliser la disposition et le style de la console DMS.
1. Connectez-vous à la console Data Management (DMS).
2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Migration.
3. À droite de Data Migration Tasks, sélectionnez la région où se trouve l'instance de migration.
Cliquez sur Create Task pour accéder à la page de configuration de la tâche.
Facultatif : Dans le coin supérieur droit de la page, cliquez sur New Configuration Page.
Remarque
- Si vous êtes déjà sur la nouvelle page de configuration (le bouton dans le coin supérieur droit est Back to Previous Version), vous pouvez ignorer cette étape.
- Les paramètres des pages de configuration ancienne et nouvelle diffèrent. Nous vous recommandons d'utiliser la nouvelle page de configuration.

Configurez les bases de données source et de destination.

Catégorie	Paramètre	Description
N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons d'utiliser un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database	Select Existing Connection	Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de la base de données ci-dessous seront automatiquement configurées. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance.. Si vous n'avez pas enregistré l'instance de base de données dans le système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de la base de données ci-dessous.
	Database Type	Sélectionnez MariaDB.
	Access Method	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance ApsaraDB RDS for MariaDB source.
	Cross-account	Cette rubrique décrit comment migrer des données au sein du même compte Alibaba Cloud. Sélectionnez No.
	Instance ID	Sélectionnez l'ID de l'instance ApsaraDB RDS for MariaDB source.
	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB RDS for MariaDB source. Pour connaître les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
	Database Password	Saisissez le mot de passe du compte de base de données.
	Connection Method	Le paramètre par défaut pour les instances ApsaraDB RDS for MariaDB est Non-encrypted.
Destination Database	Select Existing Connection	Pour utiliser une instance de base de données qui a été ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de la base de données ci-dessous seront automatiquement configurées. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance.. Si vous n'avez pas enregistré l'instance de base de données dans le système ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de la base de données ci-dessous.
	Database Type	Sélectionnez MariaDB.
	Access Method	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside l'instance ApsaraDB RDS for MariaDB de destination.
	RDS Instance ID	Sélectionnez l'ID de l'instance ApsaraDB RDS for MariaDB de destination.
	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB RDS for MariaDB de destination.
	Database Password	Saisissez le mot de passe du compte de base de données.
	Connection Method	Le paramètre par défaut pour les instances ApsaraDB RDS for MariaDB est Non-encrypted.

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
Remarque
- Assurez-vous que la plage d'adresses IP du service DTS est ajoutée automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination afin d'autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.
- Si la base de données source ou de destination est une base de données gérée par vos soins (le paramètre Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers qui s'affiche.

Configurez les objets de la tâche.

Sur la page Configure Objects, configurez les objets que vous souhaitez migrer.

Paramètre	Description
Migration Types	Si vous ne devez effectuer qu'une migration complète, sélectionnez à la fois Schema Migration et Full Data Migration. Pour effectuer une migration sans temps d'arrêt, sélectionnez Schema Migration, Full Data Migration et Incremental Data Migration. Remarque Si vous ne sélectionnez pas Schema Migration, vous devez vous assurer qu'une base de données et des tables destinées à recevoir les données existent dans la base de données de destination. Vous pouvez également utiliser la fonctionnalité de mappage de noms d'objets dans la zone Selected Objects selon vos besoins. Si vous ne sélectionnez pas Incremental Data Migration, n'écrivez pas de nouvelles données dans l'instance source pendant la migration des données afin de garantir la cohérence des données.
Method to Migrate Triggers in Source Database	Sélectionnez une méthode de migration des déclencheurs en fonction de vos besoins métier. Si aucun déclencheur ne doit être migré, il n'est pas nécessaire de configurer ce paramètre. Pour plus d'informations, consultez la rubrique Configurer la synchronisation ou la migration des déclencheurs. Remarque Ce paramètre n'est disponible que si vous sélectionnez Schema Migration pour Migration Types.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors : Vérifie si des tables portant les mêmes noms existent dans la base de données de destination. Si aucune table portant le même nom n'existe, la prévérification est réussie. Si des tables portant le même nom existent, une erreur est signalée lors de la prévérification et la tâche de migration des données ne démarre pas. Remarque Si une table de la base de données de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier le nom de la table dans la base de données de destination. Pour plus d'informations, consultez la rubrique Mappage des noms d'objets. Ignore Errors and Proceed : Ignore la vérification des tables portant les mêmes noms. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et des risques pour votre activité. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire qu'un enregistrement de la base de données source : Pendant la migration complète, DTS conserve l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source n'est pas migré. Pendant la migration incrémentielle, DTS ne conserve pas l'enregistrement dans la base de données de destination. L'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont incohérents, seules certaines colonnes de données peuvent être migrées ou la migration peut échouer. Procédez avec prudence.
Source Objects	Sélectionnez un ou plusieurs objets dans la section Source Objects. Cliquez sur l'icône et ajoutez les objets à la section Selected Objects. Remarque La granularité de sélection des objets de migration est la base de données, la table et la colonne. Si vous ne sélectionnez que des tables ou des colonnes comme objets de migration, les autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas migrés vers la base de données de destination.
Selected Objects	Pour modifier le nom d'un seul objet de migration dans l'instance cible, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper les noms individuels de schéma, de table et de colonne. Pour modifier les noms de plusieurs objets de migration dans l'instance cible, cliquez sur Selected Objects dans le coin supérieur droit de la zone Batch Edit. Pour plus d'informations, consultez la rubrique Mapper plusieurs noms de schéma, de table et de colonne. Remarque Si vous utilisez la fonctionnalité de mappage de noms d'objets, la migration d'autres objets dépendant d'un objet renommé peut échouer. Pour spécifier une clause WHERE afin de filtrer les données, faites un clic droit sur une table dans la section Selected Objects et spécifiez la condition de filtrage dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez la rubrique Définir des conditions de filtrage. Pour sélectionner les opérations SQL à migrer au niveau de la base de données ou de la table, faites un clic droit sur un objet dans la section Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Paramètre	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé. Il n'est pas nécessaire d'en sélectionner un. Si vous souhaitez des tâches plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de migration DTS.
Retry Time for Failed Connections	Une fois la tâche de migration démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser la durée de nouvelle tentative en choisissant une valeur comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à plus de 30 minutes. Si DTS se reconnecte aux bases de données source et de destination dans le délai spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Remarque Pour plusieurs instances DTS partageant la même source ou la même destination, le délai de nouvelle tentative réseau est déterminé par le paramètre de la dernière tâche créée. Étant donné que la tâche est facturée pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues	Une fois la tâche de migration démarrée, si un problème autre qu'un problème de connectivité, tel qu'une exception d'exécution DDL ou DML, survient dans la base de données source ou de destination, DTS signale une erreur et tente immédiatement de relancer l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser la durée de nouvelle tentative en choisissant une valeur comprise entre 1 et 1 440 minutes. Nous vous recommandons de définir la durée à plus de 10 minutes. Si les opérations concernées aboutissent dans le délai de nouvelle tentative spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à la valeur de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Pendant la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation du débit pour la tâche de migration complète. Vous pouvez définir les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s) pour réduire la charge sur la base de données de destination. Remarque Cet élément de configuration n'est disponible que si vous sélectionnez Full Data Migration pour Migration Types. Vous pouvez également ajuster la vitesse de migration complète une fois l'instance de migration en cours d'exécution.
Enable Throttling for Incremental Data Migration	Si nécessaire, vous pouvez également choisir de définir des limites de vitesse pour la tâche de migration incrémentielle. Vous pouvez définir les paramètres RPS of Incremental Data Migration et Data migration speed for incremental migration (MB/s) pour réduire la charge sur la base de données de destination. Remarque Cet élément de configuration n'est disponible que si vous sélectionnez Incremental Data Migration pour Migration Types. Vous pouvez également ajuster la vitesse de migration incrémentielle une fois l'instance de migration en cours d'exécution.
Environment Tag	Vous pouvez sélectionner une balise d'environnement pour identifier l'instance. Cette option est facultative.
Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation des données. No : Désactive la fonctionnalité ETL.
Monitoring and Alerting	Sélectionnez si vous souhaitez définir des alertes et recevoir des notifications d'alerte en fonction de vos besoins métier. No : Ne définit pas d'alerte. Yes : Configurez les alertes en définissant un seuil d'alerte et un notifications d'alerte. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.

Enregistrez la tâche et exécutez une prévérification.
- Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle qui apparaît.
- Si vous n'avez pas besoin d'afficher les paramètres de l'API ou si vous avez terminé leur consultation, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
Remarque
- Avant le démarrage de la tâche de migration, DTS effectue une prévérification. La tâche ne démarre qu'après avoir réussi la prévérification.
- Si la prévérification échoue, cliquez sur View Details à côté de l'élément de vérification ayant échoué, corrigez le problème en suivant les instructions, puis relancez la prévérification.
- Si un avertissement est signalé lors de la prévérification :
  
  Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème en suivant les instructions, puis relancez la prévérification.
  
  Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'élément d'avertissement et relancer la prévérification. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

Achetez une instance.

Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

Sur la page Purchase, sélectionnez la spécification de liaison pour l'instance de migration des données. Pour plus d'informations, consultez le tableau suivant.

Catégorie	Paramètre	Description
New Instance Class	Resource Group Settings	Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Présentation de Resource Management.
New Instance Class	Instance Class	DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de liaison affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications de liaison pour la migration des données.

Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Buy and Start. Dans la boîte de dialogue OK qui s'affiche, cliquez sur OK.

Vous pouvez afficher la progression de la tâche de migration sur la page de liste Data Migration Tasks.
Remarque
- Si la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Une fois la tâche arrêtée, son Status passe à Completed.
- Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Tant que la tâche de migration incrémentielle est en cours d'exécution, le Status de la tâche est Running.