Data Transmission Service:Migrer d’une instance RDS SQL Server vers une instance RDS MySQL

Limites de la base de données source

Exigences relatives aux journaux pour la migration incrémentielle :

• Les journaux doivent être activés avec le mode de sauvegarde défini sur Full. Une sauvegarde physique complète doit avoir été effectuée.

• Rétention des journaux : plus de 24 heures pour les tâches incrémentielles uniquement ; au moins 7 jours pour les tâches incluant à la fois une migration complète et incrémentielle. Vous pouvez modifier la période de rétention des journaux une fois la migration complète terminée. Les problèmes causés par une période de rétention des journaux inférieure à celle requise ne sont pas couverts par le SLA DTS.

• DTS utilise la fonction fn_log pour obtenir les journaux de la base de données source. Ne supprimez pas trop tôt les journaux de la base de données source, sinon la tâche DTS pourrait échouer.

Prérequis pour la CDC :

• La valeur du champ srvname dans la vue sys.sysservers doit correspondre à la valeur de retour de la fonction SERVERPROPERTY.

• Propriétaire de la base de données : sa pour SQL Server autogéré ; sqlsa pour RDS for SQL Server.

• Édition Enterprise : SQL Server 2008 ou version ultérieure.

• Édition Standard : SQL Server 2016 SP1 ou version ultérieure.

• SQL Server 2017 (édition Standard ou Enterprise) : mettez à niveau la version de la base de données avant de configurer la CDC.

Restrictions d’opération pendant la migration :

• Pendant la synchronisation initiale du schéma et la migration complète des données, n’effectuez pas d’opérations DDL sur les schémas de base de données ou de tables, sinon la tâche échouera.

• Si vous effectuez uniquement une migration complète des données, n’écrivez pas de nouvelles données dans l’instance source pendant la migration, sinon des incohérences de données surviendront. Pour maintenir la cohérence des données en temps réel, sélectionnez Initial Schema Synchronization, Full Data Migration et Incremental Data Migration.

• Si une tâche inclut une migration incrémentielle des données, ne réindexez pas, sinon la tâche pourrait échouer ou des données pourraient être perdues. Vous ne pouvez pas modifier les clés primaires des tables avec la CDC activée.

Web Edition RDS for SQL Server :

Définissez SQL Server Incremental Synchronization Mode sur Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported) lors de la configuration de la tâche.

Autres limites

• Les opérations DDL complexes ne peuvent pas être migrées.

• Les types de données suivants ne peuvent pas être migrés : CURSOR, ROWVERSION, SQL_VARIANT, HIERARCHYID, POLYGON, GEOMETRY, GEOGRAPHY et les types de données définis par l’utilisateur créés avec CREATE TYPE.

• Les types d’objets suivants ne peuvent pas être migrés : PROCEDURE, FUNCTION, TRIGGER, DATATYPE, SYNONYM, CATALOG, PLAN_GUIDE et SEQUENCE.

• Si le nombre de tables activées pour la CDC dans une seule tâche dépasse 1 000, la prévalidation échoue.

• Si les données contiennent des caractères de quatre octets (caractères inhabituels), la base de données et les tables de destination doivent utiliser le jeu de caractères utf8mb4. Si DTS effectue une migration de schéma, définissez également le paramètre character_set_server sur utf8mb4.

• Si les données incrémentielles écrites dans un seul champ d’une table activée pour la CDC dépassent 64 Ko, exécutez exec sp_configure 'max text repl size', -1; sur la base de données source au préalable. Par défaut, un travail CDC peut traiter un maximum de 64 Ko par champ.

• Migrez les données pendant les heures creuses. DTS consomme des ressources de lecture et d’écriture sur les bases de données source et de destination pendant la migration complète des données, ce qui augmente la charge de la base de données.

• Si les noms de colonnes de champ ne diffèrent que par la casse dans une table écrite dans la base de données MySQL de destination, le résultat de la migration peut ne pas être celui attendu, car les noms de colonnes dans MySQL ne sont pas sensibles à la casse.

• Si une instruction DDL échoue lors de l’écriture dans la base de données de destination, la tâche DTS continue de s’exécuter. Vérifiez les journaux de la tâche pour l’instruction ayant échoué. Consultez Interroger les journaux de tâche.

• Si plusieurs instances DTS utilisent la même base de données SQL Server comme source, leurs modules d’ingestion de données incrémentielles sont indépendants les uns des autres.

• En cas d’échec d’une tâche, le personnel d’assistance DTS tente de la restaurer dans un délai de 8 heures. Ils peuvent redémarrer la tâche ou ajuster les paramètres de la tâche (et non les paramètres de la base de données). Pour connaître les paramètres ajustables, consultez Modifier les paramètres de l’instance.

• La migration complète des données utilise des opérations INSERT concurrentes, ce qui provoque une fragmentation des tables dans la base de données de destination. Après la migration complète, l’espace de stockage des tables dans la base de données de destination est supérieur à celui de l’instance source. Une fois la migration terminée (le Status de l’instance passe à Completed), exécutez analyze table <table_name> pour confirmer que toutes les données ont été écrites dans la table de destination. Par exemple, si un basculement HA est déclenché dans la base de données MySQL de destination, les données peuvent être écrites uniquement en mémoire, entraînant une perte de données.

Limites du mode Polling CDC

• Le compte de la base de données source doit disposer des autorisations nécessaires pour activer la CDC. Pour activer la CDC au niveau de la base de données, le compte a besoin du rôle sysadmin. Pour activer la CDC au niveau de la table, un compte privilégié est requis.

  Le compte privilégié fourni par Azure SQL Database répond à ces exigences. Pour les bases de données basées sur vCore, tous les types d’instance prennent en charge la CDC. Pour les bases de données basées sur DTU, seuls les types d’instance S3 et ultérieurs prennent en charge la CDC. Le compte privilégié d’Amazon RDS for SQL Server répond aux exigences pour activer la CDC au niveau de la base de données via des procédures stockées. Les tables avec index columnstore clusterisé ne prennent pas en charge la CDC.

• DTS interroge l’instance CDC de chaque table pour obtenir les données incrémentielles. Migrez au maximum 1 000 tables ; sinon, la latence de la tâche ou son instabilité pourrait survenir.

• Par défaut, les données incrémentielles dans le composant CDC sont conservées pendant 3 jours. Pour ajuster la période de rétention, exécutez :

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention= <time>;

  <time> est exprimé en minutes. Si une seule table contient plus de 10 millions d’instructions SQL de modification incrémentielle par jour, définissez <time> sur 1440.

• N’ajoutez ni ne supprimez pas de colonnes de manière consécutive. Par exemple, n’effectuez pas plus de deux opérations DDL pour ajouter ou supprimer des colonnes en une minute, sinon la tâche pourrait échouer.

• Ne modifiez pas l’instance CDC de la base de données source, sinon la tâche pourrait échouer ou des données pourraient être perdues.

Limites du mode Hybrid log parsing

• La migration incrémentielle dépend du composant CDC. Assurez-vous que le travail CDC dans la base de données source est en cours d’exécution, sinon la tâche DTS échouera.

• Par défaut, les données incrémentielles dans le composant CDC sont conservées pendant 3 jours. Pour ajuster, exécutez :

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention= <time>;

  <time> est exprimé en minutes. Définissez <time> sur 1440 si une seule table contient plus de 10 millions d’instructions SQL de modification incrémentielle par jour.

• Activez la CDC pour un maximum de 1 000 tables dans une seule tâche, sinon la latence de la tâche ou son instabilité pourrait survenir.

• Le module de prérequis d’une tâche de migration incrémentielle active la CDC pour la base de données source. Au cours de ce processus, la base de données source peut être brièvement verrouillée en raison des limites du noyau de la base de données SQL Server.

• N’ajoutez ni ne supprimez pas de colonnes de manière consécutive à un intervalle inférieur à 10 minutes. Par exemple, l’exécution consécutive des instructions SQL suivantes provoque une erreur :

  ALTER TABLE test_table DROP COLUMN Flag;
  ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');

• DTS crée le déclencheur dts_cdc_sync_ddl, la table de heartbeat dts_sync_progress et la table de stockage DDL dts_cdc_ddl_history dans la base de données source. En mode de synchronisation incrémentielle hybride, DTS active également la CDC au niveau de la base de données et la CDC pour certaines tables. Maintenez le taux de changement de données des tables activées pour la CDC à 1 000 enregistrements par seconde (RPS) ou moins.

• Vous ne pouvez pas exécuter d’instructions SELECT INTO, TRUNCATE ou RENAME COLUMN sur les tables avec CDC activée dans la base de données source. Vous ne pouvez pas supprimer manuellement les déclencheurs créés par DTS dans la base de données source.

Cas particuliers

Si l’instance source est une instance RDS for SQL Server, DTS crée un compte rdsdt_dtsacct dans l’instance source pour la migration des données. Ne supprimez pas ce compte et ne modifiez pas son mot de passe pendant l’exécution de la tâche, sinon celle-ci pourrait échouer. Consultez Comptes système.

SQL Server en tant que source — remarque importante

SQL Server est une base de données commerciale à source fermée. En raison de limites spécifiques au format, connues ou inconnues, des problèmes peuvent survenir lorsque DTS effectue la CDC et l’analyse des journaux. Avant d’activer la synchronisation ou la migration incrémentielle pour une source SQL Server en production, effectuez un test complet de preuve de concept (POC) couvrant tous les types de modifications métier, les changements de schéma de table et les tests de stress aux heures de pointe. Assurez-vous que la logique métier dans l’environnement de production correspond à celle du test POC pour garantir l’efficacité et la stabilité de DTS.

Étape 1 : Accéder à la liste des tâches de migration

Utilisez l’une des méthodes suivantes :

Étape 2 : Configurer les bases de données source et de destination

Cliquez sur Create Task pour ouvrir la page de configuration de la tâche, puis configurez les éléments suivants :

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

Assurez-vous que la plage d’adresses IP du service DTS est ajoutée (automatiquement ou manuellement) aux paramètres de sécurité des bases de données source et de destination. Consultez Ajouter les adresses IP des serveurs DTS à une liste d’autorisation . Si la base de données source ou de destination est autogérée (la valeur de Access Method n’est pas Alibaba Cloud Instance ), cliquez également sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers .

Étape 3 : Configurer les objets de la tâche

Sur la page Configure Objects , définissez les paramètres suivants :

Étape 4 : Configurer les paramètres avancés

Cliquez sur Next: Advanced Settings pour configurer les éléments suivants :

Étape 5 : Configurer la validation des données

Cliquez sur Next: Data Validation pour configurer une tâche de validation des données. Pour plus de détails, consultez Configurer la validation des données.

Étape 6 : Enregistrer et exécuter la prévalidation

Cliquez sur Next: Save Task Settings and Precheck.

Pour afficher les paramètres API pour cette configuration, survolez le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters .

Avant le démarrage de la tâche, DTS exécute une prévalidation. La tâche ne démarre qu’après avoir réussi la prévalidation.

• Si la prévalidation échoue, cliquez sur View Details à côté de l’élément ayant échoué, corrigez le problème et relancez la prévalidation.

• Si un avertissement est signalé :

  • Pour les éléments qui ne peuvent pas être ignorés, cliquez sur View Details , corrigez le problème et relancez la prévalidation.

  • Pour les éléments ignorables, cliquez sur Confirm Alert Details > Ignore > OK > Precheck Again . Ignorer les avertissements peut provoquer des incohérences de données et présenter des risques pour l’activité.

Étape 7 : Acheter l’instance

1. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

2. Sur la page Purchase , sélectionnez la spécification du lien pour l’instance de migration :

   Catégorie	Paramètre	Description
   New Instance Class	Resource Group Settings	Sélectionnez le groupe de ressources pour l’instance. Par défaut : groupe de ressources par défaut. Consultez Qu’est-ce que Resource Management ?
   	Instance Class	Sélectionnez une spécification en fonction de votre scénario de migration. La spécification du lien affecte la vitesse de migration. Consultez Spécifications des liens de migration de données.

3. Lisez et sélectionnez Data Transmission Service (Pay-as-you-go) Service Terms.

4. Cliquez sur Buy and Start , puis cliquez sur OK dans la boîte de dialogue de confirmation.