Data Transmission Service:Migrate data from a PolarDB for MySQL cluster to an ApsaraDB for ClickHouse cluster

Limites de la base de données source

• Le serveur de la base de données source doit disposer d'une bande passante sortante suffisante ; une bande passante faible réduit la vitesse de migration.

• Une seule tâche de migration prend en charge un maximum de 1 000 tables lors d'une migration au niveau des tables avec mappage des noms d'objets. Si vous dépassez cette limite, répartissez les tables sur plusieurs tâches ou effectuez la migration au niveau de la base de données.

• Pendant la migration du schéma et la migration complète des données, n'exécutez pas d'opérations DDL sur la base de données source, car cela entraînerait l'échec de la tâche de migration.

Lors de la migration complète des données, DTS interroge la base de données source et peut créer un verrou de métadonnées qui bloque temporairement les opérations DDL.

• Si vous n'effectuez que la migration complète des données (sans migration incrémentielle), n'écrivez pas de nouvelles données dans la base de données source pendant la migration, sous peine de provoquer une incohérence des données.

Autres limites

• Les nœuds en lecture seule du cluster PolarDB for MySQL source ne peuvent pas être migrés.

• Les tables externes Object Storage Service (OSS) ne sont pas migrées.

• Les types d'objets suivants ne sont pas pris en charge : INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER et FOREIGN KEY (FK).

• Le basculement principal/secondaire n'est pas pris en charge pendant la migration complète des données. En cas de basculement, reconfigurez la tâche de migration.

• L'opération RENAME TABLE ne peut pas être migrée.

• Le nombre maximal de bases de données à migrer est de 256 (limite d'ApsaraDB for ClickHouse).

• Les noms de bases de données, de tables et de colonnes doivent respecter les conventions de dénomination d'ApsaraDB for ClickHouse.

• La clé de partition ne peut pas être un champ nullable. Les clés de partition prennent uniquement en charge les types de données BIGINT, INT, TIMESTAMP, DATETIME et DATE.

• Les données de type temporel dans ApsaraDB for ClickHouse ont des plages spécifiques. Consultez la section Plages des types de données temporelles pour plus de détails.

• Lorsque la migration du schéma est activée, DTS ajoute automatiquement les champs _sign, _is_deleted et _version aux tables de destination. Si vous ignorez la migration du schéma, créez manuellement les tables de destination avec ces champs. Consultez la section Exigences relatives aux tables de destination.

• Pendant la migration DTS, n'écrivez pas de données provenant d'autres sources dans la base de données de destination, car cela provoquerait une incohérence des données.

• En cas d'échec d'une instance DTS, l'équipe DTS tente de la récupérer dans un délai de 8 heures. Les opérations de récupération peuvent inclure le redémarrage de l'instance et l'ajustement des paramètres de l'instance DTS (les paramètres de la base de données ne sont jamais modifiés).

• Avant la migration, évaluez les performances des deux bases de données et exécutez la migration pendant les heures creuses pour réduire la charge.

• Si vous migrez des tables spécifiques (et non une base de données entière), n'utilisez pas pt-online-schema-change pour les modifications DDL en ligne sur ces tables, car cela entraînerait l'échec de la migration. Utilisez plutôt Data Management (DMS). Consultez la rubrique Modifier les schémas sans verrouiller les tables.

Limites liées aux DDL en ligne

Étape 1 : Accéder à la page Data Migration

Utilisez l'une des consoles suivantes.

Console DTS

1. Connectez-vous à la console DTS.

2. Dans le volet de navigation de gauche, cliquez sur Data Migration.

3. Dans le coin supérieur gauche, sélectionnez la région où résidera l'instance de migration.

Console DMS

Les étapes exactes peuvent varier selon le mode et la disposition de votre console DMS. Consultez les rubriques Mode simple et Personnaliser la disposition et le style de la console DMS .

1. Connectez-vous à la console DMS.

2. Dans la barre de navigation supérieure, placez le pointeur sur Data + AI > DTS (DTS) > Data Migration.

3. Dans la liste déroulante à côté de Data Migration Tasks, sélectionnez la région où résidera l'instance de migration.

Étape 2 : Configurer les bases de données source et de destination

Cliquez sur Create Task, puis renseignez les paramètres suivants.

Cliquez sur Test Connectivity and Proceed.

Assurez-vous que les blocs CIDR des serveurs DTS sont ajoutés aux paramètres de sécurité (liste d'autorisation) des deux bases de données. Consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation .

Étape 3 : Configurer les objets à migrer

Sur la page Configure Objects, définissez les paramètres suivants.

Étape 4 : Configurer les paramètres avancés

Cliquez sur Next: Advanced Settings et configurez les éléments suivants.

Étape 5 : Configurer les champs de table pour ClickHouse

Cliquez sur Next: Configure Database and Table Fields et configurez le Type, la Primary Key Column, la Sort Key, la Distribution Key et la Partition Key pour chaque table migrée.

DTS fournit des configurations par défaut. Pour les examiner ou les modifier, définissez Definition Status sur All.

Règles principales :

• La Primary Key Column et la Sort Key prennent en charge les clés composites — sélectionnez plusieurs champs dans les listes déroulantes.

• Sélectionnez une ou plusieurs colonnes de la Primary Key Column pour servir de Partition Key.

• La Distribution Key ne prend en charge qu'un seul champ.

• Laissez la Partition Key vide si elle n'est pas nécessaire, mais ne sélectionnez pas de champ nullable, car cela entraînerait l'échec de la tâche de migration.

• Les clés de partition ne prennent en charge que BIGINT, INT, TIMESTAMP, DATETIME et DATE. Consultez la section Logique de calcul de la clé de partition.

Pour plus d'informations sur les clés primaires, les clés de tri et les clés de partition, consultez la rubrique CREATE TABLE.

Étape 6 : Exécuter la prévérification et démarrer la migration

1. Cliquez sur Next: Save Task Settings and Precheck. Pour prévisualiser les paramètres API de cette tâche, placez le pointeur sur Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters avant de continuer.

2. DTS exécute une prévérification avant de démarrer la migration. Si la prévérification échoue :

   • Cliquez sur View Details à côté de chaque élément ayant échoué, corrigez le problème, puis cliquez sur Precheck Again.

   • Si un élément affiche un avertissement (et non un échec) et que vous pouvez accepter le risque, cliquez sur Confirm Alert Details > Ignore > OK, puis cliquez sur Precheck Again.

   Important

   Ignorer une alerte de prévérification peut entraîner une incohérence des données.

Étape 7 : Acheter l'instance et démarrer la migration

1. Attendez que le Success Rate atteigne 100 %, puis cliquez sur Next: Purchase Instance.

2. Sur la page Purchase Instance, configurez les paramètres suivants.

   Section	Paramètre	Description
   New Instance Class	Resource Group	Groupe de ressources pour l'instance de migration. Par défaut : default resource group. Consultez la rubrique [Qu'est-ce que Resource Management ?](https://www.alibabacloud.com/help/en/resource-management/product-overview/what-is-resource-management#concept-zyn-3p1-dhb)
   	Instance Class	La classe d'instance détermine la vitesse de migration. Consultez la rubrique [Classes d'instances des instances de migration de données](https://www.alibabacloud.com/help/en/dts/product-overview/specifications-of-data-migration-instances#concept-26606-zh).

3. Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms, puis cliquez sur Buy and Start > OK.

Consultez la progression de la migration sur la page Data Migration.

Si la tâche n'inclut pas de migration incrémentielle des données, elle s'arrête automatiquement une fois terminée. La colonne Status affiche Completed .

Si la tâche inclut une migration incrémentielle des données, elle s'exécute en continu et ne s'arrête jamais automatiquement. La colonne Status affiche Running .

SELECT * FROM <table_name> FINAL WHERE _sign > 0;

Exigences relatives aux tables de destination

Si vous ignorez la migration du schéma et créez manuellement les tables de destination, celles-ci doivent répondre aux exigences suivantes.

SELECT * FROM <table_name> FINAL WHERE _sign > 0;

Plages des types de données temporelles

Si les données temporelles du cluster PolarDB for MySQL source se situent en dehors des plages suivantes, les valeurs écrites dans ApsaraDB for ClickHouse seront incorrectes.

Logique de calcul de la clé de partition

DTS applique la logique suivante lors de la dérivation des valeurs de clé de partition à partir des champs source.