Synchroniser une base de données logique Data Management (DMS) vers AnalyticDB for MySQL 3.0 - Data Transmission Service

Data Transmission Service (DTS) vous permet de synchroniser une base de données logique configurée dans Data Management (DMS) vers AnalyticDB for MySQL 3,0. Cette fonctionnalité facilite la mise en place rapide de systèmes internes d'intelligence économique (BI), de requêtes interactives et de rapports en temps réel.

Prérequis

Une base de données logique est configurée dans DMS. Cette base de données logique doit être créée à partir de bases de données fragmentées réparties sur plusieurs instances PolarDB for MySQL. Pour plus d'informations, consultez la rubrique Base de données logique.
Toutes les instances PolarDB for MySQL qui hébergent les bases de données physiques fragmentées de la base de données logique DMS se trouvent dans la même région. Elles partagent également un compte de base de données et un mot de passe uniques, disposant des autorisations de lecture sur les bases de données physiques fragmentées. Pour savoir comment créer et autoriser un compte, consultez la rubrique Créer et gérer un compte de base de données.
Un cluster AnalyticDB for MySQL 3,0 de destination est créé. Pour plus d'informations, consultez la rubrique Créer un cluster.
La capacité de stockage du cluster AnalyticDB for MySQL 3,0 doit être supérieure à l'espace de stockage utilisé par la base de données logique DMS.

Limites

Remarque

Lors de la synchronisation du schéma, DTS ne synchronise pas les clés étrangères de la base de données source vers la base de données de destination.
Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes et les opérations en cascade des clés étrangères au niveau de la session. Si vous effectuez des opérations de mise à jour ou de suppression en cascade sur la base de données source pendant l'exécution de la tâche, des incohérences de données peuvent survenir.
Lors de la synchronisation du schéma, DTS ne prend pas en charge la synchronisation des vues matérialisées vers l'instance AnalyticDB for MySQL cible. Si vous devez utiliser des vues matérialisées, créez-les manuellement dans l'instance cible une fois la synchronisation terminée.

Type	Description
Limites de la base de données source	Les tables à synchroniser doivent disposer d'une clé primaire ou d'une contrainte unique afin de garantir l'unicité de chaque ligne. À défaut, des données en double peuvent apparaître dans la base de données de destination. Si vous effectuez une synchronisation au niveau des tables et que vous devez modifier des objets (par exemple, mapper les noms de tables ou de colonnes), une seule tâche de synchronisation de données prend en charge la synchronisation d'un maximum de 1 000 tables. Si vous dépassez cette limite, la soumission de la tâche échoue. Dans ce cas, répartissez les tables sur plusieurs tâches ou configurez une tâche de synchronisation au niveau de la base de données. Journal binaire : La journalisation binaire doit être activée et le paramètre `loose_polar_log_bin` doit être défini sur on. Sinon, la prévérification échoue et la tâche de synchronisation des données ne peut pas démarrer. Pour une tâche de synchronisation incrémentielle des données, DTS exige que les journaux binaires locaux de la base de données source soient conservés pendant plus de 24 heures. Pour une tâche impliquant à la fois une synchronisation complète et incrémentielle des données, DTS exige que les journaux binaires locaux soient conservés pendant au moins 7 jours. Vous pouvez modifier la période de conservation pour qu'elle soit supérieure à 24 heures une fois la synchronisation complète des données terminée. À défaut, la tâche risque d'échouer car DTS ne pourra pas récupérer les journaux binaires. Dans les cas extrêmes, les données peuvent devenir incohérentes ou être perdues. Les problèmes causés par une période de conservation des journaux binaires inférieure aux exigences ne sont pas couverts par l'accord de niveau de service (SLA) de DTS. Pendant la synchronisation, n'effectuez pas d'opérations DDL qui ajoutent des commentaires (par exemple, `ALTER TABLE table_name COMMENT='table_comment';`). Sinon, la tâche de synchronisation des données échouera. N'effectuez pas d'opérations DDL modifiant les schémas de base de données ou de tables pendant la synchronisation du schéma ou la synchronisation complète. Sinon, la tâche de synchronisation échouera. Remarque Lors de la synchronisation complète, DTS interroge la base de données source. Cela crée des verrous de métadonnées qui peuvent bloquer les opérations DDL sur la base de données source.
Autres limites	Vous pouvez configurer la synchronisation d'une base de données logique DMS vers AnalyticDB for MySQL 3,0 uniquement dans les régions Chine (Shanghai) et Singapour. La base de données de destination doit contenir une clé primaire personnalisée. Ou bien, à l'étape Configurations for Databases, Tables, and Columns, configurez une Primary Key Column. À défaut, la synchronisation risque d'échouer. Les index de préfixe ne sont pas pris en charge. Si la base de données source contient des index de préfixe, la synchronisation des données peut échouer. En raison des limites de AnalyticDB for MySQL, lorsque l'utilisation de l'espace disque d'un nœud d'un cluster AnalyticDB for MySQL dépasse 80 %, les performances d'écriture dans la base de données de destination se dégradent, ce qui entraîne une latence de la tâche DTS. Lorsque l'utilisation dépasse 90 %, il devient impossible d'écrire des données dans la base de données de destination, ce qui provoque l'échec de la tâche DTS. Estimez l'espace requis en fonction des objets à synchroniser et assurez-vous que le cluster de destination dispose d'un espace de stockage suffisant. Si le cluster AnalyticDB for MySQL 3,0 de destination effectue une sauvegarde pendant l'exécution de la tâche DTS, la tâche échoue. Avant de démarrer la synchronisation des données, évaluez les performances des bases de données source et de destination. Nous vous recommandons d'effectuer la migration des données pendant les heures creuses. À défaut, la synchronisation initiale complète des données consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter leur charge. La synchronisation complète des données effectue des opérations INSERT concurrentes, ce qui fragmente les tables dans la base de données de destination. Par conséquent, l'espace de table dans l'instance de destination est plus grand que celui de l'instance source une fois l'initialisation complète terminée. Pour la synchronisation des données au niveau des tables, n'utilisez pas d'outils tels que `pt-online-schema-change` pour effectuer des modifications DDL en ligne sur les objets de synchronisation dans la base de données source. Cela entraînerait l'échec de la synchronisation. Pour la synchronisation des données au niveau des tables, si DTS est la seule source écrivant des données dans la base de données de destination, vous pouvez utiliser Data Management (DMS) pour effectuer des modifications DDL en ligne. Pour plus d'informations, consultez la rubrique Effectuer des opérations DDL sans verrouillage. Pendant la synchronisation DTS, n'écrivez pas de données provenant d'autres sources dans la base de données de destination. Cela pourrait provoquer des incohérences de données entre les bases de données source et de destination. Par exemple, si des données provenant d'une autre source sont écrites dans la base de données de destination pendant que vous utilisez DMS pour effectuer une modification DDL en ligne, une perte de données peut survenir dans la base de données de destination. En cas d'échec d'une tâche, l'équipe d'assistance DTS tentera de la restaurer dans un délai de huit heures. Lors de la restauration, elle peut redémarrer la tâche ou ajuster ses paramètres. Remarque Seuls les paramètres de la tâche DTS sont modifiés, et non les paramètres de la base de données. Les paramètres susceptibles d'être ajustés incluent ceux répertoriés dans la rubrique Modifier les paramètres de l'instance. Lorsque AnalyticDB for MySQL est la destination, DTS prend en charge l'écriture uniquement des types de données qu'il prend en charge, y compris les types de données de base et les types de données complexes tels que ARRAY, MAP et JSON. DTS ne prend pas en charge l'écriture d'autres types tels que MULTIVALUE.

Facturation

Type de synchronisation

Tarification

Synchronisation du schéma et synchronisation complète des données

Gratuit.

Synchronisation incrémentielle des données

Facturé. Pour plus d'informations, consultez la rubrique Présentation de la facturation.

Topologies de synchronisation prises en charge

Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle plusieurs-à-un

Pour plus d'informations sur les différentes topologies de synchronisation et leurs limites, consultez la rubrique Topologies de synchronisation.

Opérations SQL prises en charge

Type d'opération	Instructions SQL
DML	INSERT, UPDATE, DELETE Remarque Lors de l'écriture des données dans le cluster AnalyticDB for MySQL, l'instruction UPDATE est automatiquement convertie en instruction REPLACE INTO.

Procédure

Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
1. Connectez-vous à la console Data Transmission Service (DTS).
2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS

Remarque
Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
1. Connectez-vous à Data Management (DMS).
2. Dans la barre de menus supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

Configurez les bases de données source et de destination.

Avertissement

Après avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Si vous ne respectez pas ces limites, la tâche risque d'échouer ou des incohérences de données peuvent survenir.

Catégorie	Paramètre	Description
N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database	Database Type	Sélectionnez DMS LogicDB.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside la base de données logique DMS.
	Database Account	Saisissez le compte de base de données unifié pour toutes les instances PolarDB for MySQL qui hébergent les bases de données physiques fragmentées de la base de données logique DMS. Le compte doit disposer des autorisations de lecture sur les bases de données physiques fragmentées. Pour plus d'informations, consultez la rubrique Créer et gérer un compte de base de données.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
Destination Database	Database Type	Sélectionnez AnalyticDB 3.0.
	Connection Type	Sélectionnez Alibaba Cloud Instance.
	Instance Region	Sélectionnez la région où réside le cluster AnalyticDB for MySQL 3,0 de destination.
	Instance ID	Sélectionnez l'ID du cluster AnalyticDB for MySQL 3,0 de destination.
	Database Account	Saisissez le compte de base de données pour le cluster AnalyticDB for MySQL 3,0 de destination. Le compte doit disposer des autorisations de lecture et d'écriture.
	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

Remarque
Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.

Configurez les objets de la tâche.

Sur la page Configure Objects, configurez les objets à synchroniser.

Paramètre	Description
Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la prévérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle des données ultérieure. Remarque Si Full Data Synchronization est sélectionné, vous pouvez synchroniser le schéma et les données de la table créée en exécutant l'instruction CREATE TABLE vers la base de données de destination.
Processing Mode of Conflicting Tables	Precheck and Report Errors : Vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la prévérification réussit. Si une table portant le même nom existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez la rubrique Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : Ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des colonnes, des tables ou des bases de données comme objets à synchroniser. Si vous sélectionnez des tables ou des colonnes, DTS ne synchronise pas d'autres objets tels que les vues, les déclencheurs ou les procédures stockées vers la base de données de destination. Si vous sélectionnez une base de données comme objet à synchroniser, DTS applique les règles par défaut suivantes : Si la table source possède une clé primaire (sur une seule colonne ou composite), les colonnes de clé primaire sont utilisées comme clés de distribution. Si la table source ne possède pas de clé primaire, une colonne de clé primaire à incrémentation automatique est générée dans la table de destination. Cela peut entraîner des incohérences de données entre les bases de données source et de destination.
Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance de destination, cliquez avec le bouton droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez la rubrique Mapper une seule base de données, table ou colonne. Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper des bases de données, tables et colonnes par lot. Remarque Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, cliquez avec le bouton droit sur l'objet dans le volet Selected Objects et choisissez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche. Pour filtrer les données à l'aide d'une clause WHERE, cliquez avec le bouton droit sur la table dans le volet Selected Objects et spécifiez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour obtenir des instructions, consultez la rubrique Spécifier des conditions de filtre.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Paramètre	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau sur 30 minutes pour l'instance A et sur 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins professionnels ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster la vitesse de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins. Cela n'est pas requis pour cet exemple.
Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.
Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

Facultatif : Après avoir terminé la configuration précédente, cliquez sur Next: Configure Database and Table Fields pour définir le Type, la Primary Key Column, la Distribution Key et les informations de clé de partition (Partition Key, Partitioning Rules et Partition Lifecycle) pour la table à synchroniser dans la base de données de destination.
Remarque
- Cette étape est disponible uniquement si vous sélectionnez Schema Synchronization pour Synchronization Types lors de la configuration des objets de la tâche. Vous pouvez ensuite définir Definition Status sur All pour effectuer des modifications.
- La Primary Key Column peut être une clé primaire composite composée de plusieurs colonnes. Vous devez sélectionner une ou plusieurs colonnes dans la Primary Key Column pour servir de Distribution Key et de Partition Key. Pour plus d'informations, consultez la rubrique CREATE TABLE.

Enregistrez la tâche et exécutez une prévérification.
- Pour afficher les paramètres API de configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
- Si vous avez terminé la consultation des paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
Remarque
- Avant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de prévérification.
- Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la prévérification.
- Si la prévérification renvoie un avertissement :
  
  Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la prévérification.
  
  Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

Achetez l'instance.

Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

Sur la page Purchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

Catégorie	Paramètre	Description
New Instance Class	Méthode de facturation	Abonnement : Vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : Vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?.
	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte la vitesse de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario professionnel. Pour plus d'informations, consultez la rubrique Spécifications des liens de synchronisation de données.
	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.