Tablestore est un système de stockage de données structurées multi-modèle développé par Alibaba Cloud qui offre des services de stockage massif de données structurées, ainsi que des fonctionnalités de requête et d'analyse rapides. Vous pouvez utiliser Data Transmission Service (DTS) pour synchroniser les données d'une base de données MySQL vers une instance Tablestore.
Prérequis
Vous avez créé une instance Tablestore.
Vous avez obtenu l'AccessKey ID et l'AccessKey Secret du compte Alibaba Cloud (site Chine) ou de l'utilisateur Resource Access Management (RAM) propriétaire de l'instance Tablestore. Pour plus d'informations, consultez la rubrique Créer une clé d'accès pour un compte Alibaba Cloud (non recommandé).
Notes d'utilisation
|
Catégorie |
Description |
|
Limitations de la base de données source |
|
|
Autres limitations |
|
|
Cas particuliers |
|
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Facturé. Pour plus d'informations, consultez la rubrique Présentation de la facturation. |
Opérations SQL prises en charge pour la synchronisation incrémentielle
|
Type d'opération |
Instruction SQL |
|
DML |
INSERT, UPDATE, DELETE |
Autorisations requises pour les comptes de base de données
|
Base de données |
Autorisations requises |
Création de compte et autorisation |
|
Source ApsaraDB RDS for MySQL |
Autorisations de lecture et d'écriture sur les objets à synchroniser |
Si le compte de la base de données source n'a pas été créé via la console ApsaraDB RDS for MySQL, assurez-vous que le compte dispose des autorisations REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW et SELECT.
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Catégorie
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select a DMS database instance.
Sélectionnez une instance existante selon vos besoins.
-
Si vous utilisez une instance existante, les informations de la base de données sont renseignées automatiquement. Vous n'avez pas besoin de les saisir à nouveau.
-
Si vous n'utilisez pas d'instance existante, configurez les informations de base de données suivantes.
Remarque-
Dans la console DMS, cliquez sur Add DMS Database Instance pour ajouter une instance de base de données. Pour plus d'informations, consultez les rubriques Ajouter une instance de base de données cloud et Ajouter une instance de base de données depuis un autre cloud ou une base de données auto-gérée.
-
Dans la console DTS, vous pouvez ajouter une base de données à DTS sur la page Database Connections ou sur la nouvelle page de configuration. Pour plus d'informations, consultez la rubrique Gestion des connexions de données.
Database Type
Sélectionnez MySQL.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région de l'instance ApsaraDB RDS for MySQL source.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
RDS Instance ID
Sélectionnez l'ID de l'instance ApsaraDB RDS for MySQL source.
Database Account
Saisissez le compte de la base de données ApsaraDB RDS for MySQL source. Pour plus d'informations sur les autorisations, consultez la section Autorisations requises pour les comptes de base de données.
Database Password
Saisissez le mot de passe correspondant au compte de la base de données.
Encryption
Sélectionnez Non-encrypted ou SSL-encrypted selon vos besoins. Si vous sélectionnez SSL-encrypted, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez la rubrique Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
Destination Database
Select a DMS database instance.
Sélectionnez une instance existante selon vos besoins.
-
Si vous utilisez une instance existante, les informations de la base de données sont renseignées automatiquement. Vous n'avez pas besoin de les saisir à nouveau.
-
Si vous n'utilisez pas d'instance existante, configurez les informations de base de données suivantes.
Remarque-
Dans la console DMS, cliquez sur Add DMS Database Instance pour ajouter une instance de base de données. Pour plus d'informations, consultez les rubriques Ajouter une instance de base de données cloud et Ajouter une instance de base de données depuis un autre cloud ou une base de données auto-gérée.
-
Dans la console DTS, vous pouvez ajouter une base de données à DTS sur la page Database Connections ou sur la nouvelle page de configuration. Pour plus d'informations, consultez la rubrique Gestion des connexions de données.
Database Type
Sélectionnez Tablestore.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région de l'instance Tablestore de destination.
Instance ID
Sélectionnez l'ID de l'instance Tablestore de destination.
AccessKey ID of Alibaba Cloud Account
Saisissez l'AccessKey ID du compte Alibaba Cloud.
ImportantSi vous saisissez l'AccessKey ID d'un utilisateur RAM, la tâche peut échouer en raison d'autorisations insuffisantes.
AccessKey Secret of Alibaba Cloud Account
Saisissez l'AccessKey Secret du compte Alibaba Cloud.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
Si la base de données source ou de destination est une instance de base de données Alibaba Cloud, telle qu'une instance RDS for MySQL ou une instance ApsaraDB for MongoDB, DTS ajoute automatiquement les adresses IP des serveurs DTS de la région correspondante à la liste d'autorisation de l'instance de base de données Alibaba Cloud. Si la base de données source ou de destination est une base de données auto-gérée hébergée sur une instance ECS, DTS ajoute automatiquement les adresses IP des serveurs DTS de la région correspondante aux règles de sécurité de l'instance ECS. Vous devez également vous assurer que la base de données auto-gérée autorise l'accès depuis l'instance ECS. Si la base de données est déployée dans un cluster sur plusieurs instances ECS, vous devez ajouter manuellement les adresses IP des serveurs DTS de la région correspondante aux règles de sécurité de chaque instance ECS. Si la base de données source ou de destination est une base de données auto-gérée dans un centre de données ou une base de données d'un autre fournisseur de services cloud, vous devez ajouter manuellement les adresses IP des serveurs DTS de la région correspondante pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations sur les adresses IP des serveurs DTS, consultez la rubrique Plages CIDR des adresses IP des serveurs DTS.
AvertissementL'ajout des plages CIDR d'adresses IP publiques des serveurs DTS, qu'il soit automatique ou manuel, peut présenter des risques de sécurité. En utilisant ce produit, vous reconnaissez et acceptez ces risques potentiels. Vous devez mettre en œuvre des protections de sécurité de base. Ces protections incluent, sans s'y limiter, le renforcement de la sécurité des mots de passe, la restriction des ports ouverts pour les plages CIDR, l'utilisation de l'authentification pour la communication API interne, ainsi que la révision et la restriction régulières des plages CIDR inutiles. Vous pouvez également vous connecter à la base de données via un réseau interne, tel qu'une ligne louée, une passerelle VPN ou Smart Access Gateway.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Setting
Description
Synchronization Types
Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la pré-vérification réussit. Si une table du même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Map table and column names.
-
Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
-
Operation Types
Sélectionnez les types d'opérations à synchroniser en fonction de vos besoins métier. Par défaut, tous les types d'opérations sont sélectionnés.
Processing Policy of Dirty Data
Sélectionnez la politique de gestion des erreurs d'écriture de données. Valeurs valides :
-
Skip
-
Block
Data Write Mode
Sélectionnez le mode d'écriture des données. Valeurs valides :
-
Overwrite Row : UpdateRowChange effectue une réécriture au niveau de la ligne.
-
Update Row : PutRowChange effectue une mise à jour au niveau de la ligne.
Batch Write Mode
API d'écriture par lot. Valeurs valides :
-
BulkImportRequest : écriture hors ligne.
-
BatchWriteRowRequest : écriture par lot.
RemarqueNous vous recommandons de sélectionner BulkImportRequest, qui offre une efficacité de lecture/écriture plus élevée et des coûts réduits pour l'instance Tablestore.
More
Vous pouvez cliquer sur More pour configurer les paramètres suivants en fonction de vos besoins métier :
-
Queue Size : longueur de la file d'attente du processus d'écriture des données pour l'instance Tablestore.
-
Thread Quantity : nombre de threads de traitement des rappels pour le processus d'écriture des données de l'instance Tablestore.
-
Concurrency : limite de requêtes simultanées pour l'instance Tablestore.
-
Buckets : concurrence des buckets pour les écritures incrémentielles séquentielles. Augmenter cette valeur de manière appropriée peut améliorer les performances d'écriture concurrente.
RemarqueBuckets doit être inférieur ou égal à Concurrency.
Capitalization of Object Names in Destination Instance
Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la politique DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez Case sensitivity policy for destination object names.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueVous pouvez sélectionner les objets de synchronisation au niveau de la base de données ou de la table.
Selected Objects
-
Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Map a single database, table, or column.
-
Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Map databases, tables, and columns in a batch.
Remarque-
Le mappage des noms de base de données n'est pas pris en charge. Le mappage des noms de tables et de colonnes est pris en charge uniquement lorsque les objets de synchronisation sont sélectionnés au niveau de la table. Si vous utilisez la fonctionnalité de mappage, la synchronisation d'autres objets dépendant de l'objet mappé peut échouer.
-
Lorsque vous utilisez le mappage des noms de colonnes, vous pouvez modifier les types de colonnes des tables à synchroniser dans l'instance Tablestore de destination.
-
Pour filtrer les données à l'aide d'une condition WHERE, faites un clic droit sur la table à synchroniser dans la zone Selected Objects et définissez les conditions de filtrage dans la boîte de dialogue. Pour plus d'informations, consultez Filter task data with an SQL condition.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Setting
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez What is a DTS dedicated cluster?.
Retry Time for Failed Connections
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de reconnecter. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez le temps de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations concernées réussissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization.
-
Vous pouvez également ajuster le taux de synchronisation complète après le démarrage de l'instance de synchronisation.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance en fonction de vos besoins métier. Dans cet exemple, aucun tag n'est requis.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
Yes : Les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS.
-
No : Écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Configure ETL
Choisissez si vous souhaitez activer la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez What is ETL? Valeurs valides :
-
Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configure ETL in a data migration or data synchronization task.
-
No : Désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : Aucune alerte n'est configurée.
-
Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un alert notification. Pour plus d'informations, consultez Configure monitoring and alerting during task configuration.
-
-
Cliquez sur Next: Configure Database and Table Fields, puis cliquez sur Note dans le bouton OK.
Par défaut, DTS définit la clé primaire de la table source comme Primary Key Column. Vous pouvez modifier le Definition Status en All puis le modifier.
RemarquePrimary Key Column Vous pouvez sélectionner plusieurs colonnes pour former une clé primaire composite.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
Si vous avez terminé la consultation des paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Category
Parameter
Description
New Instance Class
Billing Method
-
Abonnement : Vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : Vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
Resource Group Configuration
Groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez What is Resource Management?.
Link Specification
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Data synchronization link specifications.
Subscription Duration
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Subscription.
-
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.