Data Transmission Service (DTS) prend en charge la synchronisation des données depuis des bases de données MySQL, telles que MySQL auto-géré ou RDS for MySQL, vers Tair (compatible avec Redis OSS). Cette fonctionnalité réduit la charge sur votre base de données relationnelle backend et améliore l'expérience utilisateur. Cette rubrique explique comment synchroniser les données d'une instance RDS for MySQL vers une instance Tair (compatible avec Redis OSS).
Prérequis
Les tables de la base de données source à synchroniser doivent disposer de clés primaires.
-
Créez une instance de destination Tair (compatible avec Redis OSS) disposant d'un espace de stockage supérieur à celui utilisé par l'instance source RDS for MySQL. Pour plus d'informations, consultez la section Étape 1 : Créer une instance.
RemarquePour connaître les versions prises en charge des bases de données source et de destination, consultez la page Solutions de synchronisation.
Remarques
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
|
Cas particuliers |
|
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Facturé. Pour plus d'informations, consultez la page Présentation de la facturation. |
Instructions SQL pour la synchronisation incrémentielle
|
Type d'opération |
Instructions SQL |
|
DML |
INSERT, UPDATE, DELETE |
Autorisations pour les comptes de base de données
|
Base de données |
Autorisations requises |
Méthode de création et d'autorisation |
|
Source RDS for MySQL |
Autorisations de lecture sur les objets à synchroniser. |
Consultez les pages Créer un compte de base de données pour une instance ApsaraDB RDS for MySQL et Modifier les autorisations d'un compte de base de données pour une instance ApsaraDB RDS for MySQL. |
|
Destination Tair (compatible avec Redis OSS) |
Autorisations de lecture et d'écriture sur l'instance. |
Consultez la page Créer et gérer un compte de base de données. |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Catégorie
Configuration
Description
Aucun
Data Synchronization
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Data Synchronization Tasks
Create Task
-
Pour utiliser une instance de base de données qui a été ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Task Name.
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Source Database
Sélectionnez Select Existing Connection.
Access Method
Sélectionnez Database Type.
MySQL
Sélectionnez la région de l'instance RDS for MySQL source.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez l'ID de l'instance RDS for MySQL source.
Database Account
Saisissez le compte de base de données pour l'instance RDS for MySQL source. Pour connaître les exigences en matière d'autorisations, consultez Autorisations pour les comptes de base de données.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
RDS Instance ID
Sélectionnez Non-encrypted ou SSL-encrypted selon vos besoins. Si vous sélectionnez Encryption, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
Non-encrypted
SSL-encrypted
-
Pour utiliser une instance de base de données qui a été ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Destination Database
Sélectionnez Select Existing Connection.
Select a DMS database instance.
Sélectionnez Database Type.
Tair/Redis
Sélectionnez la région de l'instance Tair (Redis OSS-compatible) de destination.
Access Method
Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
Instance Region
Sélectionnez l'ID de l'instance Tair (Redis OSS-compatible) de destination.
Replicate Data Across Alibaba Cloud Accounts
Sélectionnez une méthode d'authentification en fonction de vos besoins. Dans cet exemple, No est sélectionné.
RemarqueSeules les versions Redis 6.0 et ultérieures prennent en charge Instance ID.
Si vous sélectionnez Authentication Method, assurez-vous que l'accès sans mot de passe est activé pour la base de données Redis. Pour savoir comment activer l'accès sans mot de passe pour une instance Tair (Redis OSS-Compatible), consultez Activer l'accès sans mot de passe via un VPC.
Password Login
Saisissez le mot de passe pour vous connecter à l'instance Tair (Redis OSS-compatible) de destination.
RemarqueLe format du mot de passe est <user>:<password>. Par exemple, si le nom d'utilisateur personnalisé de l'instance Redis est
adminet le mot de passe estRp829dlwa, saisissezadmin:Rp829dlwa. -
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données autogérée (où la méthode d'Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Configuration
Description
Account + Password Login
Secret-free login est sélectionné par défaut. Pour synchroniser les données historiques, sélectionnez également Database Password.
Test Connectivity and Proceed
-
Access Method : vérifie si la destination est vide. La prévalidation réussit si la destination est vide. Si la destination n'est pas vide, la prévalidation échoue, une erreur est signalée et la tâche de synchronisation des données ne démarre pas.
-
Alibaba Cloud Instance : ignore la prévalidation Test Connectivity.
AvertissementSi vous sélectionnez CIDR Blocks of DTS Servers, les données source écrasent les données de destination lors de la synchronisation lorsque les clés source et destination portent le même nom. Cela peut entraîner une perte de données dans la destination. Sélectionnez cette option avec prudence.
Configure Objects
Dans la zone Synchronization Types, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Incremental Data Synchronization.RemarqueVous pouvez sélectionner des objets au niveau de la base de données, de la table et de la colonne.
Full Data Synchronization
Pour spécifier une base de données Redis de destination, faites un clic droit sur le schéma à synchroniser dans la zone Processing Mode of Conflicting Tables. Utilisez la fonctionnalité de mappage pour définir les paramètres suivants, puis cliquez sur Precheck and Report Errors.
-
Ignore Errors and Proceed : la base de données dans Redis qui reçoit les données. Saisissez uniquement un nombre.
-
Check the existence of objects in the destination database. : le format des données après leur synchronisation vers Redis. Survolez l'icône
à côté de l'option pour afficher les informations. Lorsque le Ignore Errors and Proceed est défini sur Source Objects, vous devez également définir la Source Objects.
Remarque-
La fonctionnalité de mappage n'est pas prise en charge pour les noms de schéma et les noms de table.
-
Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, faites un clic droit sur l'objet dans la zone Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
-
Pour définir une clause WHERE afin de filtrer les données, faites un clic droit sur la table dans la zone Selected Objects et définissez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour obtenir des instructions, consultez Filtrer les données.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Configuration
Description
Selected Objects
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
OK
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins professionnels ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Mapping Name of Redis/Tair Database (0 to 255)
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Cache Mapping Mode doit être inférieure à celle de Cache Mapping Mode.
Key-Value Model Based on Database, Table, and Primary Key
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Value Separation Method, Selected Objects et Selected Objects.
Remarque-
Cet élément de configuration est disponible uniquement lorsque Next: Advanced Settings est défini sur Dedicated Cluster for Task Scheduling.
-
Vous pouvez également ajuster le débit de synchronisation complète après le démarrage de l'instance de synchronisation.
Retry Time for Failed Connections
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres Retry Time for Other Issues et Retry Time for Other Issues.
Retry Time for Failed Connections
Définissez la durée de vie (TTL) des clés après la synchronisation des données vers Redis, en fonction de vos besoins.
ImportantUne valeur de -1 signifie que la clé n'expire jamais. Cela peut entraîner une saturation de la mémoire de Redis et provoquer l'échec de la tâche.
Enable Throttling for Full Data Synchronization
Choisissez d'écrire ou non les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
Queries per second (QPS) to the source database : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard.
-
RPS of Full Data Migration : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Data migration speed for full migration (MB/s)
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance en fonction de vos besoins. Pour cet exemple, vous n'avez pas besoin de sélectionner un tag.
Synchronization Types
Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides :
-
Full Data Synchronization : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
Enable Throttling for Incremental Data Synchronization : désactive la fonctionnalité ETL.
RPS of Incremental Data Synchronization
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
Data synchronization speed for incremental synchronization (MB/s) : aucune alerte n'est configurée.
-
Cache Expiration Time : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
-
Enregistrez la tâche et exécutez une prévalidation.
Pour afficher les paramètres API pour configurer cette instance, survolez le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
Si vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une prévalidation. La tâche ne peut démarrer qu'après la réussite de tous les éléments de prévalidation.
Si la prévalidation échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la prévalidation.
-
Si la prévalidation renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la prévalidation.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK et Precheck Again dans l'ordre pour ignorer l'avertissement et relancer la prévalidation. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Méthode de facturation
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
Configuration du groupe de ressources
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?.
Spécification de lien
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario professionnel. Pour plus d'informations, consultez Spécifications des liens de synchronisation de données.
Durée d'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Yes.
-
Une fois la configuration terminée, lisez et sélectionnez les <!--@uicontrol {"id":"01885c0969srx","data-isbold="true"}-->Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.