Data Transmission Service (DTS) prend en charge la synchronisation bidirectionnelle entre les instances Tair (Enterprise Edition) pour la redondance géographique active, la reprise après sinistre géographique et des cas d'utilisation similaires.
Prérequis
Vous devez disposer d'une instance source et d'une instance de destination Tair (Enterprise Edition). Pour plus d'informations, consultez Étape 1 : Créer une instance.
Les instances source et de destination doivent avoir la même capacité de stockage.
Limites
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
Facturation
|
Type |
Frais |
|
Synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Facturé. Pour plus de détails, consultez Aperçu de la facturation. |
Topologies de synchronisation bidirectionnelle
Actuellement, DTS prend en charge la synchronisation bidirectionnelle uniquement entre deux instances Tair. La synchronisation entre plus de deux instances Tair n'est pas encore prise en charge.
Commandes Redis prises en charge
APPEND
BITOP, BLPOP, BRPOP, BRPOPLPUSH
DECR, DECRBY, DEL
EVAL, EVALSHA, EXEC, EXPIRE, EXPIREAT
GEOADD, GETSET
HDEL, HINCRBY, HINCRBYFLOAT, HMSET, HSET, HSETNX
INCR, INCRBY, INCRBYFLOAT
LINSERT, LPOP, LPUSH, LPUSHX, LREM, LSET, LTRIM
MOVE, MSET, MSETNX, MULTI
PERSIST, PEXPIRE, PEXPIREAT, PFADD, PFMERGE, PSETEX
RENAME, RENAMENX, RESTORE, RPOP, RPOPLPUSH, RPUSH, RPUSHX
SADD, SDIFFSTORE, SELECT, SET, SETBIT, SETEX, SETNX, SETRANGE, SINTERSTORE, SMOVE, SPOP, SREM, SUNIONSTORE
ZADD, ZINCRBY, ZINTERSTORE, ZREM, ZREMRANGEBYLEX, ZUNIONSTORE, ZREMRANGEBYRANK, ZREMRANGEBYSCORE
XADD, XCLAIM, XDEL, XAUTOCLAIM, XGROUP CREATECONSUMER, XTRIM
La commande PUBLISH n'est pas prise en charge.
DTS ne peut pas garantir l'exécution réussie des scripts Lua appelés avec EVAL ou EVALSHA lors de la synchronisation incrémentielle car la base de données de destination ne renvoie pas de résultat explicite.
Pour les types de données List, DTS n'efface pas les données existantes de la destination lors de la synchronisation ou des retransmissions psync, ce qui peut créer des données en double.
Autorisations des comptes de base de données
|
Base de données |
Autorisations |
|
Instance Tair source |
Les instances Tair source et de destination nécessitent des comptes de base de données disposant d'autorisations en lecture et en écriture. Pour plus de détails, consultez Créer et gérer des comptes de base de données. |
|
Instance Tair de destination |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Si vous ne respectez pas les limites, la tâche peut échouer ou une incohérence des données peut survenir.
Catégorie
Paramètre
Description
Non applicable
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez Tair/Redis.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve l'instance source Tair.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple synchronise les données au sein d'un seul compte Alibaba Cloud, donc sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance source Tair.
Authentication Method
Sélectionnez une méthode d'authentification en fonction de vos besoins. Dans cet exemple, Password Login est sélectionné.
Remarque-
Seules les versions Redis 6.0 et ultérieures prennent en charge Account + Password Login.
-
Si vous sélectionnez Secret-free login, assurez-vous que l'accès sans mot de passe est activé pour la base de données Redis. Pour savoir comment activer l'accès sans mot de passe pour une instance Tair (Redis OSS-Compatible), consultez Activer l'accès sans mot de passe via un VPC.
Database Password
Saisissez le mot de passe du compte de base de données utilisé pour vous connecter à l'instance source Tair. Pour plus d'informations sur les autorisations de compte requises, consultez Autorisations requises pour les comptes de base de données.
RemarqueLe mot de passe de la base de données doit être au format <user>:<password>. Par exemple, si le nom d'utilisateur personnalisé pour l'instance Tair est
adminet le mot de passe estRp829dlwa, saisissezadmin:Rp829dlwa.Encryption
Sélectionnez Non-encrypted ou SSL-encrypted en fonction des exigences de votre instance de base de données.
RemarqueSi vous utilisez une instance Redis autogérée (la Access Method n'est pas Alibaba Cloud Instance) et que vous sélectionnez SSL-encrypted, vous devez également télécharger un CA Certificate et saisir le CA Certificate Password.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez Tair/Redis.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve l'instance de destination Tair.
Replicate Data Across Alibaba Cloud Accounts
Cet exemple synchronise les données au sein d'un seul compte Alibaba Cloud, donc sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance de destination Tair.
Authentication Method
Sélectionnez une méthode d'authentification en fonction de vos besoins. Dans cet exemple, Password Login est sélectionné.
Remarque-
Seules les versions Redis 6.0 et ultérieures prennent en charge Account + Password Login.
-
Si vous sélectionnez Secret-free login, assurez-vous que l'accès sans mot de passe est activé pour la base de données Redis. Pour savoir comment activer l'accès sans mot de passe pour une instance Tair (Redis OSS-Compatible), consultez Activer l'accès sans mot de passe via un VPC.
Database Password
Saisissez le mot de passe du compte de base de données utilisé pour vous connecter à l'instance de destination Tair. Pour plus d'informations sur les autorisations de compte requises, consultez Autorisations requises pour les comptes de base de données.
RemarqueSi le nom d'utilisateur personnalisé pour l'instance Tair est
adminet le mot de passe estRp829dlwa, saisissezadmin:Rp829dlwa.Encryption
Sélectionnez Non-encrypted ou SSL-encrypted en fonction des exigences de votre instance de base de données.
RemarqueSi vous utilisez une instance Redis autogérée (la Access Method n'est pas Alibaba Cloud Instance) et que vous sélectionnez SSL-encrypted, vous devez également télécharger un CA Certificate et saisir le CA Certificate Password.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste blanche.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Paramètre
Description
Synchronization Types
Par défaut, Incremental Data Synchronization est sélectionné. Vous devez également sélectionner Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données de l'instance source vers le cluster de destination. Cette synchronisation complète initiale crée une ligne de base pour la synchronisation incrémentielle ultérieure.
Synchronization Topology
Sélectionnez Two-way Synchronization.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : Vérifie si la destination est vide. La pré-vérification réussit si la destination est vide. Si la destination n'est pas vide, la pré-vérification échoue, une erreur est signalée et la tâche de synchronisation des données ne démarre pas.
-
Ignore Errors and Proceed : Ignore la pré-vérification Check the existence of objects in the destination database..
AvertissementSi vous sélectionnez Ignore Errors and Proceed, les données source écrasent les données de destination lors de la synchronisation lorsque les clés source et destination ont le même nom. Cela peut entraîner une perte de données dans la destination. Sélectionnez cette option avec prudence.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueVous ne pouvez sélectionner des objets qu'au niveau de la base de données. Pour synchroniser les données de clés spécifiques au sein d'une base de données, utilisez la fonctionnalité data filtering dans le volet Selected Objects.
Selected Objects
Pour spécifier une base de données de destination (DB 0 à DB 255) ou filtrer les données par préfixe, utilisez les fonctionnalités de mappage ou de filtrage. Dans le volet Selected Objects, cliquez avec le bouton droit sur la base de données à synchroniser, puis configurez les paramètres dans la boîte de dialogue Edit Schema qui s'affiche. Pour plus d'informations, consultez Mapper les noms d'objets et Spécifier les conditions de filtrage.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins professionnels ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et commence immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
RemarqueCe paramètre est disponible uniquement lorsque Synchronization Types est sélectionné pour Full Data Synchronization.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez le RPS of Incremental Data Synchronization et la Data synchronization speed for incremental synchronization (MB/s).
Extend Expiration Time of Destination Database Key
Spécifie le temps supplémentaire par lequel prolonger le TTL des clés lorsqu'elles sont migrées de la base de données source vers la base de données de destination. Pour garantir la cohérence des données, nous vous recommandons de prolonger le délai d'expiration des clés si des commandes telles que les suivantes sont utilisées.
RemarqueDans les scénarios impliquant des verrous distribués, cela peut empêcher la libération rapide des verrous.
EXPIRE key seconds PEXPIRE key milliseconds EXPIREAT key timestamp PEXPIREAT key timestampMsEnvironment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance en fonction de vos besoins professionnels. Dans cet exemple, vous n'avez pas besoin de sélectionner un tag.
Configure ETL
Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides :
-
Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
No : Désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : Aucune alerte n'est configurée.
-
Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez Configurer la validation des données pour obtenir les instructions de configuration.
-
-
Enregistrez la tâche et exécutez une pré-vérification.
Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
Si vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.
Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.
-
Si la pré-vérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK, puis Precheck Again dans l'ordre pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de liaison pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
New Instance Class
Méthode de facturation
-
Abonnement : Vous payez lors de la création de l'instance. Cela convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : Vous êtes facturé sur une base horaire. Cela convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
Configuration du groupe de ressources
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que Resource Management ?.
Spécification de liaison
DTS fournit des spécifications de synchronisation avec différents niveaux de performance. La spécification de liaison de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario professionnel. Pour plus d'informations, consultez Spécifications de liaison de synchronisation de données.
Durée d'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Subscription.
-
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.
-
Configurez la tâche de synchronisation inverse.
-
Attendez que la tâche de synchronisation directe termine son initialisation. La tâche est prête lorsque son Status passe à Running.
RemarqueSi votre instance DTS est configurée pour la synchronisation complète et incrémentielle des données (ce qui signifie que Synchronization Types inclut à la fois Full Data Synchronization et Incremental Data Synchronization), la tâche apparaît comme Incremental Data Synchronization dans la liste des tâches de synchronisation.
Localisez la tâche de synchronisation inverse et cliquez sur Configure Task.
-
Configurez la tâche de synchronisation inverse en suivant les étapes de Étape 3 à Étape 6.
ImportantLors de la configuration de la tâche de synchronisation inverse, assurez-vous de sélectionner les bonnes instances : l'instance source pour la tâche inverse est l'instance de destination de la tâche directe, et vice versa. Vous devez également confirmer attentivement que les informations de l'instance, telles que les noms de base de données, les comptes et les mots de passe, sont cohérentes.
Vous ne pouvez pas modifier la Instance Region pour les instances source et de destination de la tâche de synchronisation inverse. Moins de paramètres doivent être configurés pour une tâche de synchronisation inverse que pour une tâche directe. Configurez les paramètres comme indiqué dans la console.
Le paramètre Processing Mode of Conflicting Tables pour la tâche de synchronisation inverse ne vérifie pas les tables qui sont synchronisées vers l'instance de destination par la tâche de synchronisation directe.
La tâche de synchronisation inverse ne prend pas en charge la synchronisation des objets sélectionnés dans la zone Selected Objects de la tâche de synchronisation directe.
N'utilisez pas la fonctionnalité de mappage lorsque vous configurez la tâche inverse, car cela pourrait entraîner une incohérence des données.
Lorsque le Success Rate atteint 100 %, cliquez sur Back.
-
Après avoir configuré la tâche de synchronisation inverse, attendez que le Status des deux tâches de synchronisation soit Running. La configuration de la synchronisation bidirectionnelle des données est maintenant terminée.