Vous pouvez utiliser Data Transmission Service (DTS) pour synchroniser les données d'une instance Redis auto-gérée hébergée sur ECS vers une instance Tair compatible avec Redis.
La modification du type d'architecture de la base de données source ou de destination après la configuration d'une tâche de synchronisation des données entraîne l'échec de la tâche.
Prérequis
-
Vous disposez d'une instance Redis auto-gérée source et d'une instance Tair de destination. Pour créer une instance Tair de destination, consultez la rubrique Étape 1 : Créer une instance.
RemarqueDTS prend uniquement en charge les instances Tair en mode de connexion directe. Pour connaître les versions prises en charge, consultez la rubrique Présentation de la solution de synchronisation.
DTS prend également en charge la synchronisation unidirectionnelle entre les instances Tair. La configuration étant similaire, vous pouvez vous reporter à cette rubrique.
L'instance Tair de destination doit disposer d'un espace de stockage supérieur à celui utilisé par la base de données Redis auto-gérée source.
Si la source Redis utilise une architecture en cluster, chaque nœud doit prendre en charge la commande
PSYNC, et tous les nœuds doivent partager le même mot de passe de connexion.Le paramètre repl-timeout de l'instance Redis source est défini par défaut sur 60 secondes. Nous vous recommandons d'exécuter la commande
config set repl-timeout 600pour le porter à 600 secondes. Si la base de données source contient un volume important de données, augmentez la valeur du paramètre repl-timeout selon vos besoins.Le compte source doit disposer des autorisations PSYNC et SYNC.
Limites
|
Type |
Description |
|
Limites de la base de données source |
|
|
Autres limites |
|
Facturation
|
Type |
Frais |
|
Synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Facturé. Pour plus de détails, consultez la rubrique Présentation de la facturation. |
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle en cascade
Les détails des topologies et les notes d'utilisation sont couverts dans la rubrique Topologies de synchronisation des données.
Commandes de synchronisation prises en charge
APPEND
BITOP, BLPOP, BRPOP, BRPOPLPUSH
DECR, DECRBY, DEL
EVAL, EVALSHA, EXEC, EXPIRE, EXPIREAT
GEOADD, GETSET
HDEL, HINCRBY, HINCRBYFLOAT, HMSET, HSET, HSETNX
INCR, INCRBY, INCRBYFLOAT
LINSERT, LPOP, LPUSH, LPUSHX, LREM, LSET, LTRIM
MOVE, MSET, MSETNX, MULTI
PERSIST, PEXPIRE, PEXPIREAT, PFADD, PFMERGE, PSETEX
RENAME, RENAMENX, RESTORE, RPOP, RPOPLPUSH, RPUSH, RPUSHX
SADD, SDIFFSTORE, SELECT, SET, SETBIT, SETEX, SETNX, SETRANGE, SINTERSTORE, SMOVE, SPOP, SREM, SUNIONSTORE
ZADD, ZINCRBY, ZINTERSTORE, ZREM, ZREMRANGEBYLEX, ZUNIONSTORE, ZREMRANGEBYRANK, ZREMRANGEBYSCORE
SWAPDB, UNLINK (pris en charge uniquement si l'instance Redis source est en version 4.0 ou ultérieure)
XADD, XCLAIM, XDEL, XAUTOCLAIM, XGROUP CREATECONSUMER, XTRIM
La commande
PUBLISHn'est pas synchronisée.Pour les scripts Lua invoqués avec
EVALouEVALSHA, DTS ne peut pas garantir que les scripts sont exécutés avec succès sur la destination lors de la synchronisation incrémentielle des données. En effet, la destination ne renvoie pas explicitement de résultat d'exécution.Pour les types de données List, DTS n'efface pas les données existantes sur la destination lors de la retransmission des données avec
syncoupsync. Cela peut entraîner des données en double.
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
Section
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez Tair/Redis.
Access Method
Sélectionnez Self-managed Database on ECS.
Instance Region
Sélectionnez la région de l'instance ECS où se trouve la base de données Redis source.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, les données sont synchronisées au sein du même compte Alibaba Cloud. Sélectionnez No.
ECS Instance ID
Sélectionnez l'ID de l'instance ECS où se trouve la base de données Redis source.
RemarqueSi la base de données Redis source utilise une architecture en cluster, sélectionnez l'ID de l'instance ECS où se trouve le nœud maître de n'importe quel shard. Vous devez également ajouter manuellement les blocs CIDR des serveurs DTS de la région correspondante aux règles de sécurité de toutes les autres instances ECS. Pour plus d'informations, consultez les rubriques Créer un groupe de sécurité, Associer une instance à un groupe de sécurité et Ajouter les blocs CIDR des serveurs DTS à une liste d'autorisation.
Instance Mode
Sélectionnez Standalone ou Cluster en fonction de l'architecture de votre base de données Redis source.
Port Number
Saisissez le port de service de la base de données Redis source. La valeur par défaut est 6379.
RemarqueSi la base de données Redis source utilise une architecture en cluster, saisissez le port de service du nœud maître de n'importe quel shard.
Authentication Method
Sélectionnez une méthode d'authentification selon vos besoins. Dans cet exemple, Password Login est sélectionné.
RemarqueSeules les versions Redis 6.0 et ultérieures prennent en charge Account + Password Login.
Si vous sélectionnez Secret-free login, assurez-vous que l'accès sans mot de passe est activé pour la base de données Redis. Pour savoir comment activer l'accès sans mot de passe pour une instance Tair (Redis OSS-Compatible), consultez la rubrique Activer l'accès sans mot de passe via un VPC.
Database Password
Saisissez le mot de passe utilisé pour se connecter à la base de données Redis source.
RemarqueCe paramètre est facultatif. Si aucun mot de passe n'est défini, laissez ce champ vide.
Saisissez le mot de passe au format
<user>:<password>. Par exemple, si le nom d'utilisateur personnalisé de votre instance Redis est admin et le mot de passe est Rp829dlwa, saisissezadmin:Rp829dlwa.
Encryption
Sélectionnez Non-encrypted ou SSL-encrypted en fonction des exigences de votre instance de base de données.
RemarqueSi vous utilisez une instance Redis auto-gérée (la Access Method n'est pas Alibaba Cloud Instance) et que vous sélectionnez SSL-encrypted, vous devez également télécharger un CA Certificate et saisir le CA Certificate Password.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez Tair/Redis.
Access Method
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région de l'instance Tair de destination.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, les données sont synchronisées au sein du même compte Alibaba Cloud. Sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance Tair de destination.
Authentication Method
Sélectionnez une méthode d'authentification selon vos besoins. Dans cet exemple, Password Login est sélectionné.
RemarqueSeules les versions Redis 6.0 et ultérieures prennent en charge Account + Password Login.
Si vous sélectionnez Secret-free login, assurez-vous que l'accès sans mot de passe est activé pour la base de données Redis. Pour savoir comment activer l'accès sans mot de passe pour une instance Tair (Redis OSS-Compatible), consultez la rubrique Activer l'accès sans mot de passe via un VPC.
Database Password
Saisissez le mot de passe utilisé pour se connecter à l'instance Tair de destination.
RemarqueSaisissez le mot de passe au format
<user>:<password>. Par exemple, si le nom d'utilisateur personnalisé de votre instance Tair est admin et le mot de passe est Rp829dlwa, saisissezadmin:Rp829dlwa.Encryption
Sélectionnez Non-encrypted ou SSL-encrypted en fonction des exigences de votre instance de base de données.
RemarqueSi vous utilisez une instance Redis auto-gérée (la Access Method n'est pas Alibaba Cloud Instance) et que vous sélectionnez SSL-encrypted, vous devez également télécharger un CA Certificate et saisir le CA Certificate Password.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que le segment d'adresses IP du service DTS est ajouté automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données auto-gérée (la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers qui s'affiche.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Parameter
Description
Synchronization Types
Full Data Synchronization + Incremental Data Synchronization est sélectionné par défaut.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors : vérifie si la destination est vide. La prévérification réussit si la destination est vide. Si la destination n'est pas vide, la prévérification échoue, une erreur est signalée et la tâche de synchronisation des données ne démarre pas.
-
Ignore Errors and Proceed : ignore la prévérification Check the existence of objects in the destination database..
AvertissementSi vous sélectionnez Ignore Errors and Proceed, les données source écrasent les données de destination lors de la synchronisation lorsque les clés source et destination portent le même nom. Cela peut entraîner une perte de données dans la destination. Sélectionnez cette option avec prudence.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueVous pouvez sélectionner des objets uniquement au niveau de la base de données. Pour synchroniser les données de clés spécifiques au sein d'une base de données, utilisez la fonctionnalité de filtrage des données dans le volet Selected Objects.
Selected Objects
Pour spécifier une base de données de destination (DB 0 à DB 255) ou filtrer les données par préfixe, utilisez les fonctionnalités de mappage ou de filtrage. Dans le volet Selected Objects, faites un clic droit sur la base de données à synchroniser, puis configurez les paramètres dans la boîte de dialogue Edit Schema qui s'affiche. Pour plus d'informations, consultez les rubriques Mapper les noms d'objets et Spécifier les conditions de filtrage.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Parameter
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections
Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte, soit 30 minutes, est utilisée pour les deux.
-
Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Une fois la tâche de synchronisation démarrée, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations concernées aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
RemarqueCe paramètre est disponible uniquement lorsque Synchronization Types inclut Full Data Synchronization.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Aucun tag n'est requis pour cet exemple.
Extend Expiration Time of Destination Database Key
Définit un délai d'expiration supplémentaire pour les clés synchronisées de la base de données source vers la base de données de destination. Pour garantir la cohérence des données, nous vous recommandons de définir un délai d'expiration étendu si vous utilisez des commandes telles que les suivantes :
RemarqueDans les scénarios impliquant des verrous distribués, cela peut empêcher la libération rapide des verrous.
EXPIRE key seconds PEXPIRE key milliseconds EXPIREAT key timestamp PEXPIREAT key timestampMsUse Slave Node
Si le Instance Mode de l'instance Redis auto-gérée source est Cluster, vous pouvez choisir de lire les données à partir des nœuds maître ou esclave. La valeur par défaut est No, ce qui signifie que les données sont lues à partir du nœud maître.
Configure ETL
Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
No : désactive la fonctionnalité ETL.
-
-
Cliquez sur Next: Data Validation pour configurer une tâche de validation des données.
Si vous souhaitez utiliser la fonctionnalité de validation des données, consultez la rubrique Configurer la validation des données pour obtenir des instructions de configuration.
-
-
Enregistrez la tâche et exécutez une prévérification.
Pour afficher les paramètres API permettant de configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.
Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de prévérification.
Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la prévérification.
-
Si la prévérification renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la prévérification.
Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'avertissement et de relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.
Category
Parameter
Description
New Instance Class
Billing Method
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
Resource Group Configuration
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?.
Link Specification
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications des liens de synchronisation des données.
Subscription Duration
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Subscription.
-
Une fois la configuration terminée, lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start, puis cliquez sur OK dans la boîte de dialogue OK.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.
RemarqueSi votre instance DTS est configurée pour la synchronisation complète et incrémentielle des données (ce qui signifie que Synchronization Types inclut à la fois Full Data Synchronization et Incremental Data Synchronization), la tâche apparaît sous la forme Incremental Data Synchronization dans la liste des tâches de synchronisation.