Migration des données
La migration des données permet de transférer des informations entre des sources de données homogènes ou hétérogènes. Les cas d'utilisation courants incluent la migration vers le cloud, le déplacement de données entre des instances au sein d'Alibaba Cloud, ainsi que le partitionnement ou la mise à l'échelle des bases de données.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Migration homogène | Migration logique | Migrez des données entre des bases de données du même type. | Migrer des données d'une base de données MySQL autogérée vers une instance ApsaraDB RDS for MySQL |
| Migration homogène | Migration physique | Migrez des données d'une base de données autogérée vers le cloud à l'aide d'une passerelle physique. | Migrer des données d'une base de données SQL Server autogérée vers une instance ApsaraDB RDS for SQL Server à l'aide d'une passerelle de protocole physique / Migrer des données d'une base de données SQL Server autogérée vers une instance ApsaraDB RDS for SQL Server à l'aide d'une passerelle physique sur un hôte bastion |
| Migration hétérogène | Migration logique | Migrez des données entre des bases de données de types différents. | Migrer des données d'une base de données Oracle autogérée vers une instance AnalyticDB for PostgreSQL / Correspondances des types de données entre bases de données hétérogènes |
| Basculement du trafic | Basculement de base de données vers le cloud | Après avoir effectué l'évaluation et la transformation de la base de données et de l'application, basculez votre activité vers des bases de données cloud en toute fluidité, avec un minimum de perturbations. | Basculement de base de données |
| Tâches périodiques | Migration complète planifiée | Migrez les données de schéma et les données historiques de la base de données source vers la base de données destination selon une planification régulière, en utilisant les configurations de politique de planification de la fonctionnalité d'intégration des données. | Configurer une tâche d'intégration de données entre des instances ApsaraDB RDS for MySQL |
| Migration de compte | Migration complète des comptes | Migrez les comptes, y compris les mots de passe et les permissions, de la base de données source vers la base de données destination lors de la configuration d'une tâche de synchronisation ou de migration. | Migrer des comptes de base de données |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Validation homogène |
Validation des métadonnées |
Validez le schéma des données homogènes. |
|
|
Validation complète des données |
Validez les données historiques des bases de données homogènes. |
||
|
Validation incrémentielle des données |
Validez les données issues de la synchronisation incrémentielle ou de la migration entre bases de données homogènes. |
||
|
Validation hétérogène |
Validation de l'équivalence des métadonnées |
Validez le schéma des données hétérogènes. |
|
|
Validation complète des données |
Validez les données historiques des bases de données hétérogènes. |
||
|
Validation incrémentielle des données |
Validez les données issues de la synchronisation incrémentielle ou de la migration entre bases de données hétérogènes. |
||
|
Correction |
Correction des métadonnées |
Si une incohérence de schéma est détectée lors de la validation, vous pouvez la corriger sur la base des résultats de validation. |
|
|
Correction complète des données |
Si une incohérence des données complètes est détectée, vous pouvez télécharger le script SQL de correction basé sur les résultats de validation pour effectuer les corrections. |
||
|
Correction incrémentielle des données |
Si une incohérence des données incrémentielles est détectée, vous pouvez la corriger sur la base des résultats de validation. |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Gestion des tâches |
Création et configuration des tâches |
Créez des tâches de transmission de données entre diverses sources de données. Vous pouvez configurer la tâche avant ou après l'achat. |
|
|
Planification des tâches |
Par défaut, DTS planifie les tâches sur un cluster partagé. Vous pouvez sélectionner un cluster dédié pour planifier la tâche lors de la configuration avancée. |
- |
|
|
Surveillance des tâches |
Consultez l'état du lien et diverses métriques de performance d'une tâche dans la console DTS. Ces informations vous aident à gérer vos tâches. |
||
|
Diagnostic des tâches |
Fournit des résultats de diagnostic et des suggestions en vérifiant les performances de la base de données source, de la base de données de destination, du réseau et de DTS lors de la migration incrémentielle. |
||
|
Modification des tâches |
Gérez les tags d'environnement pour les instances. Ajoutez ou supprimez des objets de synchronisation pendant qu'une instance de synchronisation de données est en cours d'exécution. Modifiez la configuration ETL d'une instance de synchronisation ou de migration. |
||
|
Suppression des tâches |
Pour les instances DTS ayant terminé leurs tâches de transmission de données et dont vous n'avez pas besoin de conserver la configuration, vous pouvez libérer manuellement les instances au paiement à l'utilisation ou résilier les abonnements aux instances par abonnement afin d'éviter des frais supplémentaires. |
||
|
Accès inter-comptes |
Configurez des tâches qui s'étendent sur plusieurs comptes Alibaba Cloud. Cette fonctionnalité convient aux scénarios tels que la migration ou la consolidation de ressources entre comptes Alibaba Cloud et les ajustements de l'architecture métier. |
Configurer une tâche qui s'étend sur plusieurs comptes Alibaba Cloud |
|
|
Accès hybride et inter-cloud |
Connectez-vous aux bases de données à l'aide d'adresses IP publiques pour migrer des données entre des comptes aux propriétés différentes, tels que les comptes du cloud public et ceux d'Alibaba Finance Cloud. |
- |
|
|
Audit des opérations |
Interrogez les journaux d'opérations d'une instance pour obtenir des informations sur les opérations effectuées sur l'instance, leurs résultats et les utilisateurs qui les ont réalisées. |
||
|
Gestion des connexions de données |
Saisissez les informations de la base de données afin de pouvoir sélectionner une base de données préenregistrée lors de la configuration d'une tâche. DTS remplit automatiquement les informations de la base de données, ce qui vous évite de les saisir manuellement. |
||
|
OpenAPI |
API POP |
Appelez et testez les API dans le portail OpenAPI. |
|
|
SDK |
Appelez les API à l'aide d'un SDK. |
||
|
Terraform |
Prend en charge l'outil open source Terraform. |
- |
|
|
Gestion du réseau |
Connexion inter-régions |
Prend en charge la transmission de données lorsque les bases de données source et de destination se trouvent dans des régions différentes. |
|
|
Compression de la transmission |
Le lien DTS prend en charge la transmission compressée simultanée pour réduire l'utilisation de la bande passante. |
||
|
Accès par endpoint privé |
Lors de la connexion à une base de données source ou de destination via un VPC, vous pouvez utiliser un endpoint privé pour vous connecter à la base de données. |
- |
|
|
Database Gateway (DG) |
Connectez les bases de données à DTS à l'aide de Database Gateway (DG). |
||
|
Connexion au trafic Internet |
Connectez-vous aux bases de données à l'aide d'adresses IP publiques. |
Ajouter les plages CIDR des serveurs DTS à la liste blanche d'adresses IP |
|
|
Transmission transfrontalière |
Par défaut, seules les tâches de synchronisation de données non transfrontalières sont prises en charge. Pour créer une tâche de synchronisation de données transfrontalière, vous devez demander les autorisations requises. |
||
|
Event Center |
Notification d'événements |
Abonnez-vous aux événements importants et configurez des notifications d'alerte personnalisées via la plateforme Cloud Monitor. Cela vous tient informé de la survenue et de la progression des événements, vous aidant à analyser et localiser rapidement les problèmes en cas de défaillance métier. |
|
|
Plateforme O&M proactive |
Prend en charge les alertes d'événements O&M. Lorsque le système détecte un risque susceptible d'empêcher une instance DTS de fonctionner correctement, il déclenche un événement O&M correspondant et vous en informe via la console, par e-mail ou par messages internes. |
||
|
Serverless |
Gestion des instances Serverless |
Effectuez des opérations sur les instances Serverless, telles que la mise en pause de l'instance, l'affichage des métriques et la modification des limites supérieure et inférieure des DU. |
- |
|
Cluster dédié |
Gestion des DU |
Consultez les informations de création et d'utilisation des DU du cluster dédié. Modifiez le nombre de DU pour une tâche de cluster dédié afin d'ajuster les spécifications de la tâche. |
|
|
Modification de l'espace disque |
Si l'utilisation du disque d'un cluster dédié est trop élevée et ne peut pas répondre aux besoins actuels de l'activité, vous pouvez augmenter l'espace disque pour garantir qu'il corresponde à vos exigences. |
||
|
Migration entre clusters partagés et dédiés |
Modifiez le cluster sur lequel une instance s'exécute. Vous pouvez migrer une instance d'un cluster dédié vers un cluster public, ou d'un cluster public vers un cluster dédié. |
Migrer une instance entre un cluster dédié et un cluster public |
|
|
Gestion des instances de cluster dédié |
Effectuez des opérations sur les clusters dédiés, telles que le renouvellement manuel, la modification des configurations de nœuds et la définition du ratio de surengagement. |
||
|
Sécurité |
Chiffrement des données |
Connectez-vous aux bases de données à l'aide de connexions chiffrées SSL. |
|
|
Isolation des opérations |
Utilisez des identités RAM avec le principe du moindre privilège, telles que les utilisateurs RAM et les rôles RAM, pour accéder à DTS. Cela améliore la sécurité des données et réduit les risques de sécurité liés à l'abus d'autorisations. |
- |
|
|
Contrôle des autorisations de compte |
Accédez aux ressources cloud telles que RDS et ECS sous le compte Alibaba Cloud actuel en accordant des stratégies système. Utilisez des comptes de base de données disposant des autorisations suffisantes pour effectuer les tâches de transmission de données. |
||
|
Fiabilité |
Haute disponibilité (HA) du cluster |
Utilise des serveurs haute spécification pour garantir de bonnes performances de transmission pour chaque lien de migration ou de synchronisation. |
|
|
Transmission reprenable |
Dispose d'un mécanisme automatique de reprise de transmission pour garantir la fiabilité de la transmission des données. |
||
|
Protection de reprise après sinistre de la source de données |
Si une base de données source ou de destination ne peut pas être connectée ou rencontre d'autres problèmes, DTS lance immédiatement des tentatives continues. |
- |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Suivi des modifications |
Canal de suivi des modifications |
Créez une instance de suivi des modifications pour obtenir les modifications de données incrémentielles en temps réel d'une base de données. |
|
|
SDK de suivi des modifications |
Utilisez l'exemple de code pour le client SDK, flink-dts-connector ou le client Kafka pour afficher les données abonnées. Cela permet aux clients SDK, Flink et Kafka de consommer les données du canal de suivi des modifications. |
||
|
Gestion du trafic de suivi des modifications |
Lorsque la base de données source d'une instance de suivi des modifications est MySQL, vous pouvez configurer le type de facturation pour déterminer si le trafic de données doit être facturé. |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Migration homogène |
Migration logique |
Prend en charge la migration de données entre bases de données homogènes. |
Migrer une base de données MySQL auto-gérée vers une instance RDS for MySQL |
|
Migration physique |
Migrez une base de données auto-gérée vers le cloud en utilisant une passerelle physique. |
||
|
Migration hétérogène |
Migration logique |
Prend en charge la migration de données entre bases de données hétérogènes. |
|
|
Basculement |
Basculement de base de données vers le cloud |
Le basculement de base de données vous aide à migrer votre activité vers une base de données cloud en toute fluidité, une fois l'évaluation de la base de données ainsi que l'évaluation et la transformation de l'application terminées. |
|
|
Tâche périodique |
Migration complète planifiée |
Utilisez la politique de planification de la fonctionnalité d'intégration de données pour migrer périodiquement le schéma et les données historiques de la base de données source vers la base de données de destination. |
Configurer une tâche d'intégration de données entre instances RDS for MySQL |
|
Migration de compte |
Migration complète des comptes |
Activez la fonctionnalité de migration des comptes lors de la configuration d'une tâche de synchronisation ou de migration. Cela permet de migrer rapidement les comptes, y compris les mots de passe et les permissions, de la base de données source vers la base de données de destination. |
Synchronisation de données
La synchronisation de données maintient les données synchronisées entre les sources de données en temps réel. Les cas d'utilisation incluent la redondance géographique active, la reprise après sinistre géographique, la reprise après sinistre au niveau des zones, la synchronisation de données transfrontalière, les systèmes de business intelligence (BI) basés sur le cloud et l'entreposage de données en temps réel.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Gestion des instances de synchronisation | Basculement de reprise après sinistre inversé | Créez une instance de synchronisation inversée en quelques étapes pour une instance de synchronisation en cours d'exécution. L'instance inversée synchronise les données incrémentielles de la base de données de destination vers la base de données source. | Créer une instance inversée |
| Reprise après sinistre et redondance multi-active | Synchronisation bidirectionnelle | Configurez une synchronisation de données bidirectionnelle en temps réel entre deux bases de données, telles qu'une base de données ApsaraDB RDS for MySQL et une base de données MySQL auto-gérée. Adapté à la redondance géographique active basée sur une architecture cellulaire et à la reprise après sinistre géographique. | Configurer la synchronisation de données bidirectionnelle entre instances MySQL / Configurer la synchronisation de données bidirectionnelle entre clusters PolarDB for PostgreSQL (compatible avec Oracle) / Configurer la synchronisation de données bidirectionnelle entre instances ApsaraDB RDS for PostgreSQL / Configurer la synchronisation de données bidirectionnelle entre instances de jeu de réplicas ApsaraDB for MongoDB / Configurer la synchronisation bidirectionnelle entre instances Tair |
| Reprise après sinistre et redondance multi-active | Changement de direction pour les instances de synchronisation bidirectionnelle | Changez la direction de synchronisation d'une instance de synchronisation bidirectionnelle existante sans avoir à en créer une nouvelle. Utile lors du basculement entre bases de données principale et secondaire ou entre plateformes cloud. | Changer la direction d'une instance de synchronisation bidirectionnelle |
| Reprise après sinistre et redondance multi-active | Cluster Global Active Database (GAD) | Créez un cluster GAD basé sur ApsaraDB RDS et DTS pour permettre la reprise après sinistre de la base de données et offrir aux utilisateurs un accès aux ressources les plus proches. | N/A |
| Gestion de la topologie de synchronisation | Mise à niveau de la topologie | Faites évoluer la topologie de synchronisation d'une tâche d'une synchronisation unidirectionnelle vers une synchronisation bidirectionnelle selon l'évolution des besoins métier. | Mettre à niveau la topologie de synchronisation d'unidirectionnelle à bidirectionnelle |
| Détection et résolution des conflits | Détection des conflits | Détectez les conflits, notamment les conflits d'unicité issus des opérations INSERT, les enregistrements incohérents provenant des opérations UPDATE et les enregistrements ciblés pour suppression qui n'existent pas. | N/A |
| Détection et résolution des conflits | Résolution des conflits | Trois politiques sont disponibles : TaskFailed termine la tâche et signale une erreur en cas de conflit ; Ignore conserve les enregistrements conflictuels dans la destination ; Overwrite remplace les enregistrements conflictuels dans la destination. | N/A |
| Synchronisation hétérogène | Synchronisation vers des entrepôts de données en temps réel | Synchronisez les données vers des entrepôts de données en temps réel pour un traitement hors ligne à haut débit et une analyse en ligne haute performance. | Synchroniser les données d'une instance ApsaraDB RDS for MySQL vers un cluster AnalyticDB for MySQL V3.0 |
| Synchronisation hétérogène | Synchronisation hors base de données | Synchronisez les données vers une fonction dans Function Compute, où vous pouvez écrire du code de fonction pour traiter les données. | Synchroniser les données d'une instance de jeu de réplicas MongoDB vers une fonction Function Compute / Synchroniser les données d'une instance de cluster fragmenté ApsaraDB for MongoDB vers une fonction Function Compute |
| Synchronisation hétérogène | Synchronisation de bases de données hétérogènes | Synchronisez les données entre des bases de données de types différents. | Mappages de types de données pour la synchronisation de schéma / Synchroniser les données d'une base de données Oracle auto-gérée vers une instance AnalyticDB for PostgreSQL |
| Expédition de données | Canal d'expédition de données | Créez une instance d'expédition de données pour établir un canal, puis utilisez le SDK d'expédition de données pour envoyer les données de vos sources vers DTS. | Créer une instance d'expédition de données |
| Expédition de données | SDK d'expédition de données | Utilisez le SDK d'expédition de données pour envoyer les données de diverses sources vers DTS, qui synchronise ensuite les données vers la base de données de destination. Cela élargit la gamme des types de sources pris en charge. | Utiliser le SDK pour expédier les données vers DTS |
| Synchronisation homogène | Synchronisation en temps réel | Synchronisez les données en temps réel entre des bases de données du même type. | Synchroniser les données d'une base de données MySQL auto-gérée vers une instance ApsaraDB RDS for MySQL |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Répartition lecture/écriture et aiguillage |
Cache TP en temps réel |
Migrez des bases de données MySQL, telles que MySQL auto-géré ou RDS for MySQL, vers des instances Redis. Cela réduit la charge sur la base de données relationnelle backend et améliore l'expérience utilisateur. |
|
|
Filtrage et mappage des métadonnées |
Filtrage par base de données, table et colonne |
Lors de la configuration des objets de tâche, vous pouvez les sélectionner au niveau de la granularité base de données, table et colonne. |
- |
|
Filtrage DDL et DML |
Lors de la configuration des objets de tâche de synchronisation ou de migration, vous pouvez utiliser des opérations SQL pour filtrer les données destinées à la synchronisation ou à la migration incrémentielles. |
- |
|
|
Mappage des noms de base de données, de tables et de colonnes |
Lors de la configuration des objets de tâche de synchronisation ou de migration, vous pouvez définir les noms des objets de tâche (base de données, table, colonne) dans l'instance de base de données de destination. Utilisez cette fonctionnalité pour synchroniser ou migrer des données vers un objet spécifié dans l'instance de destination, ou pour créer un objet dans l'instance de destination ayant la même structure mais un nom différent. |
Mapper les noms de bases de données, de tables et de colonnes |
|
|
Mappage de topologie |
La fonctionnalité de synchronisation de données prend en charge plusieurs topologies de synchronisation. Vous pouvez planifier vos instances de synchronisation en fonction de vos besoins métier. |
||
|
Filtrage, traitement et mappage des données |
Filtrage par clause WHERE |
Lors de la configuration des objets de tâche de synchronisation ou de migration, vous pouvez définir des conditions de filtre pour synchroniser ou migrer uniquement les données répondant à vos besoins depuis la base de données source vers la base de données de destination. |
|
|
Mappage des types de données |
Lors de la synchronisation ou de la migration de données entre bases de données hétérogènes, le mappage des types de données est effectué pendant la phase de synchronisation ou de migration du schéma. Cela convertit les types de données de la base de données source vers les types pris en charge par la base de données de destination. |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Gestion des liens de synchronisation |
Basculement de reprise après sinistre inversé en un clic |
Créez une instance de synchronisation incrémentielle inversée pour une instance de synchronisation en cours d'exécution en un seul clic. |
|
|
Reprise après sinistre et actif-actif |
Synchronisation bidirectionnelle |
Établissez une synchronisation de données bidirectionnelle en temps réel entre deux bases de données, telles qu'une instance RDS for MySQL et une base de données MySQL auto-gérée. Cette fonctionnalité convient aux scénarios de redondance géographique active (unitisation) et de reprise après sinistre géographique. |
|
|
Inversion de la direction de synchronisation en un clic |
Inversez la direction d'une instance de synchronisation bidirectionnelle. Lorsque vous devez basculer entre les bases de données principale et secondaire ou entre deux clouds, vous pouvez ajuster facilement la direction d'une instance de synchronisation bidirectionnelle existante sans la reconfigurer. |
Inverser la direction d'une instance de synchronisation bidirectionnelle |
|
|
Cluster de base de données actif-actif global (GAD) |
Construisez un cluster de base de données actif-actif global à l'aide de RDS et de DTS. Cela offre une reprise après sinistre pour les bases de données et une expérience d'accès au plus proche pour les utilisateurs. |
- |
|
|
Gestion de la topologie de synchronisation |
Mettez à niveau la topologie de synchronisation d'une tâche de synchronisation, passant d'unidirectionnelle à bidirectionnelle, afin de répondre à l'évolution des besoins métier. |
Mettre à niveau une tâche de synchronisation unidirectionnelle vers une tâche bidirectionnelle |
|
|
Gestion des conflits |
Détection des conflits |
Détectez les conflits d'unicité causés par les opérations INSERT, les correspondances de records incomplètes lors des UPDATE et les records inexistants lors des DELETE. |
- |
|
Gestion des conflits |
Prend en charge trois stratégies de résolution des conflits : TaskFailed (la tâche signale une erreur et s'arrête), Ignore (utilise le record conflictuel de l'instance de destination) et Overwrite (écrase le record conflictuel dans l'instance de destination). |
- |
|
|
Synchronisation hétérogène |
Synchronisation vers un entrepôt de données en temps réel |
Synchronisez les données vers un entrepôt de données en temps réel pour prendre en charge le traitement hors ligne à haut débit et l'analyse en ligne haute performance. |
Synchroniser les données d'une instance RDS for MySQL vers une instance AnalyticDB for MySQL 3.0 |
|
Synchronisation hors base de données |
Synchronisez les données vers une fonction spécifiée dans Function Compute (FC). Vous pouvez écrire du code de fonction pour un traitement secondaire des données. |
||
|
Synchronisation entre bases de données hétérogènes |
Prend en charge la synchronisation de données entre bases de données hétérogènes. |
||
|
Expédition de données |
Canal d'expédition de données |
Créez une instance d'expédition de données pour établir un canal d'expédition. Cela vous permet d'utiliser un SDK pour acheminer les données d'une source de données vers DTS. |
|
|
SDK d'expédition de données |
Utilisez un SDK pour acheminer divers types de données d'une source de données vers DTS. DTS synchronise ensuite les données vers la base de données de destination, prenant ainsi en charge une gamme plus large de sources de données. |
||
|
Synchronisation homogène |
Synchronisation homogène logique en temps réel |
Prend en charge la synchronisation de données entre bases de données homogènes. |
Synchroniser les données d'une base de données MySQL auto-gérée vers une instance RDS for MySQL |
Suivi des modifications
Le suivi des modifications capture les données incrémentielles en temps réel provenant des bases de données. Consommez ou écrivez les données incrémentielles selon vos exigences métier pour prendre en charge les mises à jour de cache, le découplage asynchrone des activités métier, la synchronisation de données en temps réel entre sources hétérogènes et les pipelines complexes d'extraction, de transformation et de chargement (ETL).
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Suivi des modifications | Canaux de suivi des modifications | Créez une instance de suivi des modifications pour capturer les changements de données incrémentielles en temps réel d'une base de données. | Présentation des scénarios de suivi des modifications |
| Suivi des modifications | SDK de suivi des modifications | Consommez les données suivies à l'aide d'un client SDK, d'un client Flink ou d'un client Kafka. La démo du client SDK, flink-dts-connector et la démo du client Kafka sont toutes disponibles pour afficher les données suivies. | Consommer les données suivies |
| Suivi des modifications | Gestion du trafic | Pour les instances de suivi des modifications dont la base de données source est MySQL, les frais de transfert de données sont facturés en fonction du type de frais de configuration que vous sélectionnez. | Éléments facturables / Suivre les modifications de données d'une instance ApsaraDB RDS for MySQL |
Gestion des tâches
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Gestion des tâches | Création et configuration de tâches | Créez des tâches DTS entre diverses sources de données. Configurez une tâche avant ou après l'achat d'une instance DTS. | Bases de données prises en charge / Acheter une instance DTS |
| Gestion des tâches | Planification des tâches | Par défaut, DTS planifie les tâches sur un cluster partagé. Sélectionnez un cluster dédié dans les paramètres avancés pour épingler une tâche à des ressources dédiées. | N/A |
| Gestion des tâches | Surveillance des tâches | Consultez l'état de la connexion entre DTS et vos bases de données source et de destination, ainsi que les métriques de performance de l'instance DTS. | Surveiller les performances des tâches |
| Gestion des tâches | Diagnostic des tâches | Lors de la migration incrémentielle, vérifiez les performances de la base de données source, de la base de données de destination, du réseau et de DTS. Des résultats de diagnostic et des suggestions sont fournis. | Surveiller les performances des tâches / Afficher l'état de la connexion et les performances de la migration incrémentielle des données / Afficher l'état de la connexion et les performances de la synchronisation des données |
| Gestion des tâches | Modification des tâches | Gérez les tags d'environnement, ajoutez ou supprimez des objets synchronisés pendant l'exécution d'une instance de synchronisation, et modifiez les configurations ETL pour les tâches de migration ou de synchronisation. | Modifier les objets à synchroniser / Configurer ETL dans une tâche de migration ou de synchronisation de données / Gérer les tags d'environnement |
| Gestion des tâches | Suppression des tâches | Libérez une instance DTS en paiement à l'utilisation ou résiliez un abonnement à une instance DTS lorsque toutes les tâches sont terminées et que l'instance n'est plus nécessaire, afin d'éviter des frais supplémentaires. | Libérer des instances DTS |
| Gestion des tâches | Accès inter-comptes | Configurez des tâches DTS entre différents comptes Alibaba Cloud pour des scénarios tels que la migration de ressources, la fusion de comptes ou les ajustements de l'architecture métier. | Configurer une tâche DTS entre comptes Alibaba Cloud |
| Gestion des tâches | Accès inter-cloud dans un environnement cloud hybride | Accédez aux bases de données via des adresses IP publiques pour migrer des données entre des comptes ayant des attributs différents, par exemple entre un compte de cloud public et un compte de cloud financier. | N/A |
| Gestion des tâches | Journaux d'opérations | Interrogez les journaux d'opérations d'une instance pour voir quelles opérations ont été effectuées, leurs résultats et qui les a réalisées. | Interroger les journaux d'opérations des instances |
| Gestion des tâches | Gestion des connexions aux bases de données | Enregistrez les bases de données à l'avance afin que DTS remplisse automatiquement les détails de connexion lors de la configuration d'une tâche, éliminant ainsi la saisie manuelle. | Gérer les connexions aux bases de données |
| API | OpenAPI (POP) | Appelez les opérations API DTS dans OpenAPI Explorer pour les tests et l'intégration. | Vue d'ensemble de l'intégration |
| API | SDK | Appelez les opérations API DTS par programmation à l'aide des SDK fournis. | Exemple d'utilisation de l'API |
| API | Terraform | Gérez les ressources DTS à l'aide de l'outil open source Terraform. | N/A |
| Gestion du réseau | Connectivité inter-régions | Transmettez des données entre les bases de données source et de destination situées dans différentes régions. | Instances transfrontalières et inter-régions |
| Gestion du réseau | Compression des données | DTS utilise la compression concurrente des données pendant la transmission pour minimiser l'utilisation de la bande passante. | Avantages |
| Gestion du réseau | Accès via endpoint interne | Connectez-vous à une base de données source ou de destination dans un VPC (Virtual Private Cloud) via un endpoint interne. | N/A |
| Gestion du réseau | Database Gateway | Connectez une base de données locale ou hébergée sur un cloud tiers à DTS à l'aide de Database Gateway. | Connecter une base de données locale ou hébergée sur un cloud tiers à Alibaba Cloud à l'aide de Database Gateway |
| Gestion du réseau | Accès Internet public | Connectez une base de données à DTS via une adresse IP publique. | Ajouter les plages CIDR des serveurs DTS |
| Gestion du réseau | Transmission de données transfrontalière | Par défaut, DTS prend en charge la synchronisation des données uniquement au sein du même pays ou de la même région. Demandez des autorisations transfrontalières pour synchroniser des données au-delà des frontières. | Demander des autorisations pour synchroniser des données au-delà des frontières / Instances transfrontalières et inter-régions |
| Event center | Notifications d'événements | Utilisez la fonctionnalité d'abonnement aux événements de CloudMonitor pour configurer des notifications d'alerte personnalisées pour les événements importants, afin d'être rapidement informé de l'état des événements et de pouvoir analyser et résoudre les interruptions métier. | S'abonner aux notifications d'événements |
| Event center | Maintenance proactive | Lorsque DTS détecte des risques susceptibles de provoquer des pannes d'instances, des événements de maintenance sont déclenchés et des notifications sont envoyées via la console, par e-mail ou par messages internes. | Gérer les événements de maintenance |
| Instances Serverless | Gestion des instances Serverless | Suspendez une instance Serverless, consultez les données métriques et modifiez les limites supérieure et inférieure des unités DTS (DUs). | N/A |
| Clusters dédiés | Gestion des DU | Consultez les unités DTS (DUs) allouées à un cluster dédié et leur utilisation. Modifiez le nombre de DUs pour une tâche afin d'ajuster ses spécifications. | Modifier le nombre de DUs pour une tâche dans un cluster dédié DTS / Afficher les informations sur les DUs d'un cluster dédié DTS |
| Clusters dédiés | Extension du disque | Étendez la capacité du disque d'un cluster dédié lorsque l'utilisation du disque est trop élevée pour vos besoins métier. | Augmenter l'espace de stockage des nœuds dans un cluster dédié DTS |
| Clusters dédiés | Migration d'instances entre clusters | Déplacez des instances DTS entre un cluster dédié et un cluster public. | Migrer une instance DTS entre un cluster dédié et un cluster public |
| Clusters dédiés | Gestion des clusters | Renouvelez manuellement un cluster dédié, modifiez les configurations des nœuds et définissez le ratio de sur-engagement. | Gérer un cluster dédié DTS |
| Sécurité | Chiffrement des données | Connectez-vous aux bases de données à l'aide de connexions sécurisées SSL. | Synchroniser des données entre des instances ApsaraDB RDS for MySQL |
| Sécurité | Isolation des opérations | Accédez à DTS à l'aide d'utilisateurs RAM et de rôles RAM disposant des autorisations minimales requises, réduisant ainsi les risques de sécurité liés à l'abus d'autorisations. | N/A |
| Sécurité | Gestion des autorisations de compte | Utilisez des politiques système pour autoriser DTS à accéder aux ressources Alibaba Cloud telles que les instances ApsaraDB RDS et Elastic Compute Service (ECS), permettant aux tâches de s'exécuter avec un compte de base de données disposant des autorisations suffisantes. | Autoriser DTS à accéder aux ressources Alibaba Cloud / Préparer les comptes de base de données pour la migration des données |
| Fiabilité | Clusters haute disponibilité (HA) | DTS utilise des serveurs haute spécification pour garantir des performances cohérentes pour chaque instance de synchronisation ou de migration de données. | Avantages |
| Fiabilité | Reprise après interruption | DTS reprend automatiquement les transferts interrompus là où ils se sont arrêtés, garantissant une transmission fiable des données sans recommencer depuis le début. | Avantages |
| Fiabilité | Protection de reprise après sinistre pour les sources de données | Si la base de données source ou de destination devient inaccessible, DTS réessaie immédiatement et continuellement la connexion. | N/A |
Intégration des données
L'intégration des données combine les capacités ETL avec la réplication de données DTS. Configurez des tâches ETL à l'aide d'opérations glisser-déposer ou d'instructions Flink SQL pour extraire les données des sources, les transformer en flux continu et les charger vers les destinations, réduisant ainsi la charge de développement et permettant le traitement des données en temps réel à grande échelle.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Répartition lecture/écriture | Mise en cache en temps réel | Migrez les données d'une base de données MySQL (autogérée ou ApsaraDB RDS for MySQL) vers une instance Redis pour réduire la charge sur les bases de données relationnelles backend. | Synchroniser des données d'une instance ApsaraDB RDS for MySQL vers une instance Tair (compatible Redis OSS) / Migrer des données d'une instance ApsaraDB RDS for MySQL vers une instance Tair (compatible Redis OSS) |
| Filtrage et mappage des métadonnées | Filtrage des bases de données, tables et colonnes | Sélectionnez des bases de données, tables et colonnes spécifiques comme objets de tâche lors de la configuration d'une tâche DTS. | N/A |
| Filtrage et mappage des métadonnées | Filtrage DDL et DML | Utilisez des instructions SQL pour filtrer les données incluses dans la synchronisation ou la migration incrémentielle lors de la configuration d'une tâche. | N/A |
| Filtrage et mappage des métadonnées | Mappage des noms d'objets | Spécifiez des noms personnalisés pour les bases de données, tables et colonnes dans l'instance de destination. Utilisez cette fonctionnalité pour synchroniser ou migrer des données vers des objets portant des noms différents, ou pour créer des objets correspondant à un schéma source sous un nom différent. | Mapper les noms d'objets |
| Filtrage et mappage des métadonnées | Mappage de topologie | La synchronisation des données prend en charge plusieurs topologies de synchronisation. Planifiez vos instances de synchronisation en fonction de vos exigences métier. | Topologies de synchronisation |
| Filtrage et mappage des données | Filtrage basé sur la condition WHERE | Spécifiez des conditions SQL lors de la configuration d'une tâche afin que seules les lignes correspondantes soient synchronisées ou migrées vers la destination. | Définir des conditions de filtrage |
| Filtrage et mappage des données | Mappage des types de données | Lors de la synchronisation ou de la migration entre bases de données hétérogènes, DTS mappe les types de données source vers des types compatibles dans la destination lors de la synchronisation ou de la migration du schéma. | Mappages de types de données pour la synchronisation de schéma / Mappages de types de données entre bases de données hétérogènes |
Vérification des données
La vérification des données surveille les différences entre les bases de données source et de destination sans temps d'arrêt, vous permettant ainsi de détecter les incohérences de données et de schéma le plus tôt possible.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Vérification homogène | Vérification des métadonnées | Vérifiez le schéma des bases de données homogènes. | Qu'est-ce que la vérification des données ? |
| Vérification homogène | Vérification complète des données | Vérifiez les données historiques dans les bases de données homogènes. | Qu'est-ce que la vérification des données ? |
| Vérification homogène | Vérification incrémentielle des données | Vérifiez les données incrémentielles synchronisées ou migrées entre des bases de données homogènes. | Qu'est-ce que la vérification des données ? |
| Vérification hétérogène | Vérification de l'équivalence des métadonnées | Vérifiez le schéma des bases de données hétérogènes. | Qu'est-ce que la vérification des données ? |
| Vérification hétérogène | Vérification complète des données | Vérifiez les données historiques dans les bases de données hétérogènes. | Qu'est-ce que la vérification des données ? |
| Vérification hétérogène | Vérification incrémentielle des données | Vérifiez les données incrémentielles synchronisées ou migrées entre des bases de données hétérogènes. | Qu'est-ce que la vérification des données ? |
| Correction des données | Correction des métadonnées | Si des incohérences de schéma sont détectées lors de la vérification, corrigez le schéma en fonction des résultats de la vérification. | Afficher les détails de la vérification des données |
| Correction des données | Correction complète des données | Si des incohérences de données complètes sont détectées, téléchargez les instructions SQL générées pour corriger les données. | Afficher les détails de la vérification des données |
| Correction des données | Correction incrémentielle des données | Si des incohérences de données incrémentielles sont détectées, corrigez les données en fonction des résultats de la vérification. | Afficher les détails de la vérification des données |
Solution basée sur des scénarios
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
ZeroETL |
Synchronisation de PolarDB for MySQL vers AnalyticDB for MySQL 3.0 | Utilisez l'analytique fédérée conjointement avec la fonctionnalité AnalyticDB Pipeline Service (APS) d'AnalyticDB for MySQL pour synchroniser les données de PolarDB for MySQL vers AnalyticDB for MySQL Data Lakehouse Edition (V3.0) en temps réel. | Utiliser l'analytique fédérée pour synchroniser les données |