Migration de données
La migration de données permet de transférer des informations entre des sources homogènes ou hétérogènes. Les cas d'usage courants incluent la migration vers le cloud, le déplacement de données entre instances au sein d'Alibaba Cloud, ainsi que la partition ou la mise à l'échelle de bases de données.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Migration homogène | Migration logique | Transférez des données entre bases de données de même type. | Migrer des données d'une base de données MySQL auto-gérée vers une instance ApsaraDB RDS for MySQL |
| Migration homogène | Migration physique | Migrez des données d'une base de données auto-gérée vers le cloud via une passerelle physique. | Migrer des données d'une base de données SQL Server auto-gérée vers une instance ApsaraDB RDS for SQL Server à l'aide d'une passerelle de protocole physique / Migrer des données d'une base de données SQL Server auto-gérée vers une instance ApsaraDB RDS for SQL Server à l'aide d'une passerelle physique sur un bastion |
| Migration hétérogène | Migration logique | Déplacez des données entre bases de données de types différents. | Migrer des données d'une base de données Oracle auto-gérée vers une instance AnalyticDB for PostgreSQL / Mappages des types de données entre bases de données hétérogènes |
| Basculement du trafic | Basculement de base de données vers le cloud | Une fois l'évaluation et la transformation de la base de données et des applications terminées, basculez votre activité vers des bases de données cloud en toute fluidité et avec un minimum de perturbations. | Basculement de base de données |
| Tâches périodiques | Migration complète planifiée | Répliquez les données de schéma et historiques de la base source vers la base cible selon un calendrier régulier, grâce aux configurations de politique de planification de la fonctionnalité d'intégration de données. | Configurer une tâche d'intégration de données entre des instances ApsaraDB RDS for MySQL |
| Migration de comptes | Migration complète des comptes | Transférez les comptes, y compris les mots de passe et les permissions, de la base source vers la base cible lors de la configuration d'une tâche de synchronisation ou de migration. | Migrer des comptes de base de données |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Validation homogène |
Validation des métadonnées |
Validez le schéma de données homogènes. |
|
|
Validation complète des données |
Validez les données historiques de bases de données homogènes. |
||
|
Validation incrémentielle des données |
Validez les données issues d'une synchronisation ou d'une migration incrémentielle entre bases de données homogènes. |
||
|
Validation hétérogène |
Validation de l'équivalence des métadonnées |
Validez le schéma de données hétérogènes. |
|
|
Validation complète des données |
Validez les données historiques de bases de données hétérogènes. |
||
|
Validation incrémentielle des données |
Validez les données issues d'une synchronisation ou d'une migration incrémentielle entre bases de données hétérogènes. |
||
|
Correction |
Correction des métadonnées |
Si une incohérence de schéma est détectée lors de la validation, corrigez-la en vous basant sur les résultats obtenus. |
|
|
Correction complète des données |
En cas d'incohérence totale des données, téléchargez le script SQL de correction généré à partir des résultats de validation pour appliquer les corrections nécessaires. |
||
|
Correction incrémentielle des données |
Si une incohérence de données incrémentielles est détectée, corrigez-la en vous basant sur les résultats de validation. |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Gestion des tâches |
Création et configuration des tâches |
Créez des tâches de transmission de données entre diverses sources. La configuration peut s'effectuer avant ou après l'achat. |
|
|
Planification des tâches |
Par défaut, DTS planifie les tâches sur un cluster partagé. Lors de la configuration avancée, sélectionnez un cluster dédié pour planifier la tâche. |
- |
|
|
Surveillance des tâches |
Consultez l'état de la liaison et diverses métriques de performance d'une tâche dans la console DTS afin de faciliter la gestion de vos tâches. |
||
|
Diagnostic des tâches |
Fournit des résultats de diagnostic et des recommandations en analysant les performances de la base de données source, de la base de données de destination, du réseau et de DTS lors de la migration incrémentielle. |
||
|
Modification des tâches |
Gérez les tags d'environnement pour les instances. Ajoutez ou supprimez des objets de synchronisation pendant l'exécution d'une instance de synchronisation des données. Modifiez la configuration ETL d'une instance de synchronisation ou de migration. |
||
|
Suppression des tâches |
Pour les instances DTS ayant terminé leurs tâches de transmission de données et dont la configuration n'a plus besoin d'être conservée, libérez manuellement les instances en paiement à l'utilisation ou résiliez les instances par abonnement afin d'éviter des frais supplémentaires. |
||
|
Accès inter-comptes |
Configurez des tâches couvrant plusieurs comptes Alibaba Cloud. Cette option convient aux scénarios tels que la migration ou la consolidation de ressources entre comptes Alibaba Cloud et les ajustements d'architecture métier. |
Configurer une tâche couvrant plusieurs comptes Alibaba Cloud |
|
|
Accès cloud hybride et inter-cloud |
Connectez-vous aux bases de données via des adresses IP publiques pour migrer des données entre des comptes de nature différente, tels que des comptes cloud public et Alibaba Finance Cloud. |
- |
|
|
Audit des opérations |
Interrogez les journaux d'opérations d'une instance pour obtenir des informations sur les actions effectuées, leurs résultats et leurs auteurs. |
||
|
Gestion des connexions de données |
Saisissez les informations de la base de données pour pouvoir sélectionner une base préenregistrée lors de la configuration d'une tâche. DTS remplit automatiquement ces informations, ce qui évite toute saisie manuelle. |
||
|
OpenAPI |
POP API |
Appelez et testez les API via le portail OpenAPI. |
|
|
SDK |
Appelez les API à l'aide d'un SDK. |
||
|
Terraform |
Prise en charge de l'outil open source Terraform. |
- |
|
|
Gestion du réseau |
Connexion interrégionale |
Prise en charge de la transmission de données lorsque les bases source et de destination se trouvent dans des régions différentes. |
|
|
Compression de la transmission |
La liaison DTS prend en charge la transmission compressée simultanée afin de réduire l'utilisation de la bande passante. |
||
|
Accès par endpoint privé |
Lors de la connexion à une base de données source ou de destination via un VPC, utilisez un endpoint privé pour accéder à la base de données. |
- |
|
|
Database Gateway (DG) |
Connectez des bases de données à DTS via Database Gateway (DG). |
||
|
Connexion via trafic Internet |
Connectez-vous aux bases de données à l'aide d'adresses IP publiques. |
Ajouter les blocs CIDR des serveurs DTS à la liste d'autorisation d'adresses IP |
|
|
Transmission transfrontalière |
Par défaut, seules les tâches de synchronisation des données non transfrontalières sont prises en charge. Pour créer une tâche de synchronisation transfrontalière, demandez les permissions requises. |
||
|
Centre d'événements |
Notification d'événements |
Abonnez-vous aux événements importants et configurez des notifications d'alerte personnalisées via la plateforme CloudMonitor. Restez informé de la survenue et de la progression des événements pour analyser et localiser rapidement les problèmes lors de pannes métier. |
|
|
Plateforme proactive d'O&M |
Prise en charge des alertes d'événements O&M. Lorsque le système détecte un risque susceptible d'empêcher le bon fonctionnement d'une instance DTS, il déclenche un événement O&M correspondant et vous en informe via la console, par e-mail ou par messages internes. |
||
|
Serverless |
Gestion des instances Serverless |
Effectuez des opérations sur les instances Serverless, telles que la mise en pause de l'instance, la consultation des métriques et la modification des limites supérieure et inférieure des DU. |
- |
|
Cluster dédié |
Gestion des DU |
Consultez les informations de création et d'utilisation des DU de cluster dédié. Modifiez le nombre de DU d'une tâche de cluster dédié pour ajuster ses spécifications. |
|
|
Modification de l'espace disque |
Si l'utilisation du disque d'un cluster dédié est trop élevée et ne répond plus aux besoins métier actuels, étendez l'espace disque pour l'adapter à vos exigences. |
||
|
Migration entre clusters partagés et dédiés |
Changez le cluster d'exécution d'une instance. Migrez une instance d'un cluster dédié vers un cluster public, ou inversement. |
Migrer une instance entre un cluster dédié et un cluster public |
|
|
Gestion des instances de cluster dédié |
Effectuez des opérations sur les clusters dédiés, telles que le renouvellement manuel, la modification des configurations de nœuds et le réglage du taux de sur-engagement. |
||
|
Sécurité |
Chiffrement des données |
Connectez-vous aux bases de données via des connexions chiffrées SSL. |
|
|
Isolation des opérations |
Utilisez des identités RAM avec privilège minimum, telles que des utilisateurs RAM et des rôles RAM, pour accéder à DTS. Cela renforce la sécurité des données et réduit les risques liés à l'abus de permissions. |
- |
|
|
Contrôle des permissions de compte |
Accédez aux ressources cloud telles que RDS et ECS sous le compte Alibaba Cloud actuel en accordant des politiques système. Utilisez des comptes de base de données dotés de permissions suffisantes pour mener à bien les tâches de transmission des données. |
||
|
Fiabilité |
Haute disponibilité (HA) du cluster |
Utilise des serveurs haut de gamme pour garantir d'excellentes performances de transmission pour chaque liaison de migration ou de synchronisation. |
|
|
Transmission reproductible |
Intègre un mécanisme automatique de reprise de transmission pour garantir la fiabilité du transfert des données. |
||
|
Protection contre les sinistres de la source de données |
Si une base de données source ou de destination devient inaccessible ou rencontre d'autres problèmes, DTS lance immédiatement des tentatives de reconnexion continues. |
- |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Suivi des modifications |
Canal de suivi des modifications |
Créez une instance de suivi des modifications pour obtenir les changements incrémentiels des données en temps réel depuis une base de données. |
|
|
SDK de suivi des modifications |
Utilisez l'exemple de code pour le client SDK, flink-dts-connector ou le client Kafka afin d'imprimer les données abonnées. Cela permet aux clients SDK, Flink et Kafka de consommer les données du canal de suivi des modifications. |
||
|
Gestion du trafic de suivi des modifications |
Lorsque la base de données source d'une instance de suivi des modifications est MySQL, configurez le type de facturation pour déterminer si le trafic de données doit être facturé. |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Migration homogène |
Migration logique |
Prend en charge la migration de données entre bases de données homogènes. |
Migrer une base de données MySQL auto-gérée vers une instance RDS for MySQL |
|
Migration physique |
Migrez une base de données auto-gérée vers le cloud au moyen d'une passerelle physique. |
||
|
Migration hétérogène |
Migration logique |
Prend en charge la migration de données entre bases de données hétérogènes. |
|
|
Basculement |
Basculement de base de données vers le cloud |
Le basculement de base de données facilite la migration fluide de votre activité vers une base de données cloud, une fois l'évaluation de la base de données ainsi que l'évaluation et la transformation de l'application terminées. |
|
|
Tâche périodique |
Migration complète planifiée |
Utilisez la politique de planification de la fonctionnalité d'intégration de données pour migrer périodiquement le schéma et les données historiques de la base de données source vers la base de données de destination. |
Configurer une tâche d'intégration de données entre instances RDS for MySQL |
|
Migration de comptes |
Migration complète de comptes |
Activez la fonctionnalité de migration de comptes lors de la configuration d'une tâche de synchronisation ou de migration. Cela permet de migrer rapidement les comptes, y compris les mots de passe et les permissions, de la base de données source vers la base de données de destination. |
Synchronisation des données
La synchronisation des données maintient la cohérence des données entre les sources en temps réel. Les cas d'usage incluent la redondance géographique active, la reprise après sinistre géographique, la reprise après sinistre par zone, la synchronisation de données transfrontalière, les systèmes d'intelligence d'affaires (BI) cloud et l'entreposage de données en temps réel.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Gestion des instances de synchronisation | Basculement inverse pour reprise après sinistre | Créez en quelques étapes une instance de synchronisation inverse pour une instance de synchronisation en cours d'exécution. L'instance inverse synchronise les données incrémentielles de la base de données de destination vers la base de données source. | Créer une instance inverse |
| Reprise après sinistre et redondance multi-active | Synchronisation bidirectionnelle | Configurez une synchronisation bidirectionnelle de données en temps réel entre deux bases de données, par exemple une base de données ApsaraDB RDS for MySQL et une base de données MySQL auto-gérée. Convient à la redondance géographique active basée sur une architecture cellulaire et à la reprise après sinistre géographique. | Configurer la synchronisation bidirectionnelle de données entre instances MySQL / Configurer la synchronisation bidirectionnelle de données entre clusters PolarDB for PostgreSQL (Compatible with Oracle) / Configurer la synchronisation bidirectionnelle de données entre instances ApsaraDB RDS for PostgreSQL / Configurer la synchronisation bidirectionnelle de données entre instances de réplica set ApsaraDB for MongoDB / Configurer la synchronisation bidirectionnelle entre instances Tair |
| Reprise après sinistre et redondance multi-active | Changement de direction pour les instances de synchronisation bidirectionnelle | Inversez la direction de synchronisation d'une instance bidirectionnelle existante sans en créer une nouvelle. Utile lors du basculement entre bases de données primaire et secondaire ou entre plateformes cloud. | Inverser la direction d'une instance de synchronisation bidirectionnelle |
| Reprise après sinistre et redondance multi-active | Cluster de base de données active globale (GAD) | Créez un cluster GAD basé sur ApsaraDB RDS et DTS pour activer la reprise après sinistre de base de données et permettre aux utilisateurs d'accéder aux ressources les plus proches. | N/A |
| Gestion de la topologie de synchronisation | Mise à niveau de la topologie | Faites évoluer la topologie de synchronisation d'une tâche d'unidirectionnelle à bidirectionnelle selon l'évolution des besoins métier. | Mettre à niveau la topologie de synchronisation d'unidirectionnelle à bidirectionnelle |
| Détection et résolution des conflits | Détection des conflits | Détectez les conflits, notamment les conflits d'unicité issus des opérations INSERT, les enregistrements incohérents résultant d'opérations UPDATE et les enregistrements ciblés pour suppression mais inexistants. | N/A |
| Détection et résolution des conflits | Résolution des conflits | Trois politiques sont disponibles : TaskFailed arrête la tâche et signale une erreur lorsqu'un conflit survient ; Ignore conserve les enregistrements conflictuels dans la destination ; Overwrite remplace les enregistrements conflictuels dans la destination. | N/A |
| Synchronisation hétérogène | Synchronisation vers des entrepôts de données en temps réel | Synchronisez des données vers des entrepôts de données en temps réel pour un traitement hors ligne à haut débit et une analyse en ligne haute performance. | Synchroniser des données d'une instance ApsaraDB RDS for MySQL vers un cluster AnalyticDB for MySQL V3.0 |
| Synchronisation hétérogène | Synchronisation hors base de données | Synchronisez des données vers une fonction dans Function Compute, où vous pouvez écrire du code de fonction pour traiter les données. | Synchroniser des données d'une instance de réplica set MongoDB vers une fonction Function Compute / Synchroniser des données d'une instance de cluster shardé ApsaraDB for MongoDB vers une fonction Function Compute |
| Synchronisation hétérogène | Synchronisation de bases de données hétérogènes | Synchronisez des données entre bases de données de types différents. | Mappages de types de données pour la synchronisation de schémas / Synchroniser des données d'une base de données Oracle auto-gérée vers une instance AnalyticDB for PostgreSQL |
| Expédition de données | Canal d'expédition de données | Créez une instance d'expédition de données pour établir un canal d'expédition, puis utilisez le SDK d'expédition de données pour envoyer des données de vos sources vers DTS. | Créer une instance d'expédition de données |
| Expédition de données | SDK d'expédition de données | Utilisez le SDK d'expédition de données pour envoyer des données de diverses sources vers DTS, qui les synchronise ensuite avec la base de données de destination. Cela étend la gamme des types de sources pris en charge. | Utiliser le SDK pour expédier des données vers DTS |
| Synchronisation homogène | Synchronisation en temps réel | Synchronisez des données en temps réel entre bases de données de même type. | Synchroniser des données d'une base de données MySQL auto-gérée vers une instance ApsaraDB RDS for MySQL |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Répartition lecture/écriture et aiguillage |
Cache TP en temps réel |
Migrez des bases de données MySQL, telles que MySQL auto-géré ou RDS for MySQL, vers des instances Redis. Cela réduit la charge sur la base de données relationnelle principale et améliore l'expérience utilisateur. |
|
|
Filtrage et mappage des métadonnées |
Filtrage par base de données, table et colonne |
Lors de la configuration des objets de la tâche, sélectionnez-les avec une granularité au niveau de la base de données, de la table ou de la colonne. |
- |
|
Filtrage DDL et DML |
Lors de la configuration des objets d'une tâche de synchronisation ou de migration, utilisez des opérations SQL pour filtrer les données destinées à la synchronisation ou à la migration incrémentielle. |
- |
|
|
Mappage des noms de bases de données, tables et colonnes |
Lors de la configuration des objets d'une tâche de synchronisation ou de migration, définissez les noms des objets (base de données, table, colonne) dans l'instance de base de données de destination. Cette fonctionnalité permet de synchroniser ou migrer des données vers un objet spécifique de l'instance cible, ou de créer un objet de même structure mais portant un nom différent. |
||
|
Mappage de topologie |
La fonctionnalité de synchronisation des données prend en charge plusieurs topologies. Planifiez vos instances de synchronisation en fonction de vos besoins métier. |
||
|
Filtrage, traitement et mappage des données |
Filtrage par clause WHERE |
Lors de la configuration des objets d'une tâche de synchronisation ou de migration, définissez des conditions de filtre pour ne synchroniser ou migrer que les données répondant à vos critères de la base source vers la base de destination. |
|
|
Mappage des types de données |
Lors de la synchronisation ou de la migration de données entre bases hétérogènes, un mappage des types de données s'effectue durant la phase de synchronisation ou de migration du schéma. Cela convertit les types de données de la base source en types compatibles avec la base de destination. |
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
Gestion des liens de synchronisation |
Basculement inverse de reprise après sinistre en un clic |
Créez une instance de synchronisation incrémentielle inverse pour une instance de synchronisation en cours d'exécution en un seul clic. |
|
|
Reprise après sinistre et actif-actif |
Synchronisation bidirectionnelle |
Établissez une synchronisation bidirectionnelle des données en temps réel entre deux bases de données, par exemple une instance RDS for MySQL et une base de données MySQL auto-gérée. Cette fonctionnalité convient aux scénarios tels que la géo-redondance active (unitisation) et la reprise après sinistre géographique. |
|
|
Inversion du sens de synchronisation en un clic |
Inversez le sens d'une instance de synchronisation bidirectionnelle. Lorsque vous devez basculer entre des bases de données principale et secondaire ou entre deux clouds, ajustez facilement le sens d'une instance de synchronisation bidirectionnelle existante sans la reconfigurer. |
Inverser le sens d'une instance de synchronisation bidirectionnelle |
|
|
Cluster Global Active Database (GAD) |
Construisez un cluster de bases de données actif-actif mondial à l'aide de RDS et DTS. Cela garantit la reprise après sinistre des bases de données et offre aux utilisateurs une expérience d'accès au plus proche. |
- |
|
|
Gestion de la topologie de synchronisation |
Faites évoluer la topologie de synchronisation d'une tâche de unidirectionnelle à bidirectionnelle pour répondre à l'évolution des besoins métier. |
Transformer une tâche de synchronisation unidirectionnelle en tâche bidirectionnelle |
|
|
Gestion des conflits |
Détection des conflits |
Détectez les conflits d'unicité causés par des opérations INSERT, les correspondances d'enregistrements incomplètes lors d'UPDATE et les enregistrements inexistants lors de DELETE. |
- |
|
Traitement des conflits |
Trois stratégies de résolution des conflits sont prises en charge : TaskFailed (la tâche signale une erreur et s'arrête), Ignore (utilisation de l'enregistrement conflictuel de l'instance de destination) et Overwrite (écrasement de l'enregistrement conflictuel dans l'instance de destination). |
- |
|
|
Synchronisation hétérogène |
Synchronisation vers un entrepôt de données en temps réel |
Synchronisez des données vers un entrepôt de données en temps réel afin de prendre en charge le traitement hors ligne à haut débit et l'analyse en ligne haute performance. |
Synchroniser des données d'une instance RDS for MySQL vers une instance AnalyticDB for MySQL 3.0 |
|
Synchronisation hors base de données |
Synchronisez des données vers une fonction spécifiée dans Function Compute (FC). Vous pouvez écrire du code de fonction pour le traitement secondaire des données. |
||
|
Synchronisation entre bases de données hétérogènes |
Prend en charge la synchronisation des données entre des bases de données hétérogènes. |
||
|
Expédition de données |
Canal d'expédition de données |
Créez une instance d'expédition de données pour établir un canal dédié. Cela permet d'utiliser un SDK pour transmettre des données d'une source vers DTS. |
|
|
SDK d'expédition de données |
Utilisez un kit de développement logiciel (SDK) pour transmettre divers types de données d'une source vers DTS. DTS synchronise ensuite ces données avec la base de données de destination, ce qui élargit l'éventail des sources de données prises en charge. |
||
|
Synchronisation homogène |
Synchronisation homogène logique en temps réel |
Assure la synchronisation des données entre des bases de données homogènes. |
Synchroniser des données d'une base de données MySQL auto-gérée vers une instance RDS for MySQL |
Suivi des modifications
Le suivi des modifications capture les données incrémentielles en temps réel provenant des bases de données. Consommez ou écrivez ces données incrémentielles selon vos besoins métier pour prendre en charge les mises à jour de cache, le découplage asynchrone des applications, la synchronisation en temps réel entre sources hétérogènes et les pipelines complexes d'extraction, transformation et chargement (ETL).
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Suivi des modifications | Canaux de suivi des modifications | Créez une instance de suivi des modifications pour capturer les changements incrémentiels en temps réel d'une base de données. | Vue d'ensemble des scénarios de suivi des modifications |
| Suivi des modifications | SDK de suivi des modifications | Consommez les données suivies à l'aide d'un client SDK, d'un client Flink ou d'un client Kafka. Des démos de client SDK, flink-dts-connector et de client Kafka sont disponibles pour afficher les données suivies. | Consommer les données suivies |
| Suivi des modifications | Gestion du trafic | Pour les instances de suivi des modifications dont la base source est MySQL, les frais de transfert de données dépendent du type de frais de configuration sélectionné. | Éléments facturables / Suivre les modifications de données d'une instance ApsaraDB RDS for MySQL |
Gestion des tâches
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Gestion des tâches | Création et configuration de tâches | Créez des tâches DTS entre diverses sources de données. Configurez une tâche avant ou après l'achat d'une instance DTS. | Bases de données prises en charge / Acheter une instance DTS |
| Gestion des tâches | Planification des tâches | Par défaut, DTS planifie les tâches sur un cluster partagé. Sélectionnez un cluster dédié dans les paramètres avancés pour affecter une tâche à des ressources dédiées. | N/A |
| Gestion des tâches | Surveillance des tâches | Consultez l'état de connexion entre DTS et vos bases de données source et destination, ainsi que les métriques de performance de l'instance DTS. | Surveiller les performances des tâches |
| Gestion des tâches | Diagnostic des tâches | Lors de la migration incrémentielle, vérifiez les performances de la base source, de la base de destination, du réseau et de DTS. Des résultats de diagnostic et des recommandations sont fournis. | Surveiller les performances des tâches / Afficher l'état de connexion et les performances de la migration incrémentielle des données / Afficher l'état de connexion et les performances de la synchronisation des données |
| Gestion des tâches | Modification des tâches | Gérez les tags d'environnement, ajoutez ou supprimez des objets synchronisés pendant l'exécution d'une instance de synchronisation, et modifiez les configurations ETL pour les tâches de migration ou de synchronisation. | Modifier les objets à synchroniser / Configurer ETL dans une tâche de migration ou de synchronisation des données / Gérer les tags d'environnement |
| Gestion des tâches | Suppression des tâches | Libérez une instance DTS en paiement à l'utilisation ou résiliez une instance DTS par abonnement lorsque toutes les tâches sont terminées et que l'instance n'est plus nécessaire, afin d'éviter des frais supplémentaires. | Libérer des instances DTS |
| Gestion des tâches | Accès inter-comptes | Configurez des tâches DTS sur plusieurs comptes Alibaba Cloud pour des scénarios tels que la migration de ressources, la fusion de comptes ou l'ajustement de l'architecture métier. | Configurer une tâche DTS sur plusieurs comptes Alibaba Cloud |
| Gestion des tâches | Accès multi-cloud dans un cloud hybride | Accédez aux bases de données via des adresses IP publiques pour migrer des données entre des comptes aux attributs différents, par exemple entre un compte de cloud public et un compte de cloud financier. | N/A |
| Gestion des tâches | Journaux d'opérations | Interrogez les journaux d'opérations d'une instance pour voir quelles opérations ont été effectuées, leurs résultats et qui les a exécutées. | Interroger les journaux d'opérations des instances |
| Gestion des tâches | Gestion des connexions aux bases de données | Enregistrez les bases de données à l'avance afin que DTS remplisse automatiquement les détails de connexion lors de la configuration d'une tâche, ce qui évite toute saisie manuelle. | Gérer les connexions aux bases de données |
| API | OpenAPI (POP) | Appelez les opérations de l'API DTS dans OpenAPI Explorer pour effectuer des tests et des intégrations. | Vue d'ensemble de l'intégration |
| API | SDK | Appelez les opérations de l'API DTS par programmation à l'aide des SDK fournis. | Exemple d'utilisation de l'API |
| API | Terraform | Gérez les ressources DTS à l'aide de l'outil open source Terraform. | N/A |
| Gestion du réseau | Connectivité interrégionale | Transmettez des données entre des bases de données source et de destination situées dans des régions différentes. | Instances transfrontalières et interrégionales |
| Gestion du réseau | Compression des données | DTS utilise la compression simultanée des données pendant la transmission afin de minimiser l'utilisation de la bande passante. | Avantages |
| Gestion du réseau | Accès via endpoint interne | Connectez-vous à une base de données source ou de destination dans un Virtual Private Cloud (VPC) via un endpoint interne. | N/A |
| Gestion du réseau | Database Gateway | Connectez une base de données locale ou tierce cloud à DTS à l'aide de Database Gateway. | Connecter une base de données locale ou hébergée sur un cloud tiers à Alibaba Cloud à l'aide de Database Gateway |
| Gestion du réseau | Accès Internet public | Connectez une base de données à DTS via une adresse IP publique. | Ajouter les blocs CIDR des serveurs DTS |
| Gestion du réseau | Transmission transfrontalière des données | Par défaut, DTS ne prend en charge la synchronisation des données qu'au sein du même pays ou de la même région. Demandez des autorisations transfrontalières pour synchroniser des données au-delà des frontières. | Demander des autorisations pour synchroniser des données au-delà des frontières / Instances transfrontalières et interrégionales |
| Centre d'événements | Notifications d'événements | Utilisez la fonctionnalité d'abonnement aux événements de CloudMonitor pour configurer des notifications d'alerte personnalisées pour les événements importants, afin d'être informé rapidement de l'état des événements et de pouvoir analyser et résoudre les interruptions métier. | S'abonner aux notifications d'événements |
| Centre d'événements | Maintenance proactive | Lorsque DTS détecte des risques susceptibles de provoquer la défaillance d'instances, des événements de maintenance sont déclenchés et des notifications sont envoyées via la console, par e-mail ou par messages internes. | Gérer les événements de maintenance |
| Instances serverless | Gestion des instances serverless | Suspendez une instance serverless, consultez les données de métriques et modifiez les limites supérieure et inférieure des unités DTS (DU). | N/A |
| Clusters dédiés | Gestion des DU | Consultez les unités DTS (DU) allouées à un cluster dédié et leur utilisation. Modifiez le nombre de DU d'une tâche pour ajuster ses spécifications. | Modifier le nombre de DU pour une tâche dans un cluster dédié DTS / Afficher les informations DU d'un cluster dédié DTS |
| Clusters dédiés | Extension de disque | Augmentez la capacité de disque d'un cluster dédié lorsque l'utilisation du disque est trop élevée pour vos besoins métier. | Augmenter l'espace de stockage des nœuds d'un cluster dédié DTS |
| Clusters dédiés | Migration d'instances entre clusters | Déplacez des instances DTS entre un cluster dédié et un cluster public. | Migrer une instance DTS entre un cluster dédié et un cluster public |
| Clusters dédiés | Gestion des clusters | Renouvelez manuellement un cluster dédié, modifiez les configurations des nœuds et définissez le taux de sur-engagement. | Gérer un cluster dédié DTS |
| Sécurité | Chiffrement des données | Connectez-vous aux bases de données à l'aide de connexions sécurisées par SSL. | Synchroniser des données entre des instances ApsaraDB RDS for MySQL |
| Sécurité | Isolation des opérations | Accédez à DTS à l'aide d'utilisateurs Resource Access Management (RAM) et de rôles RAM dotés des permissions minimales requises, réduisant ainsi les risques de sécurité liés à l'abus de permissions. | N/A |
| Sécurité | Gestion des permissions de compte | Utilisez des politiques système pour autoriser DTS à accéder aux ressources Alibaba Cloud telles que les instances ApsaraDB RDS et Elastic Compute Service (ECS), permettant ainsi aux tâches de s'exécuter avec un compte de base de données disposant de permissions suffisantes. | Autoriser DTS à accéder aux ressources Alibaba Cloud / Préparer les comptes de base de données pour la migration des données |
| Fiabilité | Clusters haute disponibilité (HA) | DTS utilise des serveurs à spécifications élevées pour garantir des performances constantes pour chaque instance de synchronisation ou de migration de données. | Avantages |
| Fiabilité | Reprise sur interruption | DTS reprend automatiquement les transferts interrompus là où ils se sont arrêtés, garantissant une transmission fiable des données sans avoir à tout recommencer. | Avantages |
| Fiabilité | Protection des sources de données par reprise après sinistre | Si la base de données source ou de destination devient inaccessible, DTS réessaie immédiatement et continuellement la connexion. | N/A |
Intégration des données
L'intégration des données associe les fonctionnalités ETL à la réplication des données DTS. Configurez des tâches ETL par glisser-déposer ou via des instructions Flink SQL afin d'extraire les données depuis les sources, de les transformer en flux et de les charger vers les destinations. Cette approche réduit la charge de développement et permet le traitement des données en temps réel à grande échelle.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Séparation lecture/écriture | Mise en cache en temps réel | Migrez les données d'une base de données MySQL (auto-gérée ou ApsaraDB RDS for MySQL) vers une instance Redis pour alléger la charge des bases de données relationnelles back-end. | Synchroniser des données d'une instance ApsaraDB RDS for MySQL vers une instance Tair (compatible Redis OSS) / Migrer des données d'une instance ApsaraDB RDS for MySQL vers une instance Tair (compatible Redis OSS) |
| Filtrage et mappage des métadonnées | Filtrage des bases de données, tables et colonnes | Sélectionnez des bases de données, tables et colonnes spécifiques comme objets de tâche lors de la configuration d'une tâche DTS. | N/A |
| Filtrage et mappage des métadonnées | Filtrage DDL et DML | Utilisez des instructions SQL pour filtrer les données incluses dans la synchronisation ou la migration incrémentielle lors de la configuration d'une tâche. | N/A |
| Filtrage et mappage des métadonnées | Mappage des noms d'objets | Spécifiez des noms personnalisés pour les bases de données, tables et colonnes dans l'instance de destination. Cette fonctionnalité permet de synchroniser ou migrer des données vers des objets nommés différemment, ou de créer des objets correspondant au schéma source sous un autre nom. | Mapper les noms d'objets |
| Filtrage et mappage des métadonnées | Mappage de topologie | La synchronisation des données prend en charge plusieurs topologies de synchronisation. Planifiez vos instances de synchronisation en fonction de vos besoins métier. | Topologies de synchronisation |
| Filtrage et mappage des données | Filtrage basé sur des conditions WHERE | Définissez des conditions SQL lors de la configuration d'une tâche afin que seules les lignes correspondantes soient synchronisées ou migrées vers la destination. | Définir des conditions de filtrage |
| Filtrage et mappage des données | Mappage des types de données | Lors de la synchronisation ou migration entre bases de données hétérogènes, DTS mappe les types de données source vers des types compatibles dans la destination pendant la synchronisation ou la migration du schéma. | Mappages des types de données pour la synchronisation de schéma / Mappages des types de données entre bases de données hétérogènes |
Vérification des données
La vérification des données détecte les différences entre les bases de données source et destination sans interruption de service, ce qui permet d'identifier au plus tôt les incohérences de données et de schéma.
| Catégorie | Fonctionnalité | Description | Références |
|---|---|---|---|
| Vérification homogène | Vérification des métadonnées | Vérifiez le schéma de bases de données homogènes. | Qu'est-ce que la vérification des données ? |
| Vérification homogène | Vérification complète des données | Vérifiez les données historiques dans des bases de données homogènes. | Qu'est-ce que la vérification des données ? |
| Vérification homogène | Vérification incrémentielle des données | Vérifiez les données incrémentielles synchronisées ou migrées entre bases de données homogènes. | Qu'est-ce que la vérification des données ? |
| Vérification hétérogène | Vérification de l'équivalence des métadonnées | Vérifiez le schéma de bases de données hétérogènes. | Qu'est-ce que la vérification des données ? |
| Vérification hétérogène | Vérification complète des données | Vérifiez les données historiques dans des bases de données hétérogènes. | Qu'est-ce que la vérification des données ? |
| Vérification hétérogène | Vérification incrémentielle des données | Vérifiez les données incrémentielles synchronisées ou migrées entre bases de données hétérogènes. | Qu'est-ce que la vérification des données ? |
| Correction des données | Correction des métadonnées | Si des incohérences de schéma sont détectées lors de la vérification, corrigez le schéma en fonction des résultats obtenus. | Consulter les détails de la vérification des données |
| Correction des données | Correction complète des données | En cas de détection d'incohérences dans les données complètes, téléchargez les instructions SQL générées pour corriger les données. | Consulter les détails de la vérification des données |
| Correction des données | Correction incrémentielle des données | Si des incohérences sont relevées dans les données incrémentielles, corrigez les données selon les résultats de la vérification. | Consulter les détails de la vérification des données |
Solutions par scénario
|
Ensemble de fonctionnalités |
Fonctionnalité |
Description |
Références |
|
ZeroETL |
Synchronisation de PolarDB for MySQL vers AnalyticDB for MySQL 3.0 | Exploitez l'analyse fédérée conjointement avec la fonctionnalité AnalyticDB Pipeline Service (APS) d'AnalyticDB for MySQL pour synchroniser en temps réel les données de PolarDB for MySQL vers AnalyticDB for MySQL Data Lakehouse Edition (V3.0). | Utiliser l'analyse fédérée pour synchroniser les données |