Data Transmission Service (DTS) diffuse les modifications de données d'une base de données Db2 for LUW (Linux, UNIX et Windows) vers un cluster Kafka autogéré grâce à la réplication CDC. Ce guide vous accompagne dans la configuration de la tâche de synchronisation, depuis les prérequis jusqu'à son exécution.
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Un cluster Kafka exécutant une version comprise entre 0.10.1.0 et 2.7.0
Un espace de stockage libre suffisant sur le cluster Kafka pour contenir toutes les données de la base de données source Db2 for LUW (requis pour la synchronisation complète des données)
Des autorisations d'administrateur de base de données sur la base de données source Db2 for LUW
L'archivage des journaux activé sur la base de données source Db2 for LUW : définissez
LOGARCHMETH1ouLOGARCHMETH2(ou les deux). Consultez logarchmeth1 - Primary log archive method configuration parameter et logarchmeth2 - Secondary log archive method configuration parameter
Limitations
Clés étrangères
DTS ne synchronise pas les clés étrangères. Les opérations en cascade et les suppressions effectuées sur la base de données source ne sont pas répliquées vers la destination.
Limites de la base de données source
| Limite | Détails |
|---|---|
| Bande passante sortante | Le serveur source doit disposer d'une bande passante sortante suffisante. Une bande passante insuffisante réduit la vitesse de synchronisation. |
| Contraintes de clé primaire ou d'unicité | Les tables à synchroniser doivent comporter des contraintes PRIMARY KEY ou UNIQUE avec tous les champs uniques. Sans ces contraintes, la destination peut contenir des enregistrements en double. |
| Nombre de tables par tâche | Si vous sélectionnez des tables comme objets et prévoyez de renommer des tables ou des colonnes dans la destination, une seule tâche prend en charge jusqu'à 5 000 tables. Dépasser cette limite provoque une erreur de requête ; divisez la charge en plusieurs tâches ou synchronisez au niveau de la base de données. |
| Rétention des journaux pour les tâches incrémentielles uniquement | Conservez les journaux pendant plus de 24 heures. Si DTS ne peut pas lire les journaux, la tâche peut échouer ou entraîner une incohérence des données. |
| Rétention des journaux pour les tâches complètes + incrémentielles | Conservez les journaux pendant au moins sept jours avant de démarrer la tâche. Une fois la synchronisation complète terminée, vous pouvez réduire la période de rétention à plus de 24 heures. Assurez-vous de définir la période de rétention conformément aux exigences précédentes. Dans le cas contraire, la fiabilité ou les performances du service indiquées dans le SLA de DTS ne peuvent pas être garanties. |
Limites spécifiques à CDC
DTS utilise la technologie de réplication CDC de Db2 for LUW pour les données incrémentielles. Cette technologie impose ses propres restrictions ; consultez General data restrictions for SQL Replication.
Autres limites
Planifiez la synchronisation pendant les heures creuses. La synchronisation complète des données consomme des ressources de lecture et d'écriture sur les bases de données source et destination, ce qui peut augmenter la charge du serveur.
Après la synchronisation complète, l'espace de table de destination est plus volumineux que celui de la source en raison de la fragmentation causée par les opérations INSERT concurrentes.
Écrivez des données dans la destination uniquement via DTS pendant la synchronisation afin d'éviter toute incohérence des données. Une fois la synchronisation terminée, vous pouvez exécuter des instructions DDL en ligne à l'aide de Data Management (DMS) ; consultez Perform lock-free DDL operations.
Si un basculement primaire/secondaire se produit sur la source pendant l'exécution de la tâche, celle-ci échoue.
Si l'instance ApsaraMQ for Kafka de destination est mise à l'échelle pendant la synchronisation, redémarrez l'instance.
Latence de synchronisation
DTS calcule la latence en comparant l'horodatage du dernier enregistrement synchronisé dans la destination avec l'horodatage actuel de la source. Si aucune opération DML n'est effectuée sur la source pendant une période prolongée, la latence signalée peut être imprécise. Exécutez une opération DML sur la source pour actualiser la valeur de latence.
Si vous synchronisez une base de données entière, créez une table de heartbeat. DTS met à jour la table de heartbeat chaque seconde pour garantir la précision de la mesure de latence.
Facturation
| Type de synchronisation | Frais |
|---|---|
| Synchronisation du schéma et synchronisation complète des données | Gratuit |
| Synchronisation incrémentielle des données | Payant — consultez Billing overview |
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un
Synchronisation unidirectionnelle un-à-plusieurs
Synchronisation unidirectionnelle en cascade
Synchronisation unidirectionnelle plusieurs-à-un
Pour plus de détails, consultez Synchronization topologies.
Opérations SQL pouvant être synchronisées
| Type d'opération | Instructions SQL |
|---|---|
| DML | INSERT, UPDATE, DELETE |
Créer une tâche de synchronisation
Étape 1 : Ouvrir la page des tâches de synchronisation des données
Connectez-vous à la console Data Management (DMS).
Dans la barre de navigation supérieure, cliquez sur Data + AI.
Dans le volet de navigation de gauche, choisissez DTS (DTS) > Data Synchronization.
Le chemin de navigation peut varier selon le mode et la disposition de la console. Consultez Simple mode et Customize the layout and style of the DMS console . Vous pouvez également accéder directement à la page des tâches de synchronisation des données .
Étape 2 : Sélectionner la région
À droite de Data Synchronization Tasks, sélectionnez la région où réside votre instance de synchronisation.
Dans la nouvelle console DTS, sélectionnez la région depuis la barre de navigation supérieure.
Étape 3 : Configurer les bases de données source et de destination
Cliquez sur Create Task. Dans l'assistant, configurez les paramètres suivants.
Informations sur la tâche
| Paramètre | Description |
|---|---|
| Task Name | Nom de la tâche DTS. DTS génère automatiquement un nom. Spécifiez un nom descriptif pour faciliter l'identification de la tâche ; l'unicité n'est pas requise. |
Base de données source
| Paramètre | Description |
|---|---|
| Select a DMS database instance | Sélectionnez une instance de base de données existante, ou laissez le champ vide pour configurer manuellement. Si vous sélectionnez une instance existante, DTS remplit automatiquement les paramètres restants. |
| Database Type | Sélectionnez DB2 for LUW. |
| Connection Type | Sélectionnez la méthode d'accès en fonction de l'emplacement de déploiement de la base de données source. Cet exemple utilise Self-managed Database on ECS. Si votre source est une base de données autogérée, configurez d'abord l'environnement réseau ; consultez Preparation overview. |
| Instance Region | Région où réside la base de données source Db2 for LUW. |
| Replicate Data Across Alibaba Cloud Accounts | Indique s'il faut synchroniser les données entre différents comptes Alibaba Cloud. Cet exemple utilise No. |
| ECS Instance ID | ID de l'instance Elastic Compute Service (ECS) hébergeant la base de données source. |
| Port Number | Port de service de la base de données source Db2 for LUW. Par défaut : 50000. |
| Database Name | Nom de la base de données source Db2 for LUW. |
| Database Account | Nom d'utilisateur permettant de se connecter à la base de données source. Le compte nécessite des autorisations d'administrateur de base de données. |
| Database Password | Mot de passe du compte de base de données. |
Base de données de destination
| Paramètre | Description |
|---|---|
| Select a DMS database instance | Sélectionnez une instance de base de données existante, ou laissez le champ vide pour configurer manuellement. |
| Database Type | Sélectionnez Kafka. |
| Connection Type | Sélectionnez la méthode d'accès en fonction de l'emplacement de déploiement du cluster Kafka. Cet exemple utilise Self-managed Database on ECS. Consultez Preparation overview pour connaître les exigences de configuration réseau. |
| Instance Region | Région où réside le cluster Kafka de destination. |
| ECS Instance ID | ID de l'instance ECS hébergeant le cluster Kafka. Pour un cluster multi-nœuds, sélectionnez n'importe quel nœud ; DTS découvre automatiquement les informations sur les topics pour tous les nœuds. |
| Port number | Port de service du cluster Kafka. Par défaut : 9092. |
| Database Account | Nom d'utilisateur permettant de se connecter au cluster Kafka. Laissez ce champ vide si l'authentification n'est pas activée. |
| Database Password | Mot de passe du compte Kafka. Laissez ce champ vide si l'authentification n'est pas activée. |
| Kafka Version | Version du cluster Kafka autogéré. Pour la version 1.0 ou ultérieure, sélectionnez Later Than 1.0. |
| Encryption | Méthode de chiffrement de la connexion. Sélectionnez Non-encrypted ou SCRAM-SHA-256 en fonction de vos besoins métier et de sécurité. |
| Topic | Topic de destination. Sélectionnez-le dans la liste déroulante. |
| Topic That Stores DDL Information | Topic utilisé pour stocker les informations DDL. Si ce champ est laissé vide, les informations DDL sont stockées dans le topic spécifié par Topic. |
| Use Kafka Schema Registry | Indique s'il faut utiliser Kafka Schema Registry pour le stockage et la récupération des schémas Avro via une API RESTful. Sélectionnez No pour ignorer, ou Yes et fournissez l'URL ou l'adresse IP de votre Kafka Schema Registry. |
Étape 4 : Tester la connectivité
Cliquez sur Test Connectivity and Proceed en bas de la page.
DTS ajoute automatiquement ses blocs CIDR de serveur aux paramètres de sécurité des instances de base de données Alibaba Cloud et des bases de données hébergées sur ECS. Pour les bases de données situées dans des centres de données ou sur des clouds tiers, ajoutez manuellement les blocs CIDR des serveurs DTS à la liste d'autorisation de la base de données ; consultez Add the CIDR blocks of DTS servers.
L'ajout de blocs CIDR DTS aux listes d'autorisation ou aux règles de groupe de sécurité expose votre environnement à des risques de sécurité. Avant de poursuivre, prenez des mesures préventives telles que : renforcer la sécurité des noms d'utilisateur et des mots de passe, restreindre les ports exposés, authentifier les appels API, auditer régulièrement les listes d'autorisation et les règles de groupe de sécurité, et supprimer les blocs CIDR non autorisés. Pour une sécurité accrue, connectez la base de données à DTS via Express Connect, VPN Gateway ou Smart Access Gateway.
Étape 5 : Configurer les objets et les paramètres avancés
Paramètres de base
| Paramètre | Description |
|---|---|
| Synchronization Types | Par défaut, Incremental Data Synchronization est sélectionné. Sélectionnez également Schema Synchronization et Full Data Synchronization. DTS exécute d'abord la synchronisation complète pour copier les données existantes, qui servent de référence de base pour la synchronisation incrémentielle. |
| Processing Mode of Conflicting Tables | Méthode utilisée par DTS pour gérer les tables de destination portant les mêmes noms que les tables source : Precheck and Report Errors (par défaut) — fait échouer la vérification préalable si des noms de tables identiques existent ; Clear Destination Table — efface les données des tables de destination correspondantes avant la synchronisation (à utiliser avec prudence) ; Ignore Errors and Proceed — ignore la vérification des conflits de noms. Si vous choisissez cette option, une incohérence des données peut survenir : lors de la synchronisation complète, les enregistrements existants avec des clés primaires correspondantes sont conservés ; lors de la synchronisation incrémentielle, les enregistrements existants sont écrasés. Si les schémas diffèrent, certaines colonnes peuvent ne pas être synchronisées ou la tâche peut échouer. Pour résoudre les conflits de noms sans supprimer les tables de destination, utilisez la fonctionnalité de mappage des noms d'objets ; consultez Map object names. |
| Data Format in Kafka | Format des enregistrements stockés dans le topic Kafka de destination. Par défaut : DTS Avro. Pour plus de détails sur le format, consultez Data formats in a message queue. |
| Policy for Shipping Data to Kafka Partitions | Méthode utilisée par DTS pour router les enregistrements vers les partitions Kafka. Consultez Specify the policy for synchronizing data to Kafka partitions. |
| Capitalization of Object Names in Destination Instance | Contrôle si les noms de bases de données, de tables et de colonnes dans la destination sont en majuscules ou en minuscules. Par défaut : DTS default policy. Consultez Specify the capitalization of object names in the destination instance. |
| Source Objects | Sélectionnez des objets dans la section Source Objects et cliquez sur l'icône de flèche vers la droite pour les déplacer vers Selected Objects. Vous pouvez sélectionner des colonnes, des tables ou des bases de données. La sélection de tables ou de colonnes exclut les vues, les déclencheurs et les procédures stockées. |
| Selected Objects | Pour renommer un seul objet dans la destination, faites un clic droit dessus dans cette section ; consultez Map the name of a single object. Pour renommer plusieurs objets à la fois, cliquez sur Batch Edit ; consultez Map multiple object names at a time. Pour filtrer les lignes par conditions SQL, faites un clic droit sur un objet et spécifiez les conditions WHERE ; consultez Specify filter conditions. |
Paramètres avancés
| Paramètre | Description |
|---|---|
| Monitoring and Alerting | Indique s'il faut activer les alertes en cas d'échec de la tâche ou de latence de synchronisation élevée. Sélectionnez No pour ignorer, ou Yes et configurez le seuil d'alerte et les paramètres de notification ; consultez Configure monitoring and alerting when you create a DTS task. |
| Retry Time for Failed Connections | Durée pendant laquelle DTS tente de reconnecter les connexions ayant échoué après le démarrage de la tâche. Plage : 10–1440 minutes. Par défaut : 720 minutes. Nous vous recommandons de définir cette valeur à plus de 30 minutes. Si DTS se reconnecte dans ce délai, la tâche reprend ; sinon, elle échoue. Si plusieurs tâches partagent la même base de données source ou de destination, la fenêtre de nouvelle tentative la plus courte s'applique. Notez que DTS facture l'instance pendant les tentatives de reconnexion. |
| Configure ETL | Indique s'il faut activer le traitement ETL (extract, transform, load). Sélectionnez Yes pour saisir des instructions de transformation de données dans l'éditeur de code ; consultez Configure ETL in a data migration or data synchronization task. Sélectionnez No pour ignorer. Pour une présentation d'ETL, consultez What is ETL? |
Étape 6 : Exécuter la vérification préalable
Cliquez sur Next: Save Task Settings and Precheck.
Pour afficher un aperçu des paramètres de l'API pour cette configuration de tâche, survolez Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters .
DTS effectue une vérification préalable avant de démarrer la tâche. Si un élément échoue :
Cliquez sur View Details à côté de l'élément ayant échoué, résolvez le problème et relancez la vérification préalable.
Pour les éléments d'alerte qui peuvent être ignorés : cliquez sur Confirm Alert Details, puis sur Ignore dans la boîte de dialogue, cliquez sur OK, et enfin sur Precheck Again. Ignorer les alertes peut entraîner une incohérence des données.
Étape 7 : Acheter l'instance
Attendez que le Success Rate atteigne 100 %, puis cliquez sur Next: Purchase Instance.
Sur la page d'achat, configurez les éléments suivants :
| Paramètre | Description |
|---|---|
| Billing Method | Subscription — payez à l'avance pour une durée fixe (1 à 9 mois, ou 1, 2, 3 ou 5 ans). Plus économique pour une utilisation à long terme. Pay-as-you-go — facturation horaire. Adapté à une utilisation à court terme. Libérez l'instance lorsque vous n'en avez plus besoin pour arrêter la facturation. |
| Resource Group Settings | Groupe de ressources pour cette instance. Par défaut : default resource group. Consultez What is Resource Management? |
| Instance Class | Classe de débit de synchronisation. Sélectionnez-la en fonction du volume de données et des exigences de latence. Consultez Instance classes of data synchronization instances. |
| Subscription Duration | Durée de l'abonnement. Disponible uniquement pour la méthode de facturation Subscription. |
Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms, puis cliquez sur Buy and Start. Dans la boîte de dialogue de confirmation, cliquez sur OK.
La tâche apparaît dans la liste des tâches. Surveillez sa progression à cet endroit.