Utilisez Data Transmission Service (DTS) pour diffuser les données incrémentielles de PolarDB-X vers Message Queue for Apache Kafka en temps réel.
Prérequis
Une instance PolarDB-X 2,0 source est créée.
-
Une instance de destination Message Queue for Apache Kafka disposant d'un espace de stockage supérieur à celui utilisé par l'instance PolarDB-X 2,0 source.
RemarqueConsultez la rubrique Présentation des scénarios de synchronisation des données pour connaître les versions prises en charge des bases de données source et de destination.
Un topic dans l'instance de destination Message Queue for Apache Kafka pour recevoir les données synchronisées. Pour plus d'informations, consultez la section Étape 1 : Créer un topic.
Limites
DTS ne synchronise pas les clés étrangères de la base de données source vers la base de données de destination. Par conséquent, les opérations en cascade et de suppression sur la base de données source ne sont pas synchronisées vers la base de données de destination.
|
Type |
Description |
|
Limitations de la base de données source |
|
|
Autres limitations |
|
|
Autres précautions |
DTS met régulièrement à jour la table |
Facturation
|
Type de synchronisation |
Tarification |
|
Synchronisation du schéma et synchronisation complète des données |
Gratuit. |
|
Synchronisation incrémentielle des données |
Payant. Pour plus d'informations, consultez la rubrique Présentation de la facturation. |
Limite de taille d'un enregistrement unique
La taille d'un enregistrement unique écrit dans Kafka est limitée à 10 Mo. Si une ligne unique dans la base de données source dépasse 10 Mo, DTS ne peut pas l'écrire dans Kafka et la tâche est interrompue. Dans ce cas, nous vous recommandons de ne pas synchroniser la table concernée. Si vous devez absolument synchroniser la table, vous pouvez synchroniser uniquement certaines colonnes. Lors de la configuration de la tâche DTS, filtrez les enregistrements contenant des champs volumineux. Si la tâche est déjà en cours d'exécution, modifiez les objets de synchronisation pour supprimer la table, puis rajoutez-la et filtrez les colonnes à champs volumineux pour les exclure de la synchronisation.
Opérations SQL prises en charge
Type | Instruction SQL |
DML | INSERT, UPDATE et DELETE |
DDL |
Remarque Si la base de données source est une instance Enterprise Edition PolarDB-X 2,0, les opérations CREATE FUNCTION et CREATE INDEX ne peuvent pas être synchronisées. |
Précautions
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Le non-respect de ces limites peut entraîner l'échec de la tâche ou une incohérence des données.
Catégorie
Paramètre
Description
N/A
Task Name
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
Source Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez PolarDB-X 2.0.
Connection Type
Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez la région où se trouve l'instance PolarDB-X 2,0 source.
Replicate Data Across Alibaba Cloud Accounts
Dans cet exemple, les données sont synchronisées au sein du même compte Alibaba Cloud. Sélectionnez No.
Instance ID
Sélectionnez l'ID de l'instance PolarDB-X 2,0 source.
Database Account
Saisissez le compte de base de données pour l'instance PolarDB-X 2,0 source. Le compte doit disposer des autorisations REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à synchroniser.
RemarquePour savoir comment accorder des autorisations, consultez la rubrique Problèmes d'autorisations de compte lors de la synchronisation des données.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
Destination Database
Select Existing Connection
-
Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Database Type
Sélectionnez Kafka.
Connection Type
Sélectionnez Express Connect, VPN Gateway, or Smart Access Gateway.
RemarqueDans ce scénario, la tâche de synchronisation traite votre instance Message Queue for Apache Kafka comme un cluster Kafka géré par vos soins.
Instance Region
Sélectionnez la région où se trouve l'instance Kafka de destination.
Connected VPC
Sélectionnez l'ID du Virtual Private Cloud (VPC) où se trouve l'instance Kafka de destination. Vous trouverez l'ID du VPC sur la page Basic Information de l'instance Kafka.
Domain Name or IP
Saisissez n'importe quelle adresse IP issue du Default Endpoint de l'instance Kafka.
RemarqueVous pouvez obtenir l'adresse IP à partir du Default Endpoint sur la page Basic Information de l'instance Kafka.
Port
Le port de service pour l'instance Kafka. Par défaut : 9092.
Database Account
Saisissez le compte de base de données pour l'instance Kafka de destination.
RemarqueSi l'instance Kafka est une VPC Instance, vous n'avez pas besoin de configurer les paramètres Database Account et Database Password.
Database Password
Saisissez le mot de passe correspondant au compte de base de données.
Kafka Version
Sélectionnez la version correspondant à votre instance Kafka.
Connection Method
Sélectionnez Non-encrypted ou SCRAM-SHA-256 en fonction de vos besoins métier et de sécurité.
Topic
Dans la liste déroulante, sélectionnez le topic qui recevra les données.
Use Kafka Schema Registry
Kafka Schema Registry est une couche de service pour vos métadonnées. Il fournit une interface RESTful pour stocker et récupérer les schémas Avro.
No : N'utilisez pas Kafka Schema Registry.
Yes : Utilisez Kafka Schema Registry. Vous devez saisir l'URL ou l'adresse IP de Kafka Schema Registry.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les plages CIDR des adresses IP des serveurs DTS sont ajoutées aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les plages CIDR des adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données gérée par vos soins (où la méthode Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.
-
Configurez les objets de la tâche.
-
Sur la page Configure Objects, configurez les objets à synchroniser.
Paramètre
Description
Synchronization Types
Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la vérification préalable terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure.
Processing Mode for Existing Tables in Destination
-
Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la vérification préalable réussit. Si une table du même nom existe, la vérification préalable échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Map table and column names.
-
Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination.
AvertissementLa sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
-
Data Format in Kafka
Sélectionnez le format de stockage des données synchronisées vers l'instance Kafka selon vos besoins.
Si vous sélectionnez DTS Avro, vous devez analyser les données en fonction de la définition du schéma DTS Avro. Pour plus d'informations, consultez la définition du schéma DTS Avro et l'exemple de désérialisation DTS Avro.
Si vous sélectionnez Canal JSON, consultez le format Canal JSON pour obtenir des descriptions de paramètres et des exemples.
Kafka Data Compression Format
Sélectionnez le format de compression pour la compression des messages Kafka en fonction des besoins de votre activité.
LZ4 (par défaut) : le taux de compression est faible, mais la vitesse de compression est élevée.
GZIP : le taux de compression est élevé, mais la vitesse de compression est faible.
RemarqueLa consommation CPU est élevée.
Snappy : le taux de compression et la vitesse de compression sont moyens.
Policy for Shipping Data to Kafka Partitions
Sélectionnez une stratégie en fonction des besoins de votre activité. Pour plus d'informations, consultez la stratégie de routage des partitions Kafka.
ImportantCette fonctionnalité n'est pas prise en charge si la base de données source est une instance PolarDB-X 1,0.
Message acknowledgement mechanism
Sélectionnez un mécanisme d'accusé de réception des messages en fonction des besoins de votre activité.
Topic That Stores DDL Information
Sélectionnez le topic utilisé pour stocker les informations DDL dans la liste déroulante.
RemarqueSi non spécifié, les informations DDL sont stockées par défaut dans le topic qui reçoit les données.
Case Sensitivity Policy for Destination Object Names
Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez la politique de sensibilité à la casse pour les noms d'objets de destination.
Source Objects
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Selected Objects.RemarqueVous pouvez sélectionner des bases de données, des tables et des colonnes comme objets de synchronisation. Si vous sélectionnez des tables ou des colonnes, d'autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
Selected Objects
Aucune configuration supplémentaire n'est requise pour cet exemple. Vous pouvez utiliser la fonctionnalité de mappage pour définir le nom du topic, le nombre de partitions de topic et la clé de partition pour la table source dans l'instance Kafka de destination. Pour plus d'informations, consultez les informations de mappage.
RemarqueSi vous utilisez la fonctionnalité de mappage de noms d'objets, d'autres objets dépendant de l'objet mappé peuvent ne pas être synchronisés.
Pour sélectionner les opérations SQL pour la synchronisation incrémentielle, faites un clic droit sur l'objet souhaité dans le volet Selected Objects et sélectionnez les opérations SQL dans la boîte de dialogue qui s'affiche.
-
-
Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.
Paramètre
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction des besoins de votre activité ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Retry Time for Other Issues
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization.
-
Vous pouvez également ajuster le débit de synchronisation complète après le démarrage de l'instance de synchronisation.
Enable Throttling for Incremental Data Synchronization
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
Yes : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS.
-
No : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Environment Tag
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins. Aucune sélection n'est requise pour cet exemple.
Configure ETL
Choisissez si vous souhaitez activer la fonctionnalité ETL (extract, transform, load). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides :
-
Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
No : désactive la fonctionnalité ETL.
Monitoring and Alerting
Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
No : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration des tâches.
-
-
-
Enregistrez la tâche et exécutez une vérification préalable.
Pour afficher les paramètres API pour la configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.
Une fois que vous avez consulté les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une vérification préalable. La tâche ne peut démarrer qu'après la réussite de tous les éléments de vérification préalable.
Si la vérification préalable échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la vérification préalable.
-
Si la vérification préalable renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la vérification préalable.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et réexécuter la vérification préalable. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.
-
Achetez l'instance.
Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.
-
Sur la page Purchase, sélectionnez la spécification de lien pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.
Catégorie
Paramètre
Description
New Instance Class
Resource Group Settings
Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?
Instance Class
DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de lien affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario d'activité. Pour plus d'informations, consultez les spécifications de lien de migration de données.
Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.
-
Cliquez sur Buy and Start. Dans la boîte de dialogue OK qui s'affiche, cliquez sur OK.
Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks.
RemarqueSi la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Après l'arrêt de la tâche, son Status passe à Completed.
Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Pendant l'exécution de la tâche de migration incrémentielle, l'Status de la tâche est Running.
Dans la zone Selected Objects, placez le curseur sur le nom du topic de destination.
Cliquez sur le bouton Edit qui s'affiche à côté du nom du topic de destination.
-
Dans la boîte de dialogue Edit Table, configurez les paramètres de mappage.
RemarqueLa boîte de dialogue Edit Schema concerne les paramètres au niveau de la base de données et propose moins d'options configurables que la boîte de dialogue Edit Table, dédiée aux paramètres au niveau de la table.
Si vous ne synchronisez pas une base de données entière, vous ne pouvez pas modifier les paramètres Name of target Topic et Number of Partitions dans la boîte de dialogue Edit Schema.
Parameter
Description
Name of target Topic
Le topic de destination vers lequel DTS écrit les données issues de la table source. Par défaut, il s'agit du Topic que vous avez sélectionné dans la section Destination Database lors de l'étape Configurations for Source and Destination Databases.
ImportantSi la base de données de destination est une instance Alibaba Cloud Message Queue for Apache Kafka, le topic spécifié doit exister dans l'instance Kafka de destination. Sinon, la tâche de synchronisation des données échoue. Si la base de données de destination est une base Kafka auto-gérée et que l'instance de synchronisation inclut une tâche de synchronisation de schéma, DTS tente de créer le topic spécifié dans la base de données de destination.
Si vous modifiez le paramètre Name of target Topic, DTS écrit les données dans le nouveau topic.
Filter Conditions
Pour plus d'informations, consultez la rubrique Set Filter Conditions.
Number of Partitions
Le nombre de partitions dans le topic de destination.
Partition Key
Ce paramètre est disponible lorsque vous définissez l'option Policy for Shipping Data to Kafka Partitions sur Ship Data to Separate Partitions Based on Hash Values of Primary Keys. Vous pouvez sélectionner une ou plusieurs colonnes comme clé de partition. DTS calcule une valeur de hachage basée sur cette clé et répartit les lignes entre les partitions du topic de destination.
RemarqueVous ne pouvez sélectionner l'option Partition Key que dans la boîte de dialogue Edit Table.
Cliquez sur OK.
-
Puis-je modifier le paramètre Kafka Data Compression Format ?
Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.
-
Puis-je modifier le paramètre Message acknowledgement mechanism ?
Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.