Découvrez comment utiliser Data Transmission Service (DTS) pour synchroniser les données d'un cluster PolarDB for MySQL vers une instance Message Queue for Apache Kafka afin d'étendre vos capacités de traitement des messages.
Prérequis
-
Vous avez créé une instance de destination ApsaraMQ for Kafka. Pour plus d'informations, consultez la rubrique Présentation.
RemarquePour obtenir la liste des versions prises en charge par la source et la destination, consultez la rubrique Présentation des solutions de synchronisation des données.
Vous avez créé un sujet dans l'instance de destination ApsaraMQ for Kafka pour recevoir les données synchronisées. Pour plus d'informations, consultez l'Étape 1 : Créer un sujet.
Limitations
DTS ne synchronise pas les clés étrangères de la base de données source vers la base de données de destination. Par conséquent, les opérations en cascade et de suppression effectuées sur la base de données source ne sont pas répliquées vers la destination.
Type | Description |
Limites de la base de données source |
|
Autres limites |
|
Autres remarques | DTS exécute périodiquement la commande CREATE DATABASE IF NOT EXISTS |
Limite de taille d'un seul enregistrement
La taille d'un seul enregistrement écrit dans Kafka est limitée à 10 Mo. Si une seule ligne de la base de données source dépasse 10 Mo, DTS ne peut pas l'écrire dans Kafka et la tâche est interrompue. Dans ce cas, nous vous recommandons de ne pas synchroniser la table concernée. Si vous devez absolument synchroniser cette table, vous pouvez choisir de ne synchroniser que certaines colonnes. Lors de la configuration de la tâche DTS, filtrez les enregistrements contenant des champs volumineux. Si la tâche est déjà en cours d'exécution, modifiez les objets de synchronisation pour supprimer la table, puis rajoutez-la en filtrant les colonnes à champs volumineux afin de les exclure de la synchronisation.
Topologies de synchronisation prises en charge
Synchronisation unidirectionnelle un-à-un.
Synchronisation unidirectionnelle un-à-plusieurs.
Synchronisation unidirectionnelle plusieurs-à-un.
Synchronisation unidirectionnelle en cascade.
Pour plus de détails et d'importantes notes d'utilisation, consultez la rubrique Présentation des topologies de synchronisation des données.
Opérations SQL prises en charge
Type d'opération | Instruction SQL |
DML | INSERT, UPDATE et DELETE |
DDL |
|
Autorisations des comptes de base de données
|
Base de données |
Autorisations |
|
Cluster source PolarDB for MySQL |
Autorisations de lecture sur les objets à synchroniser. |
Procédure
-
Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :
Depuis la console DTS
Connectez-vous à la console Data Transmission Service (DTS).
Dans le volet de navigation de gauche, cliquez sur Data Synchronization.
Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.
Depuis la console DMS
RemarqueLes opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.
Connectez-vous à Data Management (DMS).
Dans la barre de menu supérieure, choisissez .
À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.
Cliquez sur Create Task pour accéder à la page de configuration de la tâche.
-
Configurez les bases de données source et de destination.
AvertissementAprès avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Si vous ne respectez pas ces limites, la tâche peut échouer ou des incohérences de données peuvent survenir.
Catégorie
Paramètre
Description
N/A
Data Synchronization
DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
Data Synchronization Tasks
Create Task
-
Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Task Name.
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Source Database
Sélectionnez Select Existing Connection.
Connection Type
Sélectionnez Database Type.
PolarDB for MySQL
Sélectionnez la région où réside le cluster PolarDB for MySQL source.
Cross-account
Dans ce scénario, les données sont synchronisées au sein du même compte Alibaba Cloud. Sélectionnez Alibaba Cloud Instance.
Instance Region
Sélectionnez l'ID du cluster PolarDB for MySQL source.
Database Account
Saisissez le compte de base de données du cluster PolarDB for MySQL source. Pour connaître les autorisations requises, consultez la section Autorisations requises pour le compte de base de données.
No
Saisissez le mot de passe correspondant au compte de base de données.
PolarDB Cluster ID
Sélectionnez Non-encrypted ou Database Password selon vos besoins. Si vous sélectionnez Connection Method, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
Non-encrypted
Sélectionnez une option en fonction de vos besoins. Pour plus d'informations, consultez Configurer le chiffrement SSL.
SSL-encrypted
SSL-encrypted
-
Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement.
RemarqueDans la console DMS, cet élément de configuration est nommé Select a DMS database instance..
-
Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
Destination Database
Sélectionnez Select Existing Connection.
Select a DMS database instance.
Sélectionnez Database Type.
RemarqueDans cette étape, l'instance Message Queue for Apache Kafka est configurée comme une base de données Kafka auto-gérée.
Kafka
Sélectionnez la région où réside l'instance Message Queue for Apache Kafka de destination.
Connection Type
Sélectionnez l'ID du Virtual Private Cloud (VPC) auquel appartient l'instance Message Queue for Apache Kafka de destination. Vous pouvez trouver l'ID du VPC sur la page Express Connect, VPN Gateway, or Smart Access Gateway de l'instance Kafka.
Nom d'hôte ou adresse IP
Saisissez une adresse IP issue du Default Endpoint de l'instance Message Queue for Apache Kafka.
RemarqueVous pouvez obtenir l'adresse IP du Default Endpoint sur la page Instance Region de l'instance Message Queue for Apache Kafka.
Connected VPC
Le port de service de l'instance Message Queue for Apache Kafka. La valeur par défaut est 9092.
Basic Information
Saisissez le compte de base de données pour l'instance Message Queue for Apache Kafka de destination.
RemarqueSi le type d'instance de l'instance Message Queue for Apache Kafka est VPC instance, vous n'avez pas besoin de configurer Basic Information ni Port Number.
Database Account
Saisissez le mot de passe correspondant au compte de base de données.
Database Account
Sélectionnez la version qui correspond à votre instance Kafka.
Database Password
Sélectionnez Database Password ou Kafka Version en fonction de vos besoins métier et de sécurité.
Connection Method
Dans la liste déroulante, sélectionnez le topic pour recevoir les données synchronisées.
Non-encrypted
Kafka Schema Registry est une couche de service de métadonnées avec une API RESTful pour stocker et récupérer des schémas Avro.
SCRAM-SHA-256 : N'utilisez pas Kafka Schema Registry.
Topic : Utilisez Kafka Schema Registry. Vous devez saisir l'URL ou l'adresse IP enregistrée pour le schéma Avro dans Kafka Schema Registry.
-
-
Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.
RemarqueAssurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cela peut être fait automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.
Si la base de données source ou de destination est une base de données auto-gérée (où la méthode Use Kafka Schema Registry n'est pas No), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue Yes.
-
Configurez les objets de la tâche.
-
Sur la page Test Connectivity and Proceed, configurez les objets à synchroniser.
Paramètre
Description
Access Method
Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Test Connectivity et CIDR Blocks of DTS Servers. Une fois la vérification préalable terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de base de référence pour la synchronisation incrémentielle ultérieure.
RemarqueSi la Configure Objects pour l'instance Kafka de destination est Alibaba Cloud Instance, Incremental Data Synchronization n'est pas pris en charge.
Schema Synchronization
-
Full Data Synchronization : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la vérification préalable réussit. Si une table du même nom existe, la vérification préalable échoue et la tâche de synchronisation des données ne démarre pas.
RemarqueSi vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes.
-
Access Method : ignore la vérification des doublons de noms de tables dans la base de données de destination.
AvertissementLa sélection de l'option Alibaba Cloud Instance peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple :
-
Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source :
-
Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé.
-
Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement dans la base de données de destination.
-
-
Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
-
Schema Synchronization
Sélectionnez le format de stockage des données pour l'instance Kafka en fonction de vos besoins.
Si vous sélectionnez DTS Avro, vous devez analyser les données selon la définition du schéma DTS Avro. Pour plus d'informations, consultez la définition du schéma DTS Avro et l'exemple de désérialisation DTS Avro.
Si vous sélectionnez Canal JSON, consultez le format Canal JSON pour obtenir des descriptions de paramètres et des exemples.
Si vous sélectionnez Shareplex JSON, consultez le format Shareplex JSON pour obtenir des descriptions de paramètres et des exemples.
Processing Mode for Existing Tables in Destination
Sélectionnez le format de compression pour la compression des messages Kafka en fonction de vos besoins métier.
LZ4 (par défaut) : le taux de compression est faible, mais la vitesse de compression est élevée.
GZIP : le taux de compression est élevé, mais la vitesse de compression est faible.
RemarqueLa consommation CPU est élevée.
Snappy : le taux de compression et la vitesse de compression sont moyens.
Precheck and Report Errors
Sélectionnez une stratégie en fonction de vos besoins métier.
Ignore Errors and Proceed
Sélectionnez un mécanisme d'accusé de réception des messages en fonction de vos besoins métier.
Ignore Errors and Proceed
Sélectionnez le topic utilisé pour stocker les informations DDL dans la liste déroulante.
RemarqueSi non spécifié, les informations DDL sont stockées par défaut dans le topic qui reçoit les données.
Data Format in Kafka
Vous pouvez configurer la stratégie de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les stratégies par défaut des bases de données source et de destination. Pour plus d'informations, consultez la stratégie de sensibilité à la casse pour les noms d'objets de destination.
Policy for Shipping Data to Kafka Partitions
Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur
pour le déplacer vers la zone Topic That Stores DDL Information.RemarqueVous pouvez sélectionner des objets à synchroniser uniquement au niveau de la table.
Case Sensitivity Policy for Destination Object Names
Aucune configuration supplémentaire n'est requise dans cet exemple. Vous pouvez utiliser la fonctionnalité de mappage pour définir le nom du topic, le nombre de partitions et la clé de partition pour la table source dans l'instance Kafka de destination. Pour plus d'informations, consultez les informations de mappage.
RemarquePour sélectionner les opérations SQL à synchroniser au niveau du schéma ou de la table, faites un clic droit sur un objet dans le volet Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche.
Si vous utilisez le mappage de noms d'objets, la synchronisation des objets dépendants peut échouer.
-
-
Cliquez sur Source Objects pour configurer les paramètres avancés.
Paramètre
Description
Dedicated Cluster for Task Scheduling
Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Selected Objects
Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à réessayer la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
Remarque-
Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux.
-
Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
Selected Objects
Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue.
ImportantLa valeur de Retry Time for Other Issues doit être inférieure à celle de Next: Advanced Settings.
Enable Throttling for Full Data Synchronization
Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Retry Time for Failed Connections, Retry Time for Other Issues et Data migration speed for full migration (MB/s).
Remarque-
Cet élément de configuration est disponible uniquement lorsque Retry Time for Failed Connections est défini sur Full Data Synchronization.
-
Vous pouvez également ajuster le débit de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
Queries per second (QPS) to the source database
Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Full Data Migration et Data synchronization speed for incremental synchronization (MB/s).
Synchronization Types
Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution.
-
Yes : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard.
-
Enable Throttling for Incremental Data Synchronization : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
RPS of Incremental Data Synchronization
Vous pouvez sélectionner un tag d'environnement pour identifier l'instance. Aucune sélection n'est requise pour cet exemple.
Configure ETL
Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides :
-
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données.
-
Yes : désactive la fonctionnalité ETL.
No
Indiquez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte.
-
Environment Tag : aucune alerte n'est configurée.
-
Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.
-
-
-
Enregistrez la tâche et exécutez une vérification préalable.
Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Yes et cliquez sur No dans la bulle.
Une fois que vous avez terminé de consulter les paramètres API, cliquez sur Monitoring and Alerting en bas de la page.
RemarqueAvant le démarrage de la tâche de synchronisation, DTS exécute une vérification préalable. La tâche ne peut démarrer qu'après la réussite de tous les éléments de vérification.
Si la vérification préalable échoue, cliquez sur No pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la vérification préalable.
-
Si la vérification préalable renvoie un avertissement :
Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la vérification préalable.
Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Next: Save Task Settings and Precheck, Preview OpenAPI parameters, Next: Save Task Settings and Precheck et Precheck Again pour ignorer l'avertissement et relancer la vérification préalable. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.
-
Achetez une instance.
Lorsque le View Details est de 100 %, cliquez sur Confirm Alert Details.
-
Sur la page Ignore, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.
Catégorie
Paramètre
Description
OK
Méthode de facturation
-
Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante.
-
Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
Configuration du groupe de ressources
Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?.
Spécification de lien
DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le débit de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez les spécifications de lien de synchronisation de données.
Durée de l'abonnement
En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans.
RemarqueCette option est disponible uniquement lorsque la méthode de facturation est Subscription.
-
Une fois la configuration terminée, lisez et sélectionnez les Success Rate.
-
Cliquez sur Next: Purchase Instance. Dans la boîte de dialogue Purchase, cliquez sur New Instance Class.
Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.
Dans la zone Selected Objects, placez le curseur sur le nom de la rubrique de destination (au niveau de la table).
Cliquez sur Data Transmission Service (Pay-as-you-go) Service Terms qui s'affiche à côté du nom de la rubrique de destination.
-
Dans la boîte de dialogue Buy and Start qui s'ouvre, configurez les informations de mappage.
RemarqueAu niveau de la base de données, la boîte de dialogue OK prend en charge moins de paramètres configurables. Au niveau de la table, la boîte de dialogue OK s'affiche.
Si la granularité des objets de synchronisation ne correspond pas à l'intégralité de la base de données, vous ne pouvez pas modifier le Name of target Topic ni le Edit dans la boîte de dialogue Edit Schema.
Parameter
Description
Name of target Topic
Nom de la rubrique de destination vers laquelle la table source est synchronisée. La valeur par défaut correspond à la Edit Table que vous avez spécifiée pour la Destination Database lors de l'étape Configurations for Source and Destination Databases.
ImportantLorsque la base de données de destination est une instance ApsaraMQ for Kafka, le nom de la rubrique que vous spécifiez doit exister dans l'instance Kafka de destination. Sinon, la synchronisation des données échoue. Si la base de données de destination est une base de données Kafka autogérée et que la tâche de synchronisation inclut la synchronisation du schéma, DTS tente de créer la rubrique que vous avez spécifiée dans la base de données de destination.
Si vous modifiez le Edit Schema, les données sont écrites dans la rubrique que vous avez spécifiée.
Name of target Topic
Pour plus d'informations, consultez la rubrique Filtrer les données des tâches avec une condition SQL.
Number of Partitions
Nombre de partitions lors de l'écriture des données dans la rubrique de destination.
Partition Key
Lorsque la Policy for Shipping Data to Kafka Partitions est définie sur Name of target Topic, vous pouvez configurer ce paramètre. Spécifiez une ou plusieurs colonnes comme clé de partition utilisée pour calculer la valeur de hachage. DTS distribue ensuite les lignes vers différentes partitions de la rubrique de destination en fonction des valeurs de hachage calculées.
RemarqueVous pouvez sélectionner la Filter Conditions uniquement dans la boîte de dialogue Edit Table.
Cliquez sur OK.
-
Puis-je modifier le Kafka Data Compression Format ?
Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.
-
Puis-je modifier le Message acknowledgement mechanism ?
Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.