Data Transmission Service:Synchroniser les données d'une instance ApsaraDB RDS for MySQL vers une instance ApsaraMQ for Kafka

Prérequis

• L'instance source ApsaraDB RDS for MySQL et l'instance de destination ApsaraMQ for Kafka sont créées.

  Remarque

  • Pour savoir comment créer l'instance source ApsaraDB RDS for MySQL, consultez la rubrique Créer une instance ApsaraDB RDS for MySQL.

  • Pour connaître les versions prises en charge par les bases de données source et de destination, consultez la rubrique Scénarios de synchronisation des données.

• Un topic destiné à recevoir les données synchronisées est créé dans l'instance de destination ApsaraMQ for Kafka. Pour plus d'informations, consultez la rubrique Étape 1 : Créer un topic.

• L'espace de stockage de l'instance de destination ApsaraMQ for Kafka doit être supérieur à l'espace de stockage occupé par l'instance source ApsaraDB RDS for MySQL.

Limites

Facturation

Limite de taille d'un enregistrement unique

La taille d'un enregistrement unique écrit dans Kafka est limitée à 10 Mo. Si une ligne unique dans la base de données source dépasse 10 Mo, DTS ne peut pas l'écrire dans Kafka et la tâche est interrompue. Dans ce cas, nous vous recommandons de ne pas synchroniser la table concernée. Si vous devez synchroniser la table, vous pouvez synchroniser uniquement certaines colonnes. Lors de la configuration de la tâche DTS, filtrez les enregistrements contenant des champs volumineux. Si la tâche est déjà en cours d'exécution, modifiez les objets de synchronisation pour supprimer la table, puis rajoutez la table et filtrez les colonnes de champs volumineux pour les exclure de la synchronisation.

Topologies de synchronisation prises en charge

• Synchronisation unidirectionnelle un-à-un

• Synchronisation unidirectionnelle un-à-plusieurs

• Synchronisation unidirectionnelle plusieurs-à-un

Pour obtenir des descriptions et des considérations relatives à chaque topologie de synchronisation, consultez la rubrique Topologies de synchronisation.

Opérations SQL pouvant être synchronisées

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la Data Transmission Service (DTS) console.

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Avertissement

   Après avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Si vous ne respectez pas ces limites, la tâche peut échouer ou une incohérence des données peut survenir.

   Catégorie	Paramètre	Description
   Aucun	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez MySQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraDB RDS for MySQL source.
   	Replicate Data Across Alibaba Cloud Accounts	Dans cet exemple, la synchronisation s'effectue entre des instances du même compte Alibaba Cloud. Sélectionnez No.
   	RDS Instance ID	Sélectionnez l'ID de l'instance ApsaraDB RDS for MySQL source.
   	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB RDS for MySQL source. Le compte doit disposer des autorisations de lecture sur les objets à synchroniser.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez Non-encrypted ou SSL-encrypted selon vos besoins. Si vous sélectionnez SSL-encrypted, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez Kafka.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraMQ for Kafka de destination.
   	Kafka Instance ID	Sélectionnez l'ID de l'instance ApsaraMQ for Kafka de destination.
   	Encryption	Sélectionnez Non-encrypted ou SCRAM-SHA-256 en fonction de vos exigences métier et de sécurité.
   	Topic	Sélectionnez le topic utilisé pour recevoir les données dans la liste déroulante.
   	Use Kafka Schema Registry	Kafka Schema Registry est une couche de service de fournisseur de métadonnées qui fournit une interface RESTful pour stocker et récupérer des schémas Avro. No : N'utilisez pas Kafka Schema Registry. Yes : Utilisez Kafka Schema Registry. Saisissez l'URL ou l'adresse IP enregistrée pour le schéma Avro dans Kafka Schema Registry.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Paramètre	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de base pour la synchronisation incrémentielle ultérieure. Remarque Lorsque la Access Method de l'instance Kafka de destination est Alibaba Cloud Instance, la Schema Synchronization n'est pas prise en charge.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : ignore la vérification des doublons de noms de tables dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
      Data Format in Kafka	Sélectionnez le format de stockage des données utilisé lors de la synchronisation des données vers l'instance Kafka, en fonction de vos besoins métier. Si vous sélectionnez DTS Avro, vous devez analyser les données selon la définition du schéma DTS Avro. Pour plus d'informations, consultez la définition du schéma DTS Avro et l'exemple de désérialisation DTS Avro. Si vous sélectionnez Canal JSON, pour les descriptions des paramètres et les exemples de Canal JSON, consultez la description de Canal JSON. Si vous sélectionnez Shareplex JSON, pour les descriptions des paramètres et les exemples de Shareplex JSON, consultez Shareplex Json.
      Kafka Data Compression Format	Sélectionnez le format de compression pour la compression des messages Kafka en fonction de vos besoins métier. LZ4 (par défaut) : le taux de compression est faible, mais la vitesse de compression est élevée. GZIP : le taux de compression est élevé, mais la vitesse de compression est faible. Remarque La consommation CPU est élevée. Snappy : le taux de compression et la vitesse de compression sont moyens.
      Policy for Shipping Data to Kafka Partitions	Sélectionnez une stratégie en fonction de vos besoins métier.
      Message acknowledgement mechanism	Sélectionnez le mécanisme d'accusé de réception des messages en fonction de vos besoins métier.
      Topic That Stores DDL Information	Sélectionnez la rubrique utilisée pour stocker les informations DDL dans la liste déroulante. Remarque Si non spécifié, les informations DDL sont stockées par défaut dans la rubrique qui reçoit les données.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez la politique de sensibilité à la casse pour les noms d'objets de destination.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Les objets à synchroniser peuvent être sélectionnés au niveau de la table.
      Selected Objects	Aucune configuration supplémentaire n'est requise dans cet exemple. Vous pouvez utiliser la fonctionnalité de mappage pour définir le nom de la rubrique de la table source dans l'instance Kafka de destination, le nombre de partitions de la rubrique, la clé de partition et d'autres informations. Pour plus d'informations, consultez les informations de mappage. Remarque Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, faites un clic droit sur l'objet à synchroniser dans le volet Selected Objects, puis sélectionnez les opérations SQL requises dans la boîte de dialogue qui s'affiche. Si vous utilisez la fonctionnalité de mappage des noms d'objets, d'autres objets dépendant de l'objet mappé peuvent ne pas être synchronisés.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à réessayer la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans le délai spécifié, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez le délai de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur du Retry Time for Other Issues doit être inférieure à celle du Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque les Synchronization Types sont définis sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez le RPS of Incremental Data Synchronization et la Data synchronization speed for incremental synchronization (MB/s).
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si vous souhaitez écrire les informations SQL de heartbeat dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : les informations SQL de heartbeat ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS. No : écrit les informations SQL de heartbeat dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
      Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance en fonction de vos besoins métier. Aucun tag n'est requis dans cet exemple.
      Configure ETL	Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

6. Enregistrez la tâche et exécutez une pré-vérification.

   • Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.

   • Une fois que vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.

   • Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis relancez la pré-vérification.

   • Si la pré-vérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la pré-vérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
      	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que la gestion des ressources ?.
      	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le débit de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez les spécifications de lien de synchronisation de données.
      	Durée d'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Informations de mappage

1. Dans la zone Selected Objects, placez le curseur sur le nom du topic de destination (au niveau de la table).

2. Cliquez sur Edit qui s'affiche à côté du nom du topic de destination.

3. Dans la boîte de dialogue Edit Table qui s'ouvre, configurez les informations de mappage.

   Remarque

   • Au niveau de la base de données, la boîte de dialogue Edit Schema prend en charge moins de paramètres configurables. Au niveau de la table, la boîte de dialogue Edit Table s'affiche.

   • Si la granularité des objets de synchronisation ne correspond pas à l'intégralité de la base de données, vous ne pouvez pas modifier le Name of target Topic ni le Number of Partitions dans la boîte de dialogue Edit Schema.

   Parameter	Description
   Name of target Topic	Nom du topic de destination vers lequel la table source est synchronisée. La valeur par défaut correspond au Topic que vous avez spécifié pour la Destination Database lors de l'étape Configurations for Source and Destination Databases. Important Lorsque la base de données de destination est une instance ApsaraMQ for Kafka, le nom du topic que vous spécifiez doit exister dans l'instance Kafka de destination. Sinon, la synchronisation des données échoue. Si la base de données de destination est une base de données Kafka autogérée et que la tâche de synchronisation inclut la synchronisation du schéma, DTS tente de créer le topic spécifié dans la base de données de destination. Si vous modifiez le Name of target Topic, les données sont écrites dans le topic que vous avez spécifié.
   Filter Conditions	Pour plus d'informations, consultez la rubrique Filtrer les données de tâche avec une condition SQL.
   Number of Partitions	Nombre de partitions lors de l'écriture des données dans le topic de destination.
   Partition Key	Lorsque la Policy for Shipping Data to Kafka Partitions est définie sur Ship Data to Separate Partitions Based on Hash Values of Primary Keys, vous pouvez configurer ce paramètre. Spécifiez une ou plusieurs colonnes comme clé de partition (Partition Key) utilisée pour calculer la valeur de hachage. DTS distribue ensuite les lignes vers différentes partitions du topic de destination en fonction des valeurs de hachage calculées. Remarque Vous ne pouvez sélectionner la Partition Key que dans la boîte de dialogue Edit Table.

4. Cliquez sur OK.

FAQ

• Puis-je modifier le Message acknowledgement mechanism ?

  Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.

• Puis-je modifier le Message acknowledgement mechanism ?

  Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.