Data Transmission Service:Synchroniser une base de données Oracle auto-gérée vers Kafka

Prérequis

• Vous disposez d'une base de données Oracle auto-gérée source et d'une instance Message Queue for Apache Kafka de destination.

  Remarque

  Pour plus d'informations sur les versions prises en charge de la base de données source et de l'instance de destination, consultez la page Présentation des scénarios de synchronisation des données.

• La base de données Oracle auto-gérée s'exécute en mode ARCHIVELOG, et ses journaux archivés ont une période de rétention raisonnable et sont accessibles. Pour plus d'informations, consultez la documentation ARCHIVELOG.

• La journalisation supplémentaire, y compris supplemental_log_data_pk et supplemental_log_data_ui, est activée. Pour plus d'informations, consultez la documentation Supplemental Logging.

• L'instance Message Queue for Apache Kafka de destination doit disposer d'un espace de stockage supérieur au volume de données de la base de données Oracle auto-gérée source.

• L'instance Message Queue for Apache Kafka de destination doit comporter un topic pour recevoir les données synchronisées. Pour plus d'informations, consultez l'étape Étape 1 : Créer un topic.

• Avant de synchroniser une base de données Oracle source, familiarisez-vous avec les fonctionnalités et les limites de Data Transmission Service (DTS) et utilisez Advanced Database & Application Migration (ADAM) pour évaluer votre base de données. Cela garantit une migration fluide vers le cloud. Pour plus d'informations, consultez les pages Limites et préparation pour les bases de données Oracle et Présentation de l'évaluation de la base de données.

Limites

Facturation

Limite de taille d'enregistrement unique

La taille d'un seul enregistrement écrit dans Kafka est limitée à 10 Mo. Si une seule ligne de la base de données source dépasse 10 Mo, DTS ne peut pas l'écrire dans Kafka et la tâche est interrompue. Dans ce cas, nous vous recommandons de ne pas synchroniser la table concernée. Si vous devez absolument synchroniser cette table, vous pouvez limiter la synchronisation à certaines colonnes. Lors de la configuration de la tâche DTS, filtrez les enregistrements contenant des champs volumineux. Si la tâche est déjà en cours d'exécution, modifiez les objets de synchronisation pour supprimer la table, puis rajoutez-la en filtrant les colonnes à champs volumineux afin de les exclure de la synchronisation.

Topologies de synchronisation

• Synchronisation unidirectionnelle un-à-un

• Synchronisation unidirectionnelle un-à-plusieurs

• Synchronisation unidirectionnelle plusieurs-à-un

• Synchronisation unidirectionnelle en cascade

Pour plus d'informations sur ces topologies de synchronisation et les notes importantes associées, consultez la page topologies de synchronisation des données.

Opérations SQL prises en charge

Autorisations du compte de base de données

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
   Source Database	Database Type	Sélectionnez Oracle.
   	Connection Type	Sélectionnez une méthode d'accès en fonction de l'emplacement de déploiement de votre base de données source. Cet exemple utilise Self-managed Database on ECS. Remarque Si l'instance source est une base de données auto-gérée, vous devez effectuer les préparations requises. Pour plus d'informations, consultez la rubrique Présentation des préparatifs.
   	Instance Region	Sélectionnez la région où se trouve la base de données Oracle auto-gérée.
   	ECS Instance ID	Sélectionnez l'ID de l'instance ECS qui héberge la base de données Oracle auto-gérée.
   	Numéro de port	Saisissez le port de service de la base de données Oracle auto-gérée. La valeur par défaut est 1521.
   	Oracle Type	Non-RAC Instance : si vous sélectionnez cette option, vous devez également saisir le SID. RAC or PDB Instance : si vous sélectionnez cette option, vous devez également saisir le Service Name. Important Bien que l'option soit libellée « RAC or PDB Instance », les instances RAC ne sont pas prises en charge. Cet exemple utilise Non-RAC Instance.
   	Database Account	Saisissez le compte de base de données pour la base de données Oracle auto-gérée. Pour obtenir des informations sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   Destination Database	Database Type	Sélectionnez Kafka.
   	Connection Type	Sélectionnez Express Connect, VPN Gateway, or Smart Access Gateway. Remarque Dans ce scénario, l'instance Message Queue for Apache Kafka sert de base de données Kafka auto-gérée pour l'instance de synchronisation.
   	Instance Region	Sélectionnez la région où se trouve l'instance Message Queue for Apache Kafka de destination.
   	Connected VPC	Sélectionnez l'ID du VPC de l'instance Message Queue for Apache Kafka de destination. Vous trouverez l'ID du VPC sur la page Basic Information de l'instance Kafka.
   	Nom d'hôte ou adresse IP	Saisissez une adresse IP issue du Default Endpoint de l'instance Message Queue for Apache Kafka. Remarque Vous trouverez l'adresse IP du Default Endpoint sur la page Basic Information de l'instance Message Queue for Apache Kafka.
   	Port Number	Saisissez le port de service de l'instance Message Queue for Apache Kafka. La valeur par défaut est 9092.
   	Database Account	Saisissez le compte de base de données de l'instance Message Queue for Apache Kafka. Remarque Si l'instance Message Queue for Apache Kafka est une instance connectée via VPC, vous n'avez pas besoin de configurer les paramètres Database Account et Database Password.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Kafka Version	Sélectionnez la version correspondant à votre instance Kafka.
   	Connection Method	Sélectionnez Non-encrypted ou SCRAM-SHA-256 en fonction de vos besoins métier et de sécurité.
   	Topic	Sélectionnez le topic destiné à recevoir les données.
   	Use Kafka Schema Registry	Kafka Schema Registry est une couche de service de métadonnées. Il fournit une API REST pour stocker et récupérer des schémas Avro. No : n'utilisez pas Kafka Schema Registry. Yes : utilisez Kafka Schema Registry. Vous devez spécifier l'URL ou l'adresse IP enregistrée dans Kafka Schema Registry pour vos schémas Avro.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page. Dans la boîte de dialogue CIDR Blocks of DTS Servers, cliquez sur Test Connectivity.

   Remarque

   Assurez-vous que les blocs CIDR des adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination afin d'autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR des adresses IP des serveurs DTS à une liste d'autorisation.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Parameter	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la prévérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure.
      Processing Mode for Existing Tables in Destination	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table du même nom n'existe, la prévérification réussit. Si une table du même nom existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Map table and column names. Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
      Data Format in Kafka	Sélectionnez le format de données dans lequel DTS écrit les données dans l'instance Kafka. Si vous sélectionnez DTS Avro, vous devez analyser les données en fonction de la définition du schéma DTS Avro. Pour plus d'informations, consultez DTS Avro schema definition et DTS Avro deserialization example. Si vous sélectionnez Shareplex Json, consultez Shareplex Json pour obtenir les descriptions des paramètres et des exemples.
      Kafka Data Compression Format	Sélectionnez le format de compression pour la compression des messages Kafka en fonction de vos besoins métier. LZ4 (par défaut) : le taux de compression est faible, mais la vitesse de compression est élevée. GZIP : le taux de compression est élevé, mais la vitesse de compression est faible. Remarque La consommation CPU est élevée. Snappy : le taux de compression et la vitesse de compression sont moyens.
      Policy for Shipping Data to Kafka Partitions	Sélectionnez une policy qui répond à vos besoins métier.
      Message acknowledgement mechanism	Sélectionnez un acknowledgment mechanism qui répond à vos besoins métier.
      Topic That Stores DDL Information	Sélectionnez un topic pour stocker les informations DDL. Si vous n'en sélectionnez aucun, les informations DDL sont stockées par défaut dans le topic de réception des données.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez Case sensitivity policy for destination object names.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des bases de données, des tables et des colonnes comme objets de synchronisation. Si vous sélectionnez des tables ou des colonnes, d'autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
      Selected Objects	Aucune configuration supplémentaire n'est requise dans cet exemple. Vous pouvez utiliser la fonctionnalité de mappage pour définir le nom du topic, le nombre de partitions et la clé de partition pour les tables sources dans l'instance Kafka de destination. Pour plus d'informations, consultez Mapping information. Remarque Si vous utilisez le mappage de noms d'objets, la synchronisation peut échouer pour d'autres objets qui dépendent de l'objet mappé. Pour sélectionner les opérations SQL pour la synchronisation incrémentielle, faites un clic droit sur un objet dans la section Selected Objects et sélectionnez les opérations SQL à synchroniser dans la boîte de dialogue qui s'affiche.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Parameter	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et commence immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également adjust the full synchronization rate après le démarrage de l'instance de synchronisation.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins. Aucune configuration n'est requise dans cet exemple.
      Actual Write Code	Vous pouvez sélectionner l'encodage des caractères pour les données écrites dans la base de données de destination selon vos besoins.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez What is ETL? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configure ETL in a data migration or data synchronization task. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un alert notification. Pour plus d'informations, consultez Configure monitoring and alerting during task configuration.

6. Enregistrez la tâche et exécutez une prévérification.

   • Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.

   • Une fois que vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de prévérification.

   • Si la prévérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la prévérification.

   • Si la prévérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la prévérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et réexécuter la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

      Category	Parameter	Description
      New Instance Class	Billing Method	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
      	Resource Group Configuration	Le groupe de ressources auquel l'instance appartient. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez What is Resource Management?.
      	Link Specification	DTS propose des spécifications de synchronisation avec différents niveaux de performance. Les spécifications de lien de synchronisation affectent le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Data synchronization link specifications.
      	Subscription Duration	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Mappages

1. Dans la zone Selected Objects, placez le curseur sur le nom du topic de destination.

2. Cliquez sur le bouton Edit qui s'affiche à côté du nom du topic de destination.

3. Dans la boîte de dialogue Edit Table , configurez les paramètres de mappage.

   Remarque

   • La boîte de dialogue Edit Schema concerne les paramètres au niveau de la base de données et propose moins d'options configurables que la boîte de dialogue Edit Table , dédiée aux paramètres au niveau de la table.

   • Si vous ne synchronisez pas l'intégralité d'une base de données, vous ne pouvez pas modifier les paramètres Name of target Topic et Number of Partitions dans la boîte de dialogue Edit Schema .

   Parameter	Description
   Name of target Topic	Le topic de destination vers lequel DTS écrit les données de la table source. Par défaut, il s'agit du Topic que vous avez sélectionné dans la section Destination Database lors de l'étape Configurations for Source and Destination Databases . Important Si la base de données de destination est une instance Alibaba Cloud Message Queue for Apache Kafka , le topic spécifié doit exister dans l'instance Kafka de destination. Sinon, la tâche de synchronisation des données échoue. Si la base de données de destination est une base de données Kafka autogérée et que l'instance de synchronisation inclut une tâche de synchronisation de schéma, DTS tente de créer le topic spécifié dans la base de données de destination. Si vous modifiez le paramètre Name of target Topic , DTS écrit les données dans le nouveau topic.
   Filter Conditions	Pour plus d'informations, consultez la rubrique Définir des conditions de filtrage.
   Number of Partitions	Le nombre de partitions dans le topic de destination.
   Partition Key	Ce paramètre est disponible lorsque vous définissez l'option Policy for Shipping Data to Kafka Partitions sur Ship Data to Separate Partitions Based on Hash Values of Primary Keys . Vous pouvez sélectionner une ou plusieurs colonnes comme clé de partition. DTS calcule une valeur de hachage basée sur cette clé et répartit les lignes entre les partitions du topic de destination. Remarque Vous ne pouvez sélectionner l'option Partition Key que dans la boîte de dialogue Edit Table .

4. Cliquez sur OK .

FAQ

• Puis-je modifier le paramètre Kafka Data Compression Format ?

  Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.

• Puis-je modifier le paramètre Message acknowledgement mechanism ?

  Oui. Vous pouvez utiliser la fonctionnalité Modifier les objets de synchronisation pour le modifier.