Data Transmission Service:Créer une tâche d'abonnement aux données pour PolarDB for PostgreSQL (Compatible avec Oracle)

Prérequis

• Créez un cluster source PolarDB for PostgreSQL (Compatible avec Oracle). Pour plus d'informations, consultez la page Créer un cluster PolarDB for PostgreSQL (Compatible avec Oracle).

• Définissez le paramètre wal_level du cluster source PolarDB for PostgreSQL (Compatible avec Oracle) sur logical. Ce paramètre ajoute les informations nécessaires à la prise en charge du décodage logique dans les journaux de transactions anticipés (WAL). Pour plus d'informations, consultez la page Définir les paramètres du cluster.

• Vous avez créé un Virtual Private Cloud (VPC) et un vSwitch pour l'instance d'abonnement aux données.

Notes d'utilisation

Procédure

1. Accédez à la page Tâches de suivi des modifications et sélectionnez la région où réside l'instance de suivi des modifications en utilisant l'une des méthodes suivantes.

   Console DTS

   1. Connectez-vous à la console DTS.

   2. Dans le volet de navigation de gauche, cliquez sur Suivi des modifications.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où réside l'instance de suivi des modifications.

   Console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les pages Console en mode simple et Personnaliser la disposition et le style de la console DMS.

   1. Connectez-vous à la console DMS.

   2. Dans la barre de navigation supérieure, placez le pointeur sur Data + AI > DTS (DTS) > Change Tracking.

   3. Dans la liste déroulante située à droite de Change Tracking Tasks, sélectionnez la région où réside l'instance de suivi des modifications.

2. Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les paramètres dans les sections Base de données source et Type de réseau du consommateur.

   Avertissement

   Après avoir spécifié l'instance de base de données source, nous vous recommandons de lire les Limits affichées dans la partie supérieure de la page. Sinon, la tâche risque d'échouer ou les données suivies ne pourront pas être consommées.

   Type	Paramètre	Description
   N/A	Task Name	Le nom de la tâche de suivi des modifications. DTS attribue automatiquement un nom à la tâche. Nous vous recommandons de spécifier un nom descriptif facilitant l'identification de la tâche. Il n'est pas nécessaire d'utiliser un nom de tâche unique.
   Source Database	Select Existing Connection	Si vous souhaitez utiliser une Gestion des connexions à la base de données avec le système (nouvellement créée ou enregistrée), sélectionnez-la dans la liste déroulante. Le système remplit automatiquement les informations de connexion à la base de données. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance. Si votre instance de base de données n'est pas enregistrée ou si vous ne souhaitez pas utiliser une instance enregistrée, vous devez configurer manuellement les informations de connexion à la base de données ci-dessous.
   	Database Type	Sélectionnez PolarDB (Compatible with Oracle).
   	Access Method	Cette rubrique utilise Public IP Address à titre d'exemple.
   	Instance Region	Sélectionnez la région où se trouve le cluster PolarDB for PostgreSQL (Compatible avec Oracle).
   	Data Sources	Sélectionnez Single Data Source. Ensuite, dans le champ Domain Name or IP Address, saisissez le point de terminaison du nœud principal ou le point de terminaison du cluster du cluster source PolarDB for PostgreSQL (Compatible avec Oracle) et spécifiez le Port.
   	Domain Name or IP Address	Saisissez le point de terminaison du nœud principal ou le point de terminaison du cluster.
   	Port	Saisissez le numéro de port de service de la base de données source. La valeur par défaut est 1521.
   	Database Name	Saisissez le nom de la base de données à laquelle vous souhaitez vous abonner.
   	Database Account	Saisissez un compte privilégié pour la base de données PolarDB for PostgreSQL (Compatible avec Oracle).
   	Database Password	Le mot de passe utilisé pour accéder à l'instance de base de données.
   Consumer Network Type	Network Type	La valeur du paramètre Network Type est fixée sur VPC. Vous devez sélectionner un VPC et un vSwitch. Pour plus d'informations, consultez la page VPC. Remarque Une fois une tâche de suivi des modifications configurée, vous ne pouvez pas modifier les paramètres de la section Consumer Network Type. Si votre client de suivi des modifications est déployé dans un VPC, nous vous recommandons de sélectionner le même VPC et le même vSwitch connectés au client. Si vous suivez les modifications de données via des réseaux internes, la latence du réseau est minimale.

4. Dans la partie inférieure de la page, cliquez sur Test Connectivity and Proceed.

   Remarque

   • Assurez-vous que les plages CIDR des serveurs DTS peuvent être ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination afin d'autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la page Ajouter les adresses IP des serveurs DTS à la liste d'autorisation.

   • Si la base de données source est une base de données autogérée et que sa Access Method n'est pas définie sur Alibaba Cloud Instance, cliquez sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets pour le suivi des modifications.

   1. Sur la page Configure Objects, configurez les objets pour le suivi des modifications.

      Paramètre	Description
      Data Change Types	La case à cocher Data Change Types est sélectionnée par défaut et vous ne pouvez pas la modifier. Les types de modification des données que vous souhaitez suivre. Vous ne pouvez sélectionner que Data Update. DTS suit les mises à jour des données des objets que vous sélectionnez. Les mises à jour des données incluent les opérations INSERT, DELETE et UPDATE.
      Source Objects	Sélectionnez un ou plusieurs objets dans la section Source Objects et cliquez sur l'icône pour ajouter les objets à la section Selected Objects. Remarque Vous pouvez sélectionner des tables ou des bases de données comme objets pour le suivi des modifications. Si vous sélectionnez une base de données comme objet, DTS suit les données incrémentielles de tous les objets, y compris les nouveaux objets de la base de données. Si vous sélectionnez une table comme objet, DTS suit uniquement les données incrémentielles de cette table. Dans ce cas, si vous souhaitez suivre les modifications de données d'une autre table, vous devez ajouter la table à la liste des objets. Pour plus d'informations, consultez la page Modifier les objets pour le suivi des modifications.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie la tâche sur un cluster partagé. Vous n'avez pas besoin de configurer ce paramètre. Vous pouvez acheter des clusters dédiés avec des spécifications spécifiques pour exécuter des tâches de suivi des modifications DTS. Pour plus d'informations, consultez la page Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	La plage de durée de nouvelle tentative pour les échecs de connexion. Si la tâche de suivi des modifications échoue, DTS tente immédiatement de se reconnecter dans cette plage de temps. Valeurs valides : 10 à 1440. Unité : minutes. Valeur par défaut : 720. Nous vous recommandons de définir ce paramètre sur une valeur supérieure à 30. Si DTS se reconnecte à l'instance de base de données source dans la plage de temps spécifiée, DTS reprend la tâche de suivi des modifications. Sinon, la tâche de suivi des modifications échoue. Remarque Si plusieurs tâches de suivi des modifications sont configurées pour une instance de base de données, la plage de durée de nouvelle tentative la plus courte est prioritaire. Par exemple, les tâches A et B sont configurées pour la même instance de base de données. La tâche A est configurée avec une plage de durée de nouvelle tentative de 30 minutes et la tâche B avec une plage de 60 minutes. Dans ce cas, la plage de 30 minutes est prioritaire. Lorsque DTS tente une reconnexion, des frais sont facturés. Nous vous recommandons de spécifier la plage de durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération de l'instance de base de données source.
      Retry Time for Other Issues	La plage de durée de nouvelle tentative pour les autres problèmes. Par exemple, si les opérations DDL ou DML échouent après le démarrage de la tâche de suivi des modifications, DTS tente immédiatement de les réexécuter dans la plage de durée de nouvelle tentative. Valeurs valides : 1 à 1440. Unité : minutes. Valeur par défaut : 10. Nous vous recommandons de définir ce paramètre sur une valeur supérieure à 10. Si les opérations ayant échoué sont exécutées avec succès dans la plage de durée de nouvelle tentative spécifiée, DTS reprend la tâche de suivi des modifications. Sinon, la tâche de suivi des modifications échoue. Important La valeur du paramètre Retry Time for Other Issues doit être inférieure à la valeur du paramètre Retry Time for Failed Connections.
      Environment Tag	Vous pouvez sélectionner un tag pour identifier l'environnement de l'instance. Ce paramètre est facultatif.
      Monitoring and Alerting	Indique si vous souhaitez activer les alertes pour la tâche de suivi des modifications. Si les alertes sont configurées et que la tâche échoue ou que la latence dépasse le seuil, des notifications d'alerte sont envoyées. Valeurs valides : No : n'active pas les alertes. Yes : active les alertes. Dans ce cas, vous devez également configurer le seuil d'alerte et paramètres de notification d'alerte. Pour plus d'informations, consultez la page Configurer les alertes lors de la configuration de l'instance.

6. Dans la partie inférieure de la page, cliquez sur Suivant : Enregistrer les paramètres de la tâche et effectuer la pré-vérification.

   • Pour afficher les paramètres à spécifier lors de l'appel de l'opération API pertinente pour configurer la tâche DTS, placez le pointeur sur Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters.

   • Si vous n'avez pas besoin d'afficher les paramètres ou si vous les avez déjà consultés, cliquez sur Next: Save Task Settings and Precheck dans la partie inférieure de la page.

   Remarque

   • Avant de pouvoir démarrer la tâche de suivi des modifications, DTS effectue une pré-vérification. Vous ne pouvez démarrer la tâche de suivi des modifications qu'après sa réussite à la pré-vérification.

   • Si la tâche échoue à la pré-vérification, cliquez sur View Details à côté de chaque élément ayant échoué. Après avoir résolu les problèmes en vous basant sur le message d'erreur, vous pouvez relancer une pré-vérification.

   • Si une alerte est générée pour un élément lors de la pré-vérification, effectuez les opérations suivantes en fonction du scénario :

     • Si un élément d'alerte ne peut pas être ignoré, cliquez sur View Details à côté de l'élément ayant échoué et résolvez les problèmes. Ensuite, relancez une pré-vérification.

     • Si l'élément d'alerte peut être ignoré, cliquez sur Confirm Alert Details. Dans la boîte de dialogue Afficher les détails, cliquez sur Ignore. Dans le message qui s'affiche, cliquez sur OK. Ensuite, cliquez sur Precheck Again pour relancer une pré-vérification. Si vous ignorez l'élément d'alerte, des incohérences de données peuvent survenir et votre activité peut être exposée à des risques potentiels.

7. Achetez l'instance.

   1. Attendez que le Success Rate atteigne 100%. Ensuite, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, spécifiez la méthode de facturation de l'instance de suivi des modifications. Le tableau suivant décrit les paramètres.

      Paramètre	Description
      Méthode de facturation	Abonnement : Vous payez votre abonnement lors de la création d'une instance. La méthode de facturation par abonnement est plus rentable que la méthode de paiement à l'utilisation pour une utilisation à long terme. Des prix plus bas sont proposés pour des durées d'abonnement plus longues. Paiement à l'utilisation : Une instance en paiement à l'utilisation est facturée à l'heure. Nous vous recommandons de sélectionner la méthode de facturation par paiement à l'utilisation pour une utilisation à court terme. Si vous n'avez plus besoin d'une instance en paiement à l'utilisation, vous pouvez la libérer pour réduire les coûts.
      Resource Group Settings	Le groupe de ressources auquel appartient l'instance. Valeur par défaut : default resource group. Pour plus d'informations, consultez la page Qu'est-ce que la gestion des ressources ?
      Subscription Duration	Si vous sélectionnez la méthode de facturation par abonnement, définissez la durée de l'abonnement et le nombre d'instances que vous souhaitez créer. La durée de l'abonnement peut être de un à neuf mois, un an, deux ans, trois ans ou cinq ans. Remarque Ce paramètre est disponible uniquement si vous sélectionnez la méthode de facturation Subscription.

   3. Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start pour démarrer la tâche de suivi des modifications. Vous pouvez consulter la progression de la tâche dans la liste des tâches.

Étapes suivantes

Une fois la tâche en cours d'exécution, créez des groupes de consommateurs et connectez vos clients en aval pour consommer les données suivies.

1. Créer des groupes de consommateurs

2. Connectez un client pour consommer les données suivies :

   • Utiliser la démo SDK pour consommer les données suivies

   • Utiliser flink-dts-connector pour consommer les données suivies

   • Utiliser un client Kafka pour consommer les données suivies