Data Transmission Service:Créer une tâche de suivi des modifications RDS PostgreSQL

Prérequis

• Créez une instance source RDS PostgreSQL. Pour plus d'informations, consultez la page Créer une instance RDS PostgreSQL.

  Remarque

  Pour connaître les versions prises en charge, consultez la section Présentation des solutions de suivi des modifications.

• Le paramètre wal_level de l'instance source RDS PostgreSQL doit être défini sur logical. Pour plus d'informations, consultez la page Définir les paramètres de l'instance.

• Vous avez créé un Virtual Private Cloud (VPC) et un vSwitch pour l'instance d'abonnement aux données.

Considérations

Procédure

1. Utilisez l'une des méthodes suivantes pour accéder à la page Tâches de suivi des modifications et sélectionnez la région dans laquelle se trouve l'instance de suivi des modifications.

   Console DTS

   1. Connectez-vous à la console DTS.

   2. Dans le volet de navigation de gauche, cliquez sur Suivi des modifications.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région dans laquelle se trouve l'instance de suivi des modifications.

   Console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les pages Console en mode simple et Personnaliser la disposition et le style de la console DMS.

   1. Connectez-vous à la console DMS.

   2. Dans la barre de navigation supérieure, placez le pointeur sur Data + AI > DTS (DTS) > Change Tracking.

   3. Dans la liste déroulante située à droite de Change Tracking Tasks, sélectionnez la région dans laquelle se trouve l'instance de suivi des modifications.

2. Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les paramètres dans les sections Base de données source et Type de réseau du consommateur.

   Avertissement

   Après avoir spécifié l'instance de base de données source, nous vous recommandons de lire les Limits affichées dans la partie supérieure de la page. Sinon, la tâche peut échouer ou les données suivies ne pourront pas être consommées.

   Catégorie	Paramètre	Description
   S.O.	Task Name	Le nom de la tâche de suivi des modifications. DTS attribue automatiquement un nom à la tâche. Nous vous recommandons de spécifier un nom descriptif facilitant l'identification de la tâche. Il n'est pas nécessaire d'utiliser un nom de tâche unique.
   Source Database	Select Existing Connection	Si vous devez utiliser une instance de base de données déjà Gérer les connexions à la base de données (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de la base de données ci-dessous sont configurées automatiquement. Remarque Dans la console DMS, ce paramètre est intitulé Select a DMS database instance. Si l'instance n'est pas enregistrée ou si vous préférez ne pas utiliser une instance enregistrée, configurez manuellement les informations de la base de données ci-dessous.
   	Database Type	Sélectionnez PostgreSQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où se trouve l'instance RDS PostgreSQL.
   	Replicate Data Across Alibaba Cloud Accounts	Pour ce tutoriel, sélectionnez No. Important Si vous devez accéder aux ressources de la base de données source entre différents comptes (en sélectionnant Yes), vous devez configurer l'autorisation RAM pour le compte Alibaba Cloud utilisé pour créer la tâche DTS. Vous devez également saisir le Alibaba Cloud Account et le RAM Role Name. Pour obtenir des instructions, consultez la page Configurer l'autorisation RAM pour les tâches intercomptes.
   	Instance ID	Sélectionnez l'ID de l'instance RDS PostgreSQL.
   	Database Name	Saisissez le nom de la base de données dont vous souhaitez suivre les modifications de données.
   	Database Account	Saisissez un compte privilégié pour l'instance RDS PostgreSQL. Le compte doit être le propriétaire de la base de données sélectionnée. Pour plus d'informations sur la création d'un compte et l'attribution d'autorisations, consultez les pages Créer un compte et Créer une base de données.
   	Database Password	Le mot de passe utilisé pour accéder à l'instance de base de données.
   	Encryption	Indique s'il faut chiffrer la connexion à la base de données source. Vous pouvez configurer ce paramètre en fonction de vos besoins métier. Dans cet exemple, l'option Non-encrypted est sélectionnée. Si vous souhaitez établir une connexion chiffrée SSL à la base de données source, procédez comme suit : sélectionnez SSL-encrypted, téléchargez le CA Certificate, le Client Certificate et la Private Key of Client Certificate selon vos besoins, puis spécifiez le Private Key Password of Client Certificate. Remarque Si vous définissez le paramètre Chiffrement sur SSL-encrypted pour une base de données PostgreSQL gérée par l'utilisateur, vous devez télécharger le CA Certificate. Si vous souhaitez utiliser le certificat client, vous devez télécharger le Client Certificate et la Private Key of Client Certificate et spécifier le Private Key Password of Client Certificate. Pour savoir comment configurer le chiffrement SSL pour une instance ApsaraDB RDS for PostgreSQL, consultez la page Chiffrement SSL.
   Consumer Network Type	Network Type	La valeur du paramètre Network Type est fixée à VPC. Vous devez sélectionner un VPC et un vSwitch. Pour plus d'informations, consultez la page VPC. Remarque Une fois la tâche de suivi des modifications configurée, vous ne pouvez pas modifier les paramètres de la section Consumer Network Type. Si votre client de suivi des modifications est déployé dans un VPC, nous vous recommandons de sélectionner le même VPC et le même vSwitch que ceux connectés au client. Si vous suivez les modifications de données via des réseaux internes, la latence du réseau est minimale.

4. Dans la partie inférieure de la page, cliquez sur Test Connectivity and Proceed.

   Remarque

   • Assurez-vous que les plages CIDR des serveurs DTS peuvent être ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la page Ajouter les adresses IP des serveurs DTS à la liste d'autorisation.

   • Si la base de données source est une base de données gérée par l'utilisateur et que sa Access Method n'est pas définie sur Alibaba Cloud Instance, cliquez sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets pour le suivi des modifications.

   1. Sur la page Configure Objects, configurez les objets pour le suivi des modifications.

      Paramètre	Description
      Data Change Types	Les Data Change Types sont sélectionnés par défaut et ne peuvent pas être modifiés. Data Update DTS suit les mises à jour des données des objets sélectionnés, y compris les opérations INSERT, DELETE et UPDATE. Schema Update DTS suit les opérations de création, de suppression et de modification effectuées sur tous les schémas d'objets de l'instance source. Vous devez utiliser le client de suivi des modifications pour filtrer les données à suivre. Remarque Si vous souhaitez suivre les opérations de Schema Update, vous pouvez créer des déclencheurs et des fonctions dans la base de données source pour capturer les informations DDL. Pour plus d'informations, consultez la page Mettre en œuvre la migration DDL incrémentielle pour PostgreSQL à l'aide de déclencheurs et de fonctions.
      Source Objects	Sélectionnez un ou plusieurs objets dans la section Source Objects et cliquez sur l'icône pour ajouter les objets à la section Selected Objects. Remarque Vous pouvez sélectionner des tables ou des bases de données comme objets pour le suivi des modifications. Si vous sélectionnez une base de données comme objet, DTS suit les données incrémentielles de tous les objets, y compris les nouveaux objets de la base de données. Si vous sélectionnez une table comme objet, DTS ne suit que les données incrémentielles de cette table. Dans ce cas, si vous souhaitez suivre les modifications de données d'une autre table, vous devez ajouter la table à la liste des objets. Pour plus d'informations, consultez la page Modifier les objets pour le suivi des modifications.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie la tâche sur un cluster partagé. Vous n'avez pas besoin de configurer ce paramètre. Vous pouvez acheter des clusters dédiés avec des spécifications spécifiques pour exécuter des tâches de suivi des modifications DTS. Pour plus d'informations, consultez la page Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	La plage de temps de nouvelle tentative en cas d'échec de connexion. Si la tâche de suivi des modifications échoue, DTS tente immédiatement de se reconnecter dans cette plage de temps. Valeurs valides : 10 à 1440. Unité : minutes. Valeur par défaut : 720. Nous vous recommandons de définir ce paramètre sur une valeur supérieure à 30. Si DTS se reconnecte à l'instance de base de données source dans la plage de temps spécifiée, DTS reprend la tâche de suivi des modifications. Sinon, la tâche de suivi des modifications échoue. Remarque Si plusieurs tâches de suivi des modifications sont configurées pour une instance de base de données, la plage de temps de nouvelle tentative la plus courte est prioritaire. Par exemple, les tâches A et B sont configurées pour la même instance de base de données. La tâche A est configurée avec une plage de temps de nouvelle tentative de 30 minutes et la tâche B avec une plage de 60 minutes. Dans ce cas, la plage de 30 minutes est prioritaire. Lorsque DTS tente une reconnexion, des frais sont facturés. Nous vous recommandons de spécifier la plage de temps de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération de l'instance de base de données source.
      Retry Time for Other Issues	La plage de temps de nouvelle tentative pour les autres problèmes. Par exemple, si les opérations DDL ou DML échouent après le démarrage de la tâche de suivi des modifications, DTS tente immédiatement de les réexécuter dans la plage de temps de nouvelle tentative. Valeurs valides : 1 à 1440. Unité : minutes. Valeur par défaut : 10. Nous vous recommandons de définir ce paramètre sur une valeur supérieure à 10. Si les opérations ayant échoué sont exécutées avec succès dans la plage de temps de nouvelle tentative spécifiée, DTS reprend la tâche de suivi des modifications. Sinon, la tâche de suivi des modifications échoue. Important La valeur du paramètre Retry Time for Other Issues doit être inférieure à la valeur du paramètre Retry Time for Failed Connections.
      Environment Tag	Vous pouvez sélectionner un tag pour identifier l'environnement de l'instance en fonction de vos besoins métier. Aucun tag n'est sélectionné dans cet exemple.
      Monitoring and Alerting	Indique s'il faut activer les alertes pour la tâche de suivi des modifications. Si les alertes sont configurées et que la tâche échoue ou que la latence dépasse le seuil, des notifications d'alerte sont envoyées. Valeurs valides : No : n'active pas les alertes. Yes : active les alertes. Dans ce cas, vous devez également configurer le seuil d'alerte et les paramètres de notification d'alerte. Pour plus d'informations, consultez la page Configurer les alertes lors de la configuration de l'instance.

6. Dans la partie inférieure de la page, cliquez sur Suivant : Enregistrer les paramètres de la tâche et effectuer la prévérification.

   • Pour afficher les paramètres à spécifier lors de l'appel de l'opération API pertinente pour configurer la tâche DTS, placez le pointeur sur Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters.

   • Si vous n'avez pas besoin d'afficher les paramètres ou si vous les avez déjà consultés, cliquez sur Next: Save Task Settings and Precheck dans la partie inférieure de la page.

   Remarque

   • Avant de pouvoir démarrer la tâche de suivi des modifications, DTS effectue une prévérification. Vous ne pouvez démarrer la tâche de suivi des modifications qu'après sa réussite à la prévérification.

   • Si la tâche échoue à la prévérification, cliquez sur View Details à côté de chaque élément ayant échoué. Après avoir résolu les problèmes en vous basant sur le message d'erreur, vous pouvez relancer une prévérification.

   • Si une alerte est générée pour un élément lors de la prévérification, effectuez les opérations suivantes en fonction du scénario :

     • Si un élément d'alerte ne peut pas être ignoré, cliquez sur View Details à côté de l'élément ayant échoué et résolvez les problèmes. Ensuite, relancez une prévérification.

     • Si l'élément d'alerte peut être ignoré, cliquez sur Confirm Alert Details. Dans la boîte de dialogue Afficher les détails, cliquez sur Ignore. Dans le message qui s'affiche, cliquez sur OK. Ensuite, cliquez sur Precheck Again pour relancer une prévérification. Si vous ignorez l'élément d'alerte, une incohérence des données peut se produire et votre activité peut être exposée à des risques potentiels.

7. Achetez l'instance.

   1. Attendez que le Success Rate atteigne 100%. Ensuite, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, spécifiez la méthode de facturation de l'instance de suivi des modifications. Le tableau suivant décrit les paramètres.

      Paramètre	Description
      Méthode de facturation	Abonnement : vous payez votre abonnement lors de la création d'une instance. La méthode de facturation par abonnement est plus économique que la méthode de paiement à l'utilisation pour une utilisation à long terme. Des prix plus bas vous sont proposés pour des durées d'abonnement plus longues. Paiement à l'utilisation : une instance en paiement à l'utilisation est facturée à l'heure. Nous vous recommandons de sélectionner la méthode de paiement à l'utilisation pour une utilisation à court terme. Si vous n'avez plus besoin d'une instance en paiement à l'utilisation, vous pouvez la libérer pour réduire les coûts.
      Resource Group Settings	Le groupe de ressources auquel appartient l'instance. Valeur par défaut : default resource group. Pour plus d'informations, consultez la page Qu'est-ce que la gestion des ressources ?
      Subscription Duration	Si vous sélectionnez la méthode de facturation par abonnement, définissez la durée de l'abonnement et le nombre d'instances que vous souhaitez créer. La durée de l'abonnement peut être de un à neuf mois, un an, deux ans, trois ans ou cinq ans. Remarque Ce paramètre est disponible uniquement si vous sélectionnez la méthode de facturation Subscription.

   3. Lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start pour démarrer la tâche de suivi des modifications. Vous pouvez consulter la progression de la tâche dans la liste des tâches.

Étapes suivantes

Une fois la tâche en cours d'exécution, créez des groupes de consommateurs et connectez vos clients en aval pour consommer les données suivies.

1. Créer des groupes de consommateurs

2. Connectez un client pour consommer les données suivies :

   • Utiliser la démo SDK pour consommer les données suivies

   • Utiliser flink-dts-connector pour consommer les données suivies

   • Utiliser un client Kafka pour consommer les données suivies