How to create a PolarDB-X 1.0 Change Tracking task - Data Transmission Service

Vous pouvez créer une tâche de suivi des modifications pour capturer les changements de données en temps réel d'une instance PolarDB-X 1,0 afin de les consommer dans les systèmes en aval.

Prérequis

Vous avez créé une instance PolarDB-X 1,0. Si ce n'est pas le cas, consultez les rubriques Créer une instance PolarDB-X 1,0 et Créer une base de données.

Remarque
Le type de stockage d'une instance PolarDB-X 1,0 doit être ApsaraDB RDS for MySQL (y compris les instances ApsaraDB RDS for MySQL personnalisées et les instances ApsaraDB RDS for MySQL achetées séparément). PolarDB for MySQL n'est pas pris en charge.
Vous avez créé un Virtual Private Cloud (VPC) et un vSwitch pour l'instance d'abonnement aux données.

Instructions

Limites

Type

Description

Limites liées à la base de données source

Les tables que vous souhaitez suivre doivent disposer d'une clé primaire ou d'une contrainte d'unicité portant sur des champs uniques. À défaut, DTS risque de suivre des données en double. Les tables comportant uniquement une contrainte d'unicité ne prennent pas en charge le suivi des mises à jour de schéma. Nous vous recommandons d'utiliser une clé primaire.
Si vous souscrivez aux données au niveau de la table, une seule tâche d'abonnement prend en charge jusqu'à 500 tables. Si vous dépassez cette limite, la tâche échoue avec une erreur après sa soumission. Dans ce cas, nous vous recommandons de répartir les tables sur plusieurs tâches d'abonnement ou de configurer une tâche d'abonnement pour l'ensemble de la base de données.
Paramètres du journal binaire pour les instances ApsaraDB RDS for MySQL associées à une instance PolarDB-X 1,0 :
- La journalisation binaire doit être activée et le paramètre binlog_row_image doit être défini sur full. Sinon, la prévérification signale une erreur et vous ne pouvez pas démarrer la tâche de suivi des modifications.
- DTS exige que la base de données source conserve les journaux binaires locaux pendant plus de 24 heures. À défaut, DTS pourrait ne pas parvenir à récupérer les journaux binaires, ce qui entraînerait l'échec de la tâche. Dans des cas extrêmes, cela peut provoquer une incohérence ou une perte de données. Les problèmes causés par une rétention insuffisante des journaux ne sont pas couverts par l'accord de niveau de service (SLA) de DTS.
Si l'instance source est une instance en lecture seule ou une instance temporaire, vous devez vous assurer que l'instance dispose de journaux enregistrant les transactions.
L'instance source PolarDB-X 1,0 doit être en version 5.2 ou ultérieure.

Autres limites

DTS s'appuie sur la continuité des transactions XA dans l'instance PolarDB-X 1,0 source pour suivre les modifications de données. Si la continuité des transactions XA est interrompue (par exemple, lorsque vous modifiez les objets suivis ou lors du basculement du module de capture incrémentielle des données), les transactions XA non validées peuvent être perdues.
Une tâche de suivi des modifications pour une instance PolarDB-X 1,0 est une tâche distribuée. Chaque instance ApsaraDB RDS for MySQL attachée correspond à une sous-tâche. Vous pouvez consulter l'état de chaque sous-tâche sur la page Task Topology.
PolarDB-X 1,0 prend en charge le sharding de bases de données et de tables. Une opération DDL sur l'instance PolarDB-X 1,0 source est exécutée sur tous les shards de table. Étant donné que la progression des sous-tâches peut ne pas être synchronisée, les données suivies peuvent contenir des opérations DDL dupliquées. Si votre client consommateur traite ces opérations DDL plusieurs fois, des anomalies de données peuvent survenir. Gérez cette situation en fonction de vos exigences métier.
Limites concernant les objets pour le suivi des modifications :
- Le suivi des modifications au niveau de la base de données n'est pas pris en charge. Vous pouvez uniquement suivre les modifications au niveau de la table.
- Après avoir configuré une tâche de suivi des modifications, vous ne pouvez pas modifier les objets suivis. Pour ajouter davantage de tables, vous devez créer une nouvelle tâche.
Si un basculement primaire/secondaire se produit sur la base de données source, la tâche de suivi des modifications échoue.
Pendant le suivi des modifications, n'effectuez pas de mise à l'échelle horizontale (scale out/in), ne migrez pas de tables à fort trafic, ne modifiez pas les clés de sharding et n'exécutez pas d'opérations DDL sur l'instance source. Sinon, la tâche risque d'échouer ou des incohérences de données peuvent survenir.
Si une autre tâche (telle qu'une tâche de migration de données) utilise également la base de données source, vous risquez de suivre des données provenant d'objets que vous n'avez pas sélectionnés. Dans ce cas, filtrez manuellement les données indésirables dans votre client consommateur.
Si une ligne suivie unique dépasse 16 Mo, votre client consommateur ne peut pas la consommer. Dans le cas contraire, une erreur d'épuisement de la mémoire (OOM) peut survenir dans le client consommateur.
Vérifiez si la précision de l'abonnement pour les colonnes FLOAT ou DOUBLE répond à vos exigences métier. DTS lit les valeurs de ces colonnes en utilisant la fonction ROUND(COLUMN,PRECISION). Si vous ne définissez pas explicitement une précision, DTS définit la précision des colonnes FLOAT à 38 chiffres et celle des colonnes DOUBLE à 308 chiffres.
DTS ne s'abonne pas aux modifications DDL effectuées par des outils tels que pt-online-schema-change. Par conséquent, le client consommateur peut échouer à écrire des données dans la table de destination en raison d'incohérences de schéma.
En cas d'échec d'une tâche, l'équipe de support DTS tentera de la restaurer dans un délai de huit heures. Pendant la restauration, elle peut redémarrer la tâche ou ajuster ses paramètres.
Remarque
Les ajustements de paramètres modifient uniquement les paramètres de l'instance DTS, et non les paramètres de la base de données.

Procédure

Utilisez l'une des méthodes suivantes pour accéder à la page Tâches de suivi des modifications et sélectionnez la région dans laquelle réside l'instance de suivi des modifications.

Console DTS

Connectez-vous à la console DTS.
Dans le volet de navigation de gauche, cliquez sur Suivi des modifications.
Dans le coin supérieur gauche de la page, sélectionnez la région dans laquelle réside l'instance de suivi des modifications.

Console DMS

Remarque

Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Console en mode simple et Personnaliser la disposition et le style de la console DMS.

Connectez-vous à la console DMS.
Dans la barre de navigation supérieure, placez le pointeur sur Data + AI > DTS (DTS) > Change Tracking.
Dans la liste déroulante située à droite de Change Tracking Tasks, sélectionnez la région dans laquelle réside l'instance de suivi des modifications.

Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

Configurez les paramètres dans les sections Base de données source et Type de réseau du consommateur.

Avertissement

Après avoir spécifié l'instance de base de données source, nous vous recommandons de lire les Limits affichées dans la partie supérieure de la page. Dans le cas contraire, la tâche peut échouer ou les données suivies ne pourront pas être consommées.

Section	Parameter	Description
N/A	Task Name	Le nom de la tâche de suivi des modifications. DTS attribue automatiquement un nom à la tâche. Nous vous recommandons de spécifier un nom descriptif qui facilite l'identification de la tâche. Il n'est pas nécessaire d'utiliser un nom de tâche unique.
Source Database	Select Existing Connection	Si vous souhaitez utiliser une instance de base de données déjà gérée (nouvellement créée ou enregistrée), sélectionnez-la dans la liste déroulante. Le système configure automatiquement les informations de la base de données ci-dessous. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance. Si votre instance ne figure pas dans la liste ou si vous ne souhaitez pas utiliser une connexion enregistrée, vous devez saisir manuellement les informations de base de données suivantes.
	Database Type	Sélectionnez PolarDB-X 1.0.
	Access Method	Ce paramètre est fixé sur Alibaba Cloud Instance.

Instance Region	Sélectionnez la région où se trouve l'instance PolarDB-X 1,0.
Replicate Data Across Alibaba Cloud Accounts	Pour ce tutoriel, sélectionnez No. Important Si vous devez accéder aux ressources de la base de données source entre différents comptes (en sélectionnant Yes), vous devez configurer l'autorisation RAM pour le compte Alibaba Cloud utilisé afin de créer la tâche DTS. Vous devez également saisir les champs Alibaba Cloud Account et RAM Role Name. Pour plus d'instructions, consultez la rubrique Configurer l'autorisation RAM pour les tâches intercomptes.
Instance ID	Sélectionnez l'ID de l'instance PolarDB-X 1,0.
Database Account	Saisissez le compte de base de données pour l'instance PolarDB-X 1,0. Le compte doit disposer des autorisations de lecture sur les objets que vous souhaitez suivre.
Database Password	Le mot de passe utilisé pour accéder à l'instance de base de données.

Consumer Network Type

Network Type

La valeur du paramètre Network Type est définie sur VPC. Vous devez sélectionner un VPC et un vSwitch. Pour plus d'informations, consultez la rubrique VPCs.

Remarque

Une fois la tâche de suivi des modifications configurée, vous ne pouvez pas modifier les paramètres de la section Consumer Network Type.
Si votre client de suivi des modifications est déployé dans un VPC, nous vous recommandons de sélectionner le même VPC et le même vSwitch que ceux connectés au client.
Le suivi des modifications de données via les réseaux internes permet de minimiser la latence réseau.

Dans la partie inférieure de la page, cliquez sur Test Connectivity and Proceed.

Remarque

Assurez-vous que les plages CIDR des serveurs DTS peuvent être ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination afin d'autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à la liste blanche.

Configurez les objets pour le suivi des modifications.

Sur la page Configure Objects, configurez les objets pour le suivi des modifications.

Parameter	Description
Data Change Types	Les options Data Change Types sont sélectionnées par défaut et ne peuvent pas être modifiées. Data Update DTS suit les mises à jour des données des objets sélectionnés, y compris les opérations INSERT, DELETE et UPDATE. Schema Update DTS suit les opérations de création, de suppression et de modification effectuées sur tous les schémas d'objets de l'instance source. Vous devez utiliser le client de suivi des modifications pour filtrer les données à suivre.
Source Objects	Dans la liste Source Objects, sélectionnez les objets que vous souhaitez suivre, puis cliquez sur l'icône pour les déplacer vers la liste Selected Objects. Remarque Le suivi des modifications au niveau de la base de données n'est pas pris en charge. Vous pouvez uniquement suivre les modifications au niveau des tables. Une fois la tâche de suivi des modifications configurée, vous ne pouvez pas modifier les objets suivis. Pour ajouter d'autres tables, vous devez créer une nouvelle tâche.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Paramètre	Description
Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie la tâche sur un cluster partagé. Vous n'avez pas besoin de configurer ce paramètre. Vous pouvez acheter des clusters dédiés avec des spécifications définies pour exécuter les tâches de suivi des modifications DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
Retry Time for Failed Connections	Plage de temps de nouvelle tentative en cas d'échec de connexion. Si la tâche de suivi des modifications échoue, DTS tente immédiatement de rétablir la connexion dans cette plage de temps. Valeurs valides : 10 à 1440. Unité : minutes. Valeur par défaut : 720. Nous vous recommandons de définir ce paramètre sur une valeur supérieure à 30. Si DTS se reconnecte à l'instance de base de données source dans la plage de temps spécifiée, il reprend la tâche de suivi des modifications. Dans le cas contraire, la tâche échoue. Remarque Si plusieurs tâches de suivi des modifications sont configurées pour une instance de base de données, la plage de temps de nouvelle tentative la plus courte est prioritaire. Par exemple, les tâches A et B sont configurées pour la même instance de base de données. La tâche A est configurée avec une plage de 30 minutes et la tâche B avec une plage de 60 minutes. Dans ce cas, la plage de 30 minutes s'applique. Des frais sont facturés lorsque DTS tente de rétablir une connexion. Nous vous recommandons de spécifier la plage de temps de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération de l'instance de base de données source.
Retry Time for Other Issues	Plage de temps de nouvelle tentative pour les autres problèmes. Par exemple, si des opérations DDL ou DML échouent après le démarrage de la tâche de suivi des modifications, DTS tente immédiatement de les réexécuter dans cette plage de temps. Valeurs valides : 1 à 1440. Unité : minutes. Valeur par défaut : 10. Nous vous recommandons de définir ce paramètre sur une valeur supérieure à 10. Si les opérations ayant échoué sont exécutées avec succès dans la plage de temps spécifiée, DTS reprend la tâche de suivi des modifications. Dans le cas contraire, la tâche échoue. Important La valeur du paramètre Retry Time for Other Issues doit être inférieure à celle du paramètre Retry Time for Failed Connections.
Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance selon vos besoins métier. Cette étape n'est pas requise dans cet exemple.

Monitoring and Alerting

Indique s'il faut activer les alertes pour la tâche de suivi des modifications. Si les alertes sont configurées et que la tâche échoue ou que la latence dépasse le seuil défini, des notifications d'alerte sont envoyées. Valeurs possibles :

No : n'active pas les alertes.
Yes : active les alertes. Dans ce cas, vous devez également configurer le seuil d'alerte et les paramètres de notification d'alerte. Pour plus d'informations, consultez Configurer les alertes lors de la configuration de l'instance.

Dans la partie inférieure de la page, cliquez sur Next: Save Task Settings and Precheck.

Pour afficher les paramètres à spécifier lors de l'appel de l'opération API pertinente afin de configurer la tâche DTS, placez le pointeur sur Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters.
Si vous n'avez pas besoin d'afficher les paramètres ou si vous les avez déjà consultés, cliquez sur Next: Save Task Settings and Precheck dans la partie inférieure de la page.

Remarque

Avant de pouvoir démarrer la tâche de suivi des modifications, DTS effectue une vérification préalable. Vous ne pouvez démarrer la tâche qu'une fois celle-ci validée par la vérification.
Si la tâche échoue à la vérification préalable, cliquez sur View Details à côté de chaque élément ayant échoué. Après avoir résolu les problèmes en vous basant sur le message d'erreur, relancez une vérification préalable.
Si une alerte est générée pour un élément pendant la vérification préalable, effectuez les opérations suivantes selon le scénario :
- Si un élément d'alerte ne peut pas être ignoré, cliquez sur View Details à côté de l'élément ayant échoué et résolvez les problèmes. Ensuite, relancez une vérification préalable.
- Si l'élément d'alerte peut être ignoré, cliquez sur Confirm Alert Details. Dans la boîte de dialogue View Details, cliquez sur Ignore. Dans le message qui s'affiche, cliquez sur OK. Ensuite, cliquez sur Precheck Again pour relancer une vérification préalable. Si vous ignorez l'élément d'alerte, des incohérences de données peuvent survenir et votre activité peut être exposée à des risques potentiels.

Achetez l'instance.

Attendez que le Success Rate atteigne 100%. Ensuite, cliquez sur Next: Purchase Instance.

Sur la page Purchase, spécifiez la méthode de facturation de l'instance de suivi des modifications. Le tableau suivant décrit les paramètres.

Paramètre	Description
Mode de facturation	Abonnement : vous réglez les frais lors de la création de l'instance. Ce mode s'avère plus économique que le paiement à l'utilisation pour un usage prolongé, car des tarifs dégressifs sont appliqués selon la durée choisie. Paiement à l'utilisation : la facturation s'effectue à l'heure. Privilégiez cette option pour des besoins ponctuels. Vous pouvez libérer l'instance dès qu'elle devient inutile afin d'optimiser vos coûts.
Resource Group Settings	Groupe de ressources auquel l'instance est rattachée. Valeur par défaut : default resource group. Pour en savoir plus, consultez Qu'est-ce que la gestion des ressources ?
Subscription Duration	Si vous optez pour le mode Abonnement, indiquez la durée souhaitée ainsi que le nombre d'instances à créer. Les durées disponibles vont de 1 à 9 mois, ou 1, 2, 3 et 5 ans. Remarque Ce paramètre n'apparaît que lorsque vous sélectionnez le mode de facturation Subscription.

Lisez et sélectionnez les Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Buy and Start pour lancer la tâche de suivi des modifications. Vous pourrez suivre son avancement dans la liste des tâches.

Étapes suivantes

Une fois la tâche de suivi des modifications en cours d'exécution, créez des groupes de consommateurs et sélectionnez une méthode de consommation adaptée à votre client aval.

Pour savoir comment créer et gérer des groupes de consommateurs, consultez la rubrique Créer des groupes de consommateurs.
Choisissez une méthode pour consommer les données suivies en fonction du type de votre client :