Create a change tracking task for a dedicated cluster - Data Transmission Service

La fonctionnalité de suivi des modifications du service Data Transmission Service (DTS) capture les données incrémentielles en temps réel de vos bases de données pour des cas d'utilisation tels que la mise à jour du cache, le découplage asynchrone des services, la synchronisation de données hétérogènes et les opérations complexes d'extraction, de transformation et de chargement (ETL). La procédure suivante utilise une instance ApsaraDB RDS for MySQL dans un cluster dédié à titre d'exemple.

Prérequis

Un cluster dédié DTS est créé. Pour plus d'informations, consultez la rubrique Créer un cluster dédié DTS.
Une instance source ApsaraDB RDS for MySQL est créée. Pour plus d'informations, consultez la rubrique (Obsolète, redirection vers « Étape 1 ») Créer rapidement une instance ApsaraDB RDS for MySQL.

Limites

Type	Description
Limites de la base de données source	Les tables abonnées doivent posséder une clé primaire ou une contrainte unique, et les champs inclus dans cette contrainte doivent être uniques. À défaut, vous risquez de recevoir des données en double. Si vous vous abonnez aux données au niveau de la table, une seule tâche d'abonnement prend en charge jusqu'à 500 tables. Si vous dépassez cette limite, la tâche échoue avec une erreur après sa soumission. Dans ce cas, nous vous recommandons de répartir les tables sur plusieurs tâches d'abonnement ou de configurer une tâche d'abonnement pour l'ensemble de la base de données. Exigences relatives aux journaux binaires : La journalisation binaire est activée par défaut pour les instances RDS for MySQL. Consultez les paramètres de l'instance afin de vérifier que le paramètre binlog_row_image est défini sur full. Sinon, la prévérification échoue et la tâche d'abonnement aux données ne peut pas démarrer. Conservez les journaux binaires locaux d'une instance RDS for MySQL pendant au moins 3 jours (7 jours recommandés). Conservez les journaux binaires locaux d'une base de données MySQL autogérée pendant au moins 7 jours. À défaut, le service Data Transmission Service (DTS) risque de ne pas pouvoir récupérer les journaux binaires, ce qui entraînerait l'échec de la tâche. Dans les cas extrêmes, cela peut provoquer une incohérence ou une perte de données. Les problèmes causés par une période de rétention insuffisante des journaux binaires ne sont pas couverts par le contrat de niveau de service (SLA) de DTS. Remarque Pour une instance RDS for MySQL, la période de rétention des journaux locaux correspond à la période de rétention de ses journaux binaires. Pour une base de données MySQL autogérée, le paramètre binlog_expire_log_days du fichier de configuration (généralement `my.cnf` ou `my.ini`) spécifie la période de rétention des journaux binaires. Si l'instance source est une instance en lecture seule ou une instance temporaire, assurez-vous qu'elle enregistre les journaux de transaction. Remarque Dans la console RDS, vérifiez si une instance RDS for MySQL est une instance en lecture seule ou une instance temporaire. Dans une base de données MySQL autogérée, exécutez la commande `SHOW VARIABLES LIKE 'read_only';`. Si le résultat est ON, la base de données est une instance en lecture seule.
Autres limites	Vérifiez si la précision d'abonnement pour les colonnes FLOAT ou DOUBLE répond à vos besoins métier. DTS lit les valeurs de ces colonnes à l'aide de la fonction `ROUND(COLUMN,PRECISION)`. Si vous ne définissez pas explicitement une précision, DTS définit la précision des colonnes FLOAT à 38 chiffres et celle des colonnes DOUBLE à 308 chiffres. DTS ne s'abonne pas aux modifications DDL effectuées par des outils tels que pt-online-schema-change. Par conséquent, le client consommateur risque de ne pas pouvoir écrire les données dans la table de destination en raison d'incohérences de schéma. DTS ne prend pas en charge la consommation de lignes de données uniques dépassant 16 Mo. Cela peut provoquer une erreur de mémoire insuffisante (Out of Memory, OOM) sur le client consommateur. En cas d'échec d'une tâche, l'équipe d'assistance DTS tente de la restaurer dans un délai de huit heures. Lors de la restauration, elle peut redémarrer la tâche ou ajuster ses paramètres. Remarque Les ajustements de paramètres modifient uniquement les paramètres de l'instance DTS, et non ceux de la base de données.

Procédure

Accédez à la page Cluster dédié.
À droite de Workbench, sélectionnez la région dans laquelle vous souhaitez créer le cluster dédié.
Localisez le cluster dédié cible et, dans la colonne Actions, choisissez Configure Task > Configure Change Tracking Task.

Configurez la Source Database et le Consumer Network Type.

Avertissement

Après avoir spécifié l'instance de base de données source, lisez les Limits affichées dans la partie supérieure de la page. À défaut, la tâche risque d'échouer ou les données suivies ne pourront pas être consommées.

Section	Parameter	Description
Task Name	N/A	Le nom de la tâche de suivi des modifications. DTS attribue automatiquement un nom à la tâche. Spécifiez un nom descriptif facilitant l'identification de la tâche. Il n'est pas nécessaire d'utiliser un nom de tâche unique.
Source Database	Select Existing Connection	Choisissez d'utiliser ou non une instance existante, selon vos besoins. Si vous utilisez une instance existante, les informations de base de données ci-dessous sont renseignées automatiquement. Vous n'avez pas besoin de les saisir à nouveau. Si vous n'utilisez pas d'instance existante, saisissez les informations de base de données ci-dessous.
	Database Type	Sélectionnez MySQL.
	Access Method	Sélectionnez Alibaba Cloud Instance.
	Instance Region	La région de l'instance source ApsaraDB RDS for MySQL. Cette valeur est définie lors de la création du cluster dédié et ne peut pas être modifiée.
	Replicate Data Across Alibaba Cloud Accounts	Pour cet exemple, sélectionnez No.
	RDS Instance ID	Sélectionnez l'ID de l'instance source ApsaraDB RDS for MySQL.
	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB RDS for MySQL. Vous pouvez utiliser un compte en lecture seule ou un compte personnalisé disposant des autorisations REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW et SELECT.
	Database Password	Le mot de passe utilisé pour accéder à l'instance de base de données.
	Encryption	Indique s'il faut chiffrer la connexion à l'instance de base de données. Sélectionnez Non-encrypted ou SSL-encrypted en fonction de vos besoins. Si vous sélectionnez SSL-encrypted, activez le chiffrement SSL pour l'instance ApsaraDB RDS for MySQL avant de configurer la tâche de suivi des modifications. Pour plus d'informations, consultez la rubrique Configurer la fonctionnalité de chiffrement SSL.
Consumer Network Type	Network Type	Seul le Virtual Private Cloud (VPC) est pris en charge pour le type de réseau du consommateur. Sélectionnez le VPC et le vSwitch requis. Remarque Le type de réseau ne peut pas être modifié après la configuration. Utilisez le même type de réseau pour consommer les données suivies.

Dans la partie inférieure de la page, cliquez sur Test Connectivity and Proceed.

Si l'instance de base de données source est une instance de base de données Alibaba Cloud, telle qu'une instance ApsaraDB RDS for MySQL ou ApsaraDB for MongoDB, DTS ajoute automatiquement les blocs CIDR des serveurs DTS de la région correspondante à la liste d'autorisation de l'instance. Si l'instance de base de données source est une base de données autogérée hébergée sur une instance ECS, DTS ajoute automatiquement les blocs CIDR des serveurs DTS de la région correspondante aux règles du groupe de sécurité de l'instance ECS. Pour permettre à DTS d'accéder à la base de données, ajoutez également manuellement les blocs CIDR des serveurs DTS de la région correspondante aux paramètres de sécurité de la base de données. Si l'instance de base de données source est une base de données autogérée déployée dans un centre de données ou fournie par un fournisseur de services cloud tiers, ajoutez manuellement les blocs CIDR des serveurs DTS de la région correspondante aux paramètres de sécurité de la base de données afin d'autoriser l'accès par DTS. Pour plus d'informations, consultez la section relative aux blocs CIDR des serveurs DTS de la rubrique Ajouter les adresses IP des serveurs DTS à la liste d'autorisation.

Avertissement
Si les blocs CIDR publics des serveurs DTS sont ajoutés automatiquement ou manuellement à la liste d'autorisation d'une instance de base de données ou aux règles du groupe de sécurité d'une instance ECS, des risques de sécurité peuvent survenir. Par conséquent, avant d'utiliser DTS pour suivre les modifications de données, comprenez et acceptez les risques potentiels et prenez des mesures préventives, notamment mais sans s'y limiter : renforcez la sécurité de votre nom d'utilisateur et de votre mot de passe, limitez les ports exposés, authentifiez les appels API, vérifiez régulièrement la liste d'autorisation ou les règles du groupe de sécurité et interdisez les blocs CIDR non autorisés, ou connectez l'instance de base de données à DTS via Express Connect, VPN Gateway ou Smart Access Gateway.

Configurez les objets de la tâche.

Sur la page Configure Objects, spécifiez les objets à suivre.

Parameter	Description
Data Change Types	Les options de Data Change Types sont sélectionnées par défaut et ne peuvent pas être modifiées. Data Update DTS suit les mises à jour de données des objets sélectionnés, y compris les opérations INSERT, DELETE et UPDATE. Schema Update DTS suit les opérations de création, de suppression et de modification effectuées sur tous les schémas d'objets de l'instance source. Utilisez le client de suivi des modifications pour filtrer les données à suivre.
Source Objects	Sélectionnez un ou plusieurs objets dans la section Source Objects et cliquez sur l'icône pour ajouter les objets à la section Selected Objects. Remarque Vous pouvez sélectionner des tables ou des bases de données comme objets pour le suivi des modifications. Si vous sélectionnez une base de données comme objet, DTS suit les données incrémentielles de tous les objets, y compris les nouveaux objets dans la base de données. Si vous sélectionnez une table comme objet, DTS suit uniquement les données incrémentielles de cette table. Dans ce cas, si vous souhaitez suivre les modifications de données d'une autre table, ajoutez la table à la liste des objets. Pour plus d'informations, consultez la rubrique Modifier les objets pour le suivi des modifications.

Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

Parameter	Description
Dedicated Cluster for Task Scheduling	Le cluster dédié actuel est sélectionné par défaut et ne peut pas être modifié.
Retry Time for Failed Connections	La plage de temps de nouvelle tentative pour les échecs de connexion. Si la tâche de suivi des modifications échoue, DTS tente immédiatement une reconnexion dans cette plage de temps. Valeurs valides : 10 à 1440. Unité : minutes. Valeur par défaut : 720. Définissez ce paramètre sur une valeur supérieure à 30. Si DTS se reconnecte à l'instance de base de données source dans la plage de temps spécifiée, DTS reprend la tâche de suivi des modifications. Sinon, la tâche de suivi des modifications échoue. Remarque Si plusieurs tâches de suivi des modifications sont configurées pour une instance de base de données, la plage de temps de nouvelle tentative la plus courte est prioritaire. Par exemple, les tâches A et B sont configurées pour la même instance de base de données. La tâche A est configurée avec une plage de temps de nouvelle tentative de 30 minutes et la tâche B avec une plage de 60 minutes. Dans ce cas, la plage de 30 minutes est prioritaire. Lorsque DTS effectue une nouvelle tentative de connexion, des frais sont facturés. Spécifiez la plage de temps de nouvelle tentative en fonction de vos besoins métier ou libérez l'instance DTS dès que possible après la libération de l'instance de base de données source.
Retry Time for Other Issues	La plage de temps de nouvelle tentative pour les autres problèmes. Par exemple, si des opérations DDL ou DML échouent après le démarrage de la tâche de suivi des modifications, DTS retente immédiatement les opérations dans la plage de temps de nouvelle tentative. Valeurs valides : 1 à 1440. Unité : minutes. Valeur par défaut : 10. Définissez ce paramètre sur une valeur supérieure à 10. Si les opérations ayant échoué sont exécutées avec succès dans la plage de temps de nouvelle tentative spécifiée, DTS reprend la tâche de suivi des modifications. Sinon, la tâche de suivi des modifications échoue. Important La valeur du paramètre Retry Time for Other Issues doit être inférieure à la valeur du paramètre Retry Time for Failed Connections.
Environment Tag	Facultatif. Sélectionnez un tag d'environnement pour identifier l'instance.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si les informations SQL de pulsation doivent être écrites dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : Les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS. No : Écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
Monitoring and Alerting	Indique s'il faut activer les alertes pour la tâche de suivi des modifications. Si les alertes sont configurées et que la tâche échoue ou que la latence dépasse le seuil, des notifications d'alerte sont envoyées. Valeurs valides : No : n'active pas les alertes. Yes : active les alertes. Dans ce cas, configurez également le seuil d'alerte et les paramètres de notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer les alertes lors de la configuration de l'instance.

Cliquez sur Next: Save Task Settings and Precheck dans la partie inférieure de la page.
Placez le pointeur sur Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters pour afficher les paramètres de l'opération API appelée pour configurer l'instance.
Remarque
- Avant de pouvoir démarrer la tâche de suivi des modifications, DTS effectue une prévérification. Démarrez la tâche de suivi des modifications uniquement après réussite de la prévérification.
- Si la tâche échoue à la prévérification, cliquez sur View Details à côté de chaque élément ayant échoué. Après avoir résolu les problèmes en vous basant sur le message d'erreur, relancez une prévérification.
- Si une alerte est générée pour un élément lors de la prévérification, effectuez les opérations suivantes selon le scénario :
  
  Si un élément d'alerte ne peut pas être ignoré, cliquez sur View Details à côté de l'élément ayant échoué et résolvez les problèmes. Ensuite, relancez une prévérification.
  
  Si l'élément d'alerte peut être ignoré, cliquez sur Confirm Alert Details. Dans la boîte de dialogue View Details, cliquez sur Ignore. Dans le message qui s'affiche, cliquez sur OK. Ensuite, cliquez sur Precheck Again pour relancer une prévérification. Si vous ignorez l'élément d'alerte, une incohérence des données peut survenir et votre activité peut être exposée à des risques potentiels.
Lorsque le Success Rate de la prévérification atteint 100 %, cliquez sur Next: Select DTS Instance Type.
Dans la section New Instance Class, configurez la Instance Class pour la tâche. Configurez un minimum de 1 DU et un maximum correspondant aux DU disponibles restants.
Une fois la configuration terminée, lisez et cochez la case Data Transmission Service (Pay-as-you-go) Service Terms.
Cliquez sur Start Task. La tâche de suivi des modifications démarre.

Filtrez la tâche cible dans la Cluster Task List pour consulter sa progression.

Étapes suivantes

Une fois la tâche d'abonnement en cours d'exécution, créez un groupe de consommateurs et choisissez une méthode de consommation de données pour votre client.