Data Transmission Service:Configurer une tâche de vérification des données

Remarques sur l'utilisation

• La vérification incrémentielle des données n'est pas prise en charge pour les instances de base de données déployées sur un réseau classique.

• La vérification des données n'est pas disponible pour les instances DTS où la fonctionnalité de fusion de plusieurs tables est activée.

• Les instances dont le Status est Completed ne permettent pas la vérification des données.

• Si une table à vérifier ne possède ni clé primaire ni index unique et contient plus de 10 000 lignes, DTS n'effectue aucune vérification sur cette table.

• En l'absence de contrainte PRIMARY KEY ou UNIQUE sur les données à vérifier, DTS n'effectue pas de vérification incrémentielle des données.

• Le redémarrage d'une instance de synchronisation ou de migration (par exemple, après une pause) entraîne également le redémarrage de la tâche de vérification complète associée.

• DTS n'effectue aucune vérification des données sur une table de destination vide.

• Avant de lancer une tâche de vérification, évaluez les performances des bases de données source et de destination. Nous vous recommandons d'exécuter la vérification pendant les heures creuses, par exemple lorsque la charge CPU des bases de données source et de destination est inférieure à 30 %. Pendant la vérification, DTS consomme des ressources de lecture sur ces bases, ce qui peut augmenter leur charge. Si les performances sont faibles, les spécifications limitées ou le volume d'activité élevé, la charge risque d'augmenter significativement, voire de rendre les services de base de données indisponibles.

• Lorsque vous configurez une tâche de vérification au sein d'une instance de synchronisation ou de migration, les valeurs valides pour Data Verification Mode dépendent de votre sélection dans Synchronization Types ou Migration Types.

  Par exemple, si vous sélectionnez uniquement Incremental Data Migration pour Migration Types, seule la valeur Incremental Data Verification sera disponible pour Data Verification Mode.

• Une tâche de vérification incrémentielle valide uniquement les données modifiées durant une synchronisation ou une migration incrémentielle. Elle ne vérifie pas les modifications manuelles apportées directement dans la base de données de destination.

• La vérification incrémentielle n'est pas prise en charge pour les tâches configurées via la page Data Verification.

• Lors de la vérification d'un faible volume de données avec la méthode Full field validation by row sampling, le pourcentage d'échantillonnage défini n'est pas appliqué. La valeur par défaut est 100 %.

• Pour une instance MongoDB, si vous choisissez Full field validation by row sampling lors de la configuration, le taux d'échantillonnage est fixé à 100 %.

• Si vous optez pour Full field validation by row sampling dans le cadre d'une Full Data Verification, évitez d'utiliser la fonctionnalité ETL (Extract, Transform, Load). Dans le cas contraire, les données transformées par ETL seront signalées comme incohérentes.

• Les vues matérialisées ne sont pas compatibles avec la vérification des données.

• Pendant une vérification complète, si une table contient plus de 100 000 lignes de données incohérentes, DTS interrompt la vérification de cette table. Réduisez le volume de données incohérentes avant de relancer la vérification.

• La présence de colonnes masquées dans un objet à vérifier peut fausser les résultats de la vérification du schéma.

Régions prises en charge

Pour consulter la liste complète des régions prises en charge, reportez-vous à la liste des régions prises en charge.

Liens de base de données pris en charge

Configurer une tâche de vérification des données depuis la page Data Verification

1. Accédez à la page listant les tâches de vérification. Trois méthodes s'offrent à vous.

   Use the DTS console (quick start)

   1. Rendez-vous sur la page des tâches de vérification DTS.

   2. Facultatif : Dans le coin supérieur gauche de la page, sélectionnez la région où réside l'instance de vérification.

   Use the DTS console (standard)

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Verification.

   3. Facultatif : Dans le coin supérieur gauche de la page, sélectionnez la région où réside l'instance de vérification.

   Use the DMS console

   Remarque

   Les étapes exactes peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez Console en mode simplifié et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à DMS Data Management Service.

   2. Dans la barre de menu supérieure, sélectionnez Data + AI > Data Transmission Service (DTS) > Data Verification.

   3. Facultatif : À droite de Verification Task, sélectionnez la région où se trouve l'instance de vérification.

2. Accédez à la page de configuration d'une tâche de vérification des données selon l'une des méthodes suivantes :

   • Si vous avez déjà acheté une tâche de vérification des données, cliquez sur Configure Task dans la colonne Actions de la tâche concernée.

     Pour plus d'informations sur l'achat d'une instance de vérification des données, reportez-vous à Acheter une tâche de vérification des données.

   • Si aucune tâche de vérification n'a été achetée, cliquez sur Create Task.

3. Configurez les bases de données source et de destination. Pour plus d'informations, consultez Vue d'ensemble des solutions de synchronisation des données ou Scénarios de migration.

   Remarque

   • Il est impossible de modifier l'Instance Region des tâches achetées avant leur configuration.

   • Si la base de données source est un cluster shardé MongoDB, il n'est pas nécessaire de renseigner le Shard account ni le Shard password.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que la plage d'adresses IP du service DTS a été ajoutée (automatiquement ou manuellement) aux paramètres de sécurité des bases de données source et de destination afin d'autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est auto-gérée (c'est-à-dire si l'Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers qui s'affiche.

5. Configurez le Data Verification Mode.

   Sélectionnez un ou plusieurs modes de vérification selon vos besoins. Si vous choisissez Full Data Verification, configurez également les paramètres décrits dans le tableau suivant.

   Remarque

   • Full Data Verification : Valide l'intégralité des données des objets spécifiés.

   • Schema Verification : Vérifie les schémas de base de données et de tables des objets spécifiés.

   • La vérification incrémentielle n'est pas prise en charge pour les tâches configurées via la page Data Verification.

   Parameter	Note
   Full Data Verification	Full field validation by row sampling : Vérifie tous les champs pour un pourcentage donné de lignes de données. Définissez le pourcentage d'échantillonnage sur un entier compris entre 10 et 100. Verify based on the number of table rows : Compare le nombre de lignes du jeu de données complet. Le contenu réel des données n'est pas vérifié. Remarque Le mode Verify based on the number of table rows est gratuit. Le mode Full field validation by row sampling est facturé en fonction du volume de données vérifiées.
   Full Data Verification Time Rule	Actuellement, seule l'option Start Now est prise en charge.
   Timeout Settings for Full Data Verification	No : La tâche de vérification complète n'est pas arrêtée de force en cas de dépassement du délai. Yes : Définit un délai d'expiration pour la tâche de vérification complète. Le chronomètre démarre au lancement de la tâche. Si celle-ci ne se termine pas dans le temps imparti, elle est interrompue de force. La valeur doit être un entier compris entre 1 et 72.
   Full calibration reference	Default : Utilise les données combinées des bases source et de destination comme référence pour vérifier la cohérence des données. Source Database : Prend la base de données source comme référence pour vérifier la cohérence. Les données excédentaires dans la base de destination ne sont pas contrôlées. Destination Database : Prend la base de données de destination comme référence pour vérifier la cohérence. Les données excédentaires dans la base source ne sont pas contrôlées.
   Maximum number of rows of data read per second by full verification (RPS)	La vérification complète des données consomme des ressources de lecture de la base de données. Afin de réduire la charge, vous pouvez configurer une limitation de débit pour la tâche de vérification complète. Cette limitation restreint le nombre de lignes et le volume de données lus par seconde. Remarque Une valeur de paramètre égale à 0 signifie qu'il n'y a aucune limite. Si le Maximum number of rows of data read per second by full verification (RPS) et le Maximum amount of data read per second by full verification (MBps) sont tous deux définis sur 0, la limitation de débit est désactivée.
   Maximum amount of data read per second by full verification (MBps)

6. Spécifiez les Verification Objects.

   1. Sélectionnez les objets à vérifier dans la base de données source.

      Dans la section Source Objects, sélectionnez les objets à vérifier et cliquez sur pour les déplacer vers la section Selected Objects.

      Remarque

      Vous ne pouvez définir le Table Name et le Column Name d'une table de destination que si vous avez sélectionné des tables comme objets à vérifier.

   2. Définissez les objets à vérifier dans la base de données de destination.

      1. Dans la section Selected Objects, cliquez avec le bouton droit sur le schéma déplacé.

      2. Dans la boîte de dialogue Edit Schema, définissez le Schema Name pour la base de données de destination, puis cliquez sur OK.

      3. Toujours dans la section Selected Objects, cliquez avec le bouton droit sur une table déplacée depuis la section Source Objects.

      4. Dans la boîte de dialogue Edit Table, définissez le Table Name de la table de destination.

      5. Facultatif. Dans la colonne Column Name de la section Column, définissez le nom de colonne de la table de destination.

         Remarque

         Vous pouvez également désélectionner Sync All Columns et choisir manuellement les colonnes à vérifier.

      6. Cliquez sur OK.

   3. Facultatif. Configurez les alertes de vérification.

      Si vous avez sélectionné Full Data Verification comme Data Verification Mode, vous pouvez également configurer l'Full Data Verification Alert selon vos besoins.

      Remarque

      Une fois l'instance DTS en cours d'exécution, vous pourrez aussi définir ou modifier les alertes de vérification des données.

      Parameter	Note
      Full Data Verification Alert	No : Désactive les alertes. Yes : Active les alertes. Sélectionnez et configurez les règles d'alerte. Les règles disponibles sont les suivantes : Une alerte se déclenche en cas d'échec de la tâche de vérification complète des données. Une alerte se déclenche si le volume de données incohérentes issues de la vérification complète atteint ou dépasse le seuil spécifié.

      Important

      Si vous avez configuré des alertes de vérification et souhaitez recevoir des notifications lorsqu'une tâche déclenche une alerte, vous devez également configurer les abonnements aux messages d'alerte sur la plateforme CloudMonitor. Pour plus d'informations, consultez Définir des règles d'alerte pour les tâches DTS sur la plateforme CloudMonitor.

7. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

   Configuration	Description
   Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie la tâche sur un cluster partagé. Aucune sélection n'est requise. Vous pouvez également acheter un cluster dédié pour exécuter des tâches DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
   Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de se reconnecter. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de fixer cette durée à 30 minutes ou plus. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Remarque Si vous possédez plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou destination, et que vous définissez le délai de nouvelle tentative réseau sur 30 minutes pour l'instance A et 60 minutes pour l'instance B, c'est la durée la plus courte (30 minutes) qui s'applique aux deux. Étant donné que DTS facture le temps d'exécution des tâches pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
   Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser cette durée dans une plage de 1 à 1 440 minutes. Nous vous recommandons de la fixer à 10 minutes ou plus. Si les opérations concernées réussissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
   Environment Tag	Facultatif. Selon vos besoins, sélectionnez un tag d'environnement pour identifier l'instance.

8. Enregistrez la tâche et lancez une pré-vérification.

   • Pour consulter les paramètres de configuration de cette instance lors de l'appel API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle qui apparaît.

   • Si vous n'avez pas besoin de consulter les paramètres API ou si vous avez terminé leur consultation, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Une pré-vérification est effectuée avant le lancement de la tâche de vérification. Celle-ci ne peut démarrer qu'après avoir passé cette étape avec succès.

   • En cas d'échec de la pré-vérification, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème selon les instructions fournies, puis relancez la pré-vérification.

   • Si un avertissement est signalé lors de la pré-vérification :

     • Pour les éléments de contrôle non ignorables, cliquez sur View Details à côté de l'élément en échec, corrigez le problème selon les instructions, puis relancez la pré-vérification.

     • Pour les éléments de contrôle ignorables, vous pouvez cliquer sur Confirm Alert Details, Ignore, OK, puis Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Notez qu'ignorer un avertissement peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

9. Consultez la progression de la tâche de vérification des données.

   • Si vous disposez d'une tâche de vérification achetée (avant configuration), lorsque le Success Rate atteint 100%, cliquez sur Back.

   • Si vous avez configuré une tâche de vérification sans l'avoir achetée, lorsque le Success Rate atteint 100%, cliquez sur Next: Purchase Instance, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms, cliquez sur Buy and Start, puis confirmez en cliquant sur OK.

Configurer une tâche de vérification des données dans une instance de synchronisation ou de migration DTS

1. Accédez à la page Data Verification.

   • Pour savoir comment configurer une instance DTS nouvellement créée, consultez les rubriques listées dans Vue d'ensemble des solutions de synchronisation des données ou Scénarios de migration.

   • Pour une instance DTS existante :

     1. Accédez à la page listant les tâches de synchronisation ou de migration.

     2. Cliquez sur l'ID de l'instance cible.

     3. Sur la page Basic Information ou Task Management, cliquez sur Create Verification Task.

2. Configurez le Data Verification Mode.

   Remarque

   • Full Data Verification : Vérifie les données de la tâche complète. Si l'instance ne comprend pas de tâche incrémentielle, la vérification démarre après la création de l'instance et l'écriture complète des données. Si l'instance inclut une tâche incrémentielle, la vérification commence après la création de l'instance et la première écriture des données incrémentielles sans latence.

   • Incremental Data Verification : Valide les données synchronisées ou migrées de manière incrémentielle. La vérification débute après la création de l'instance et la première écriture des données incrémentielles dans la base de destination sans latence.

   • Schema Verification : Contrôle les schémas des objets nécessitant une vérification. En l'absence de tâche incrémentielle, la vérification s'effectue après la création de l'instance et l'écriture du schéma de table ainsi que des données complètes. Si une tâche incrémentielle est présente, la vérification démarre après la création de l'instance et la première écriture des données incrémentielles sans latence.

   Full verification

   Si vous sélectionnez Full Data Verification, vous devez également définir les paramètres décrits dans le tableau ci-dessous.

   Parameter	Note
   Full Data Verification	Full field validation by row sampling : Vérifie tous les champs pour un pourcentage donné de lignes de données. Définissez le pourcentage d'échantillonnage sur un entier compris entre 10 et 100. Verify based on the number of table rows : Compare le nombre de lignes du jeu de données complet. Le contenu réel des données n'est pas vérifié. Remarque Le mode Verify based on the number of table rows est gratuit. Le mode Full field validation by row sampling est facturé en fonction du volume de données vérifiées.
   Full Data Verification Time Rule	Actuellement, seule l'option Start Now est prise en charge.
   Timeout Settings for Full Data Verification	No : La tâche de vérification complète n'est pas arrêtée de force en cas de dépassement du délai. Yes : Définit un délai d'expiration pour la tâche de vérification complète. Le chronomètre démarre au lancement de la tâche. Si celle-ci ne se termine pas dans le temps imparti, elle est interrompue de force. La valeur doit être un entier compris entre 1 et 72.
   Full calibration reference	Default : Utilise les données combinées des bases source et de destination comme référence pour vérifier la cohérence des données. Source Database : Prend la base de données source comme référence pour vérifier la cohérence. Les données excédentaires dans la base de destination ne sont pas contrôlées. Destination Database : Prend la base de données de destination comme référence pour vérifier la cohérence. Les données excédentaires dans la base source ne sont pas contrôlées.
   Maximum number of rows of data read per second by full verification (RPS)	La vérification complète des données consomme des ressources de lecture de la base de données. Afin de réduire la charge, vous pouvez configurer une limitation de débit pour la tâche de vérification complète. Cette limitation restreint le nombre de lignes et le volume de données lus par seconde. Remarque Une valeur de paramètre égale à 0 signifie qu'il n'y a aucune limite. Si le Maximum number of rows of data read per second by full verification (RPS) et le Maximum amount of data read per second by full verification (MBps) sont tous deux définis sur 0, la limitation de débit est désactivée.
   Maximum amount of data read per second by full verification (MBps)

   Incremental verification

   Si vous sélectionnez Incremental Data Verification, vous devez également définir les paramètres décrits dans le tableau ci-dessous.

   Parameter	Note
   Incremental Verification Benchmark	Vous pouvez sélectionner les opérations DML (Data Manipulation Language) à vérifier selon vos besoins.

3. Spécifiez les Verification Objects.

   Dans la section Selected Objects, vous pouvez sélectionner les objets ne nécessitant pas de vérification des données et cliquer sur pour les supprimer.

   Remarque

   Par défaut, les objets à synchroniser ou à migrer sont ajoutés à la section Selected Objects.

4. Configurez les alertes pour la vérification des données.

   Configurez les paramètres suivants selon vos besoins.

   Remarque

   Une fois l'instance DTS en cours d'exécution, vous pourrez aussi définir ou modifier les alertes de vérification des données.

   Parameter	Note
   Full Data Verification Alert	No : Désactive les alertes. Yes : Active les alertes. Sélectionnez et configurez les règles d'alerte. Les règles disponibles sont les suivantes : Une alerte se déclenche en cas d'échec de la tâche de vérification complète des données. Une alerte se déclenche si le volume de données incohérentes issues de la vérification complète atteint ou dépasse le seuil spécifié.
   Incremental Data Verification Alert	No : Désactive les alertes. Yes : Activez les alertes en sélectionnant et configurant des règles d'alerte. Les règles disponibles sont les suivantes : Déclenche une alerte en cas d'échec de la tâche de vérification incrémentielle. Déclenche une alerte si le nombre d'enregistrements incohérents atteint ou dépasse un seuil pendant un nombre spécifié de périodes statistiques consécutives. Configurez le nombre de périodes, la période statistique et le seuil d'enregistrements incohérents. Déclenche une alerte si la latence des données atteint ou dépasse un seuil pendant un nombre spécifié de périodes statistiques consécutives. Configurez le nombre de périodes, la période statistique et le seuil de latence.

   Important

   Si vous avez configuré des alertes de vérification et souhaitez recevoir des notifications lorsqu'une tâche déclenche une alerte, vous devez également configurer les abonnements aux messages d'alerte sur la plateforme CloudMonitor. Pour plus d'informations, consultez Définir des règles d'alerte pour les tâches DTS sur la plateforme CloudMonitor.

5. Suivez les instructions et référez-vous aux documents de configuration pertinents pour terminer la configuration ultérieure.

Modifier une règle d'alerte

1. Accédez à la page Data Verification. Trois méthodes s'offrent à vous.

   Remarque

   Si vous avez configuré la tâche de vérification des données dans une instance de synchronisation ou de migration DTS, vous pouvez également accéder à la page listant les tâches de synchronisation ou de migration correspondantes.

   Use the DTS console (quick start)

   1. Rendez-vous sur la page des tâches de vérification DTS.

   2. Facultatif : Dans le coin supérieur gauche de la page, sélectionnez la région où réside l'instance de vérification.

   Use the DTS console (standard)

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Verification.

   3. Facultatif : Dans le coin supérieur gauche de la page, sélectionnez la région où réside l'instance de vérification.

   Use the DMS console

   Remarque

   Les étapes exactes peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez Console en mode simplifié et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à DMS Data Management Service.

   2. Dans la barre de menu supérieure, sélectionnez Data + AI > Data Transmission Service (DTS) > Data Verification.

   3. Facultatif : À droite de Verification Task, sélectionnez la région où se trouve l'instance de vérification.

2. Dans la colonne Actions de la tâche de vérification cible, sélectionnez > Alert Settings.

   Remarque

   Vous pouvez également cliquer sur l'ID de l'instance cible, puis cliquer sur Alert Settings dans le volet de navigation de gauche.

3. Dans la colonne Actions de la métrique cible, cliquez sur Edit.

   • Vérification complète des données

     • Full Data Verification Status

     • Full Data Verification Inconsistency

   • Vérification incrémentielle des données

     • Incremental Data Verification Status

     • Incremental Data Verification Latency

     • Incremental Data Verification Inconsistency

5. Après avoir effectué les modifications nécessaires, cliquez sur OK.

Opérations API associées

API operation	Note
ConfigureDtsJob	Configurer une tâche de vérification des données.

FAQ

• Les noms de bases de données, de tables et de colonnes modifiés via la fonctionnalité de mappage de noms sont-ils considérés comme des données incohérentes lors de la vérification ?

  La fonctionnalité de vérification des données est compatible avec le mappage de noms pour les bases de données et les tables. Si vous utilisez cette fonctionnalité pour modifier des noms de bases de données, de tables ou de colonnes, seuls les noms de colonnes modifiés seront détectés comme incohérents. Ce n'est pas le cas pour les noms de bases de données et de tables.

• Quel est le résultat d'une tâche de vérification de schéma si la table contient des colonnes masquées ?

  Une tâche de vérification de schéma contrôle la position des colonnes. Si une table à vérifier contient des colonnes masquées, la position des autres colonnes peut en être affectée. Si la position d'une colonne à vérifier dans la base de données source diffère de celle dans la base de destination, DTS signale une incohérence de schéma.

• Pourquoi ne puis-je pas sélectionner un mode de vérification dans une instance DTS ?

  L'instance actuelle peut ne pas prendre en charge le mode de vérification des données correspondant, ou bien les Synchronization Types ou Migration Types correspondants n'ont pas été sélectionnés lors de l'étape Configure Objects.

• Les données filtrées par la fonctionnalité de conditions de filtre sont-elles considérées comme incohérentes ?

  • Vérification complète des données : Non. La vérification complète prend en charge la fonctionnalité Filter Conditions.

  • Vérification incrémentielle des données : Non. La vérification incrémentielle prend en charge la fonctionnalité Filter Conditions. (Les tâches incrémentielles pour une base de données source dont le Database Type est MongoDB ne prennent pas en charge la fonctionnalité Filter Conditions.)