How to use a data comparison node - DataWorks - Centre de documentation Alibaba Cloud

Le nœud de comparaison de données de DataWorks permet de comparer les données entre différentes tables et s'intègre à un workflow. Cette rubrique explique comment développer des tâches à l'aide d'un nœud de comparaison de données.

Présentation

Le nœud de comparaison de données prend en charge les comparaisons table à table et permet de personnaliser la portée de la comparaison ainsi que les métriques pour divers scénarios. Il ne se limite pas à l'intégration de données.

Limites

Cette fonctionnalité est uniquement compatible avec les groupes de ressources serverless. Pour en savoir plus sur leur utilisation, consultez la section Gestion des groupes de ressources.

Procédure

Étape 1 : Créer un nœud de comparaison de données

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante, puis cliquez sur Go to Data Development.
Cliquez sur l'icône , puis choisissez Create Node > Data Quality > Data Comparison.

Suivez les instructions à l'écran pour saisir le chemin d'accès au nœud, son nom et d'autres informations.

Étape 2 : Configurer le nœud de comparaison de données

Configurer les informations relatives aux tables

Configurez les informations relatives aux tables du nœud de comparaison de données afin de comparer des données provenant de sources différentes. Le tableau suivant décrit les paramètres.

|
**Paramètre**
|
**Description**
| | --- | --- | |
**Resource Group**
|
Sélectionnez un groupe de ressources existant dans la liste déroulante.
| |
**Task Resource Usage**
|
Ajustez la quantité de ressources consommée par le nœud de comparaison de données lors de son exécution.
| |
**Data Source Type**
|
Sélectionnez les types de sources de données pour les tables source et de destination à comparer.
| |
**Data Source Name**
|
Sélectionnez les sources de données pour les tables source et de destination à comparer.
| |
**Connection Status**
|
Une fois la configuration terminée, cliquez sur Test pour vérifier la connectivité entre la source de données et le groupe de ressources.
| |
**Table Name**
|
Sélectionnez les tables source et de destination dans la liste déroulante.
| |
**WHERE Condition**
|
Filtre les données des tables source et de destination destinées à la comparaison.
| |
**Sharding Key**
|
Configurez une clé de partitionnement pour la table source afin de partitionner les données selon une colonne spécifique. Utilisez une clé primaire ou une colonne indexée comme clé de partitionnement.
|

Configurer les règles de comparaison

Effectuez une Resource Group ou une Task Resource Usage pour comparer les données entre les tables source et de destination selon différentes règles.

Comparaison basée sur les métriques

Data Source Type :

La comparaison basée sur les métriques prend en charge les comparaisons au niveau des tables en vérifiant le nombre de lignes. La comparaison est validée si la différence reste dans le seuil d'erreur spécifié.

Remarque
Le seuil d'erreur peut être défini comme un Data Source Name, une Connection Status ou Table Name.

WHERE Condition :

Par défaut, la comparaison au niveau des champs associe les champs portant le même nom. Si les noms des champs diffèrent entre les tables source et de destination, cliquez sur Add Field for Comparison pour sélectionner manuellement les champs source et de destination et créer une paire de comparaison.

Sharding Key : sélectionnez le champ de la table source à comparer.
Metric-based Comparison : sélectionnez le champ de la table de destination à comparer.
Full-text Comparison : inclut des métriques courantes telles que MAX, AVG, MIN et SUM.
- Vous pouvez configurer plusieurs métriques de comparaison pour une seule paire de champs source et de destination.
- Vous pouvez définir différents seuils d'erreur et options d'ignorance pour chaque métrique de comparaison.
Table Row Comparison : la différence calculée entre les tables source et de destination est comparée à ce seuil. La comparaison est validée si la différence est inférieure au seuil. Vous pouvez définir le seuil comme un Percentage, une Absolute Value ou Consistent or Not.
Remarque
- Absolute value of error threshold = |Source table metric value - Destination table metric value|
- Percentage of error threshold = (|Source table metric value - Destination table metric value|) / Source table metric value × 100%

Field-level Comparison : les options d'ignorance prises en charge varient selon les types de données des champs comparés.

Type de champ pour la comparaison	Options d'ignorance prises en charge
Champs de type entier (tels que `INT`, `BIGINT`, etc.)	Vous pouvez ignorer la Source field.
Champs de type chaîne (tels que `STRING`, `VARCHAR`, `TEXT`, etc.)	Vous pouvez ignorer la Destination field.
Champs de type numérique (y compris les types entier et flottant)	Définissez la Comparison Metric pour la comparaison. Vous pouvez ignorer la Error Threshold. Vous pouvez Percentage.
Comparaison entre types entier et chaîne	Vous pouvez Absolute Value.
Comparaison entre types entier et flottant	Vous pouvez Consistent or Not. Vous pouvez ignorer la Difference Between Null Value and Value 0.
Comparaison entre types flottant et chaîne	Vous pouvez Ignore trailing zeros in the decimal part..

Operation : supprimez les champs redondants ou inutiles de la comparaison de champs.

Configure Custom Comparison Rules :

Ajoutez des métriques de comparaison SQL personnalisées pour comparer les tables source et de destination. Les étapes suivantes décrivent la procédure :
1. Cliquez sur Add Custom SQL Comparison Metric pour ajouter une métrique. Vous pouvez renommer manuellement la métrique.
  
  Après avoir ajouté la métrique, vous pouvez définir le seuil d'erreur (prend en charge les pourcentages et les valeurs absolues), cliquer sur Configure pour modifier le contenu SQL personnalisé ou cliquer sur Delete pour supprimer la métrique.
2. Ajustez le Error Threshold selon vos besoins. Les options prises en charge sont Percentage, Absolute Value et Consistent or Not.
3. Une fois le seuil d'erreur configuré, cliquez sur Configure dans la colonne Custom SQL pour écrire du code SQL destiné aux tables source et de destination afin de calculer une métrique personnalisée.
4. Une fois la configuration terminée, cliquez sur OK.

Comparaison texte intégral

La comparaison texte intégral propose les méthodes suivantes :
- Source Data Contained in Destination : la comparaison est validée si la table de destination contient toutes les lignes de la table source. La table de destination peut également contenir des données supplémentaires.
- Comparison by Row : compare le nombre de lignes et le contenu entre les tables source et de destination, ligne par ligne.
  
  Lors de la configuration d'une comparaison ligne par ligne, vous devez définir un seuil d'erreur. Les options prises en charge sont Percentage, Absolute Value et Consistent or Not.
  Remarque
  - Absolute value of error threshold = |Source table metric value - Destination table metric value|
  - Percentage of error threshold = (|Source table metric value - Destination table metric value|) / Source table metric value × 100%

Après avoir configuré la méthode de comparaison texte intégral, sélectionnez les champs à comparer. Par défaut, les champs portant le même nom sont comparés. Pour comparer des champs ayant des noms différents, cliquez sur Add Field for Comparison et sélectionnez les champs source et de destination.

Source field : sélectionnez le champ de la table source à comparer.
Destination field : sélectionnez le champ de la table de destination à comparer.
Full-text Comparison Based on Primary Keys : une comparaison texte intégral nécessite une clé primaire pour faire correspondre les lignes avant de comparer leur contenu.

Ignore : les options d'ignorance prises en charge varient selon les types de données des champs comparés.

Type de champ pour la comparaison	Options d'ignorance prises en charge
Champs de type entier (tels que `INT`, `BIGINT`, etc.)	Vous pouvez ignorer la Difference Between Null Value and Value 0.
Champs de type chaîne (tels que `STRING`, `VARCHAR`, `TEXT`, etc.)	Vous pouvez ignorer la Difference Between Null Value and Empty String.
Champs de type numérique (y compris les types entier et flottant)	Définissez la Floating Precision pour la comparaison. Vous pouvez ignorer la Difference Between Null Value and Value 0. Vous pouvez Ignore trailing zeros in the decimal part..
Comparaison entre types entier et chaîne	Vous pouvez Ignore trailing zeros in the decimal part..
Comparaison entre types entier et flottant	Vous pouvez Ignore trailing zeros in the decimal part.. Vous pouvez ignorer la Ignore.
Comparaison entre types flottant et chaîne	Vous pouvez Difference Between Null Value and Value 0.

Difference Between Null Value and Empty String : Floating Precision les champs redondants ou inutiles de la comparaison de champs.

Les résultats d'une comparaison texte intégral doivent être stockés dans une source de données configurée pour consultation ultérieure.
- Difference Between Null Value and Value 0 : seules les sources de données MaxCompute sont prises en charge.
- Ignore trailing zeros in the decimal part. : sélectionnez une source de données MaxCompute liée à l'espace de travail dans la liste déroulante.
- Ignore trailing zeros in the decimal part. : assurez-vous que la source de données MaxCompute sélectionnée peut se connecter au groupe de ressources configuré pour la comparaison de tables.
- Ignore trailing zeros in the decimal part. : cliquez sur Generate Storage Table pour créer une table nommée data_comparison_xxxxxx.
- Quota Tunnel : sélectionnez une ressource de transmission de données MaxCompute. Pour plus d'informations, consultez la section Achat et utilisation de groupes de ressources exclusifs pour Data Transmission Service.

Configuration de la planification

Une fois les règles configurées, définissez les propriétés de planification du nœud de comparaison de données. Pour plus d'informations, consultez la section Configuration des propriétés de planification d'un nœud.

Étape 3 : Déploiement et gestion

Déployer le nœud

Après avoir configuré le nœud, soumettez-le et déployez-le. Le nœud déployé s'exécute ensuite périodiquement selon sa configuration de planification.

Dans la barre d'outils, cliquez sur l'icône pour enregistrer le nœud.
Dans la barre d'outils, cliquez sur l'icône pour soumettre le nœud.

Dans la boîte de dialogue Difference Between Null Value and Value 0, saisissez une Ignore trailing zeros in the decimal part.. Si nécessaire, indiquez si vous souhaitez effectuer une revue de code et des tests de validation après la soumission du nœud.
Remarque
- Vous devez configurer l'attribut Operation et les dépendances des Delete avant de pouvoir soumettre le nœud.
- La revue de code permet de garantir la qualité du code et d'empêcher le déploiement de tâches contenant du code défectueux dans l'environnement de production. Si la revue de code est activée, le code du nœud soumis doit être approuvé par un examinateur avant son déploiement. Pour plus d'informations, consultez la section Revue de code.
- Pour garantir le bon fonctionnement du nœud planifié, nous vous recommandons d'effectuer des tests de validation avant le déploiement. Pour plus d'informations, consultez la section Tests de validation.

Si vous utilisez un espace de travail en mode standard, vous devez également cliquer sur Data Source Type dans le coin supérieur droit de la page d'édition du nœud après avoir soumis la tâche. Cette action publie la tâche dans l'environnement de production. Pour plus d'informations, consultez la section Déploiement des tâches.

Gérer le nœud

Une fois le nœud de comparaison de données déployé, gérez ses opérations depuis l'Operation Center. Pour plus d'informations, consultez la section Operation Center.

Rapport de validation des données

Consultez le rapport de validation des données dans le journal d'exécution de la tâche. Vous pouvez accéder au rapport de deux manières :

Consultation depuis l'Operation Center :
1. Cliquez sur l'icône , puis choisissez Data Source Name > Connection Status > Table for Storage pour accéder à l'Operation Center.
2. Dans le volet de navigation de gauche de l'Operation Center, accédez à Submission > Change Description pour afficher les instances du nœud. Dans la colonne Rerun attribute, cliquez sur Parent Nodes et sélectionnez Deploy.
3. Sur la page des journaux, cliquez sur l'onglet All Products pour afficher le rapport.
Consultation depuis le journal d'exécution :

Lorsque vous exécutez le nœud de comparaison de données depuis la page Data Development, un lien vers le rapport de validation des données apparaît. Cliquez sur ce lien pour afficher le rapport.
```
Click url below to view more details: xxx
```