Consultez les modèles de règles intégrés pour Data Quality de DataWorks - DataWorks

Data Quality dans DataWorks propose divers modèles de surveillance intégrés. Cette rubrique décrit la logique de vérification de Data Quality et les modèles de règles de surveillance intégrés disponibles.

Instructions

Modèles de règles intégrés

Utilisez les modèles de règles intégrés pour configurer rapidement des règles de surveillance sur une seule table ou sur plusieurs tables en masse. Pour plus d'informations, consultez les rubriques Créer une règle de surveillance pour une seule table et Créer des règles de surveillance pour plusieurs tables en masse.

Catégorie de modèle	Nom du modèle	Description
Nombre de lignes	Valeur fixe	Vérifie que le nombre de lignes correspond à une valeur fixe.
	Table non vide	Vérifie que la table contient au moins une ligne.
	Différence sur 1 jour	Contrôle l'évolution quotidienne du nombre de lignes. Remarque La référence est le nombre de lignes de la partition de la veille. Le système compare le nombre de lignes collecté le jour actuel à cette référence et calcule la différence.
	Variation du nombre de lignes depuis le cycle précédent	La référence est le nombre de lignes de la partition du cycle de planification précédent. Le système compare le nombre de lignes collecté le jour actuel à cette référence et calcule la différence.
	Volatilité sur 1, 7, 30 jours et le 1er du mois	Compare le nombre de lignes actuel avec ceux d'il y a 1 jour, 7 jours, 30 jours et le premier jour du mois en cours. Calcule la volatilité et la compare aux seuils définis. Une alerte est déclenchée si un seuil est dépassé.
	Volatilité sur 1, 7, 30 jours	Compare le nombre de lignes actuel avec ceux d'il y a 1 jour, 7 jours et 30 jours afin de calculer la volatilité. Remarque Compare le nombre de lignes actuel avec l'échantillon de la veille, celui d'il y a 7 jours et celui d'il y a 30 jours. Calcule la volatilité et la compare aux seuils. Une alerte est déclenchée si la volatilité dépasse le seuil.
	Volatilité sur 1 jour	Utilise le nombre de lignes de la veille comme référence, le compare au nombre de lignes collecté le jour actuel et calcule la volatilité. Une alerte est déclenchée si le seuil est dépassé.
	Volatilité sur 30 jours	Utilise le nombre de lignes d'il y a 30 jours comme référence, le compare au nombre de lignes collecté le jour actuel et calcule la volatilité. Une alerte est déclenchée si le seuil est dépassé.
	Volatilité sur 7 jours	Utilise le nombre de lignes d'il y a 7 jours comme référence, le compare au nombre de lignes collecté le jour actuel et calcule la volatilité. Une alerte est déclenchée si le seuil est dépassé.
	Lignes de la table (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
	Volatilité moyenne sur 30 jours	Surveille les fluctuations du nombre de lignes. La référence correspond à la moyenne du nombre de lignes sur les 30 derniers jours, calculée comme suit : (somme des nombres de lignes quotidiens sur 30 jours) / 30.
	Volatilité moyenne sur 7 jours	Surveille les fluctuations du nombre de lignes. La référence correspond à la moyenne du nombre de lignes sur les 7 derniers jours, calculée comme suit : (somme des nombres de lignes quotidiens sur 7 jours) / 7.
	Volatilité par rapport au cycle supérieur	Utilise le nombre de lignes de la partition du cycle de planification précédent comme référence, le compare au nombre de lignes collecté le jour actuel et calcule la volatilité.
	Plage personnalisée pour le nombre de lignes	Permet de définir la méthode de comparaison et la plage de seuils pour le nombre de lignes de la table.
Taux de correspondance des conditions	Taux de correspondance des conditions, plage personnalisée	Permet de définir la méthode de comparaison et la plage de seuils pour le taux de correspondance des conditions de filtrage.
Taille de la table	Taille de la table, valeur fixe	Taille de stockage de la table (en octets).
	Taille de la table, différence sur 1 jour (octets)	Différence de taille de stockage de la table par rapport à il y a 1 jour (en octets).
	Taille de la table, différence par rapport au cycle supérieur	Différence de taille de la table par rapport au cycle de planification précédent (en octets).
	Taille de la table, volatilité sur 1 jour	Surveille les fluctuations de la taille de la table. Compare la taille actuelle avec l'échantillon de la veille, calcule la volatilité et la compare aux seuils. Une alerte est déclenchée si un seuil est dépassé. Par exemple, si vous définissez le seuil orange à 5 % et le seuil rouge à 10 %, une alerte orange est déclenchée lorsque la volatilité dépasse 5 % sans atteindre 10 %, tandis qu'une alerte rouge est déclenchée lorsque la volatilité dépasse 10 %.
	Taille de la table, volatilité sur 30 jours	Surveille les fluctuations de la taille de la table. Compare la taille actuelle avec l'échantillon d'il y a 30 jours, calcule la volatilité et la compare aux seuils. Une alerte est déclenchée si un seuil est dépassé.
	Taille de la table, volatilité sur 7 jours	Surveille les fluctuations de la taille de la table. Compare la taille actuelle avec l'échantillon d'il y a 7 jours, calcule la volatilité et la compare aux seuils. Une alerte est déclenchée si un seuil est dépassé.
	Taille de la table (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
Lignes avec valeurs nulles	Nombre de valeurs nulles, valeur fixe	Compare le nombre de valeurs nulles de la colonne à une valeur fixe. Remarque Les valeurs nulles sont déterminées en utilisant l'expression SQL `IS NULL`.
Lignes avec valeurs nulles	Nombre de valeurs nulles égal à 0	Vérifie si le nombre de valeurs nulles est égal à 0.
Nombre de valeurs nulles / total des lignes	Nombre de valeurs nulles / total des lignes, valeur fixe	Compare le ratio entre le nombre de valeurs nulles et le nombre total de lignes à une valeur fixe. Remarque La valeur fixe est un nombre décimal.
Validation du format	Validation par expression régulière	Vérifie si les valeurs de la colonne correspondent à une expression régulière.
	Validation du format de date	Vérifie si les valeurs de la colonne correspondent à un format de date.
	Validation du format d'e-mail	Vérifie si les valeurs de la colonne correspondent à un format d'e-mail.
	Validation du format de carte d'identité	Vérifie si les valeurs de la colonne correspondent à un format de carte d'identité.
	Validation du format de numéro de téléphone portable	Vérifie si les valeurs de la colonne correspondent à un format de numéro de téléphone portable.
	Validation du format monétaire	Vérifie si les valeurs de la colonne correspondent à un format monétaire.
	Validation du format numérique	Vérifie si les valeurs de la colonne correspondent à un format numérique.
	Validation du format de numéro de téléphone fixe	Vérifie si les valeurs de la colonne correspondent à un format de numéro de téléphone fixe.
Lignes avec valeurs en double	Nombre de doublons, valeur fixe	Le nombre de doublons correspond au nombre total de lignes moins le nombre de valeurs distinctes. Compare le nombre de doublons à une valeur fixe.
Lignes avec valeurs en double	Nombre de doublons dans la colonne égal à 0	Vérifie si le nombre de doublons dans la colonne est égal à 0.
Valeurs uniques sur plusieurs colonnes	Nombre de doublons sur plusieurs colonnes égal à 0	Vérifie si le nombre de doublons sur plusieurs colonnes est égal à 0.
Nombre de doublons / total des lignes	Nombre de doublons / total des lignes, valeur fixe	Compare le ratio entre le nombre de doublons et le nombre total de lignes à une valeur fixe.
Nombre de valeurs uniques	Nombre de valeurs uniques, valeur fixe	Compare le nombre de valeurs distinctes à un nombre attendu (vérification par valeur fixe).
	Nombre de valeurs uniques, volatilité sur 1, 7, 30 jours	Compare le nombre de valeurs distinctes avec les échantillons d'il y a 1 jour, 7 jours et 30 jours afin de calculer la volatilité.
	Nombre de valeurs uniques (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
Nombre de valeurs uniques / total des lignes	Nombre de valeurs uniques / total des lignes, valeur fixe	Compare le ratio entre le nombre de valeurs uniques et le nombre total de lignes à une valeur fixe.
Valeur minimale	Valeur minimale, volatilité sur 1, 7, 30 jours	Récupère la valeur minimale de la colonne et la compare avec les échantillons d'il y a 1 jour, 7 jours et 30 jours. Calcule la volatilité et déclenche une alerte si un seuil est dépassé.
	Valeur minimale (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
	Valeur minimale, volatilité sur 1 jour	Récupère la valeur minimale de la colonne, la compare avec la valeur d'il y a 1 jour et calcule la volatilité par rapport au seuil.
	Valeur minimale, volatilité par rapport au cycle supérieur	Récupère la valeur minimale de la colonne, la compare avec la valeur du cycle de planification précédent et calcule la volatilité. Une alerte est déclenchée si le seuil est dépassé.
	Valeur minimale de la colonne, plage personnalisée	Permet de définir la méthode de comparaison et la plage de seuils pour la valeur minimale de la colonne.
Valeur maximale	Valeur maximale, volatilité sur 1, 7, 30 jours	Récupère la valeur maximale de la colonne et la compare avec les échantillons d'il y a 1 jour, 7 jours et 30 jours. Calcule la volatilité et déclenche une alerte si un seuil est dépassé.
	Valeur maximale (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
	Valeur maximale, volatilité sur 1 jour	Récupère la valeur maximale de la colonne, la compare avec la valeur d'il y a 1 jour et calcule la volatilité par rapport au seuil.
	Valeur maximale, volatilité par rapport au cycle supérieur	Récupère la valeur maximale de la colonne, la compare avec la valeur du cycle de planification précédent et calcule la volatilité. Une alerte est déclenchée si le seuil est dépassé.
	Valeur maximale de la colonne, plage personnalisée	Permet de définir la méthode de comparaison et la plage de seuils pour la valeur maximale de la colonne.
Valeur moyenne	Valeur moyenne, volatilité sur 1, 7, 30 jours	Récupère la valeur moyenne de la colonne et la compare avec les échantillons d'il y a 1 jour, 7 jours et 30 jours. Calcule la volatilité et déclenche une alerte si un seuil est dépassé. Remarque La valeur moyenne de la colonne est comparée respectivement à la valeur moyenne de la veille, d'il y a 7 jours et d'il y a 30 jours.
	Valeur moyenne (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
	Valeur moyenne, volatilité sur 1 jour	Récupère la valeur moyenne de la colonne, la compare avec la valeur d'il y a 1 jour et calcule la volatilité par rapport au seuil.
	Valeur moyenne de la colonne, plage personnalisée	Permet de définir la méthode de comparaison et la plage de seuils pour la valeur moyenne de la colonne.
Somme des valeurs	Somme des valeurs, volatilité sur 1, 7, 30 jours	Récupère la somme des valeurs de la colonne et la compare avec les échantillons d'il y a 1 jour, 7 jours et 30 jours. Calcule la volatilité et déclenche une alerte si un seuil est dépassé.
	Somme des valeurs (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
	Somme des valeurs, volatilité sur 1 jour	Récupère la somme des valeurs de la colonne, la compare avec la valeur d'il y a 1 jour et calcule la volatilité par rapport au seuil.
	Somme des valeurs, volatilité par rapport au cycle supérieur	Récupère la somme des valeurs de la colonne, la compare avec la valeur du cycle de planification précédent et calcule la volatilité. Une alerte est déclenchée si le seuil est dépassé.
	Somme des valeurs de la colonne, plage personnalisée	Permet de définir la méthode de comparaison et la plage de seuils pour la somme des valeurs de la colonne.
Valeurs d'énumération	Nombre de valeurs d'énumération non correspondantes, valeur fixe	Compare le nombre de valeurs d'énumération distinctes qui ne correspondent pas.
	Nombre de lignes avec des valeurs d'énumération non correspondantes, valeur fixe	Le nombre de lignes contenant des valeurs d'énumération non correspondantes dans la colonne est comparé à une valeur fixe spécifiée.
	Nombre de lignes avec des valeurs d'énumération non correspondantes égal à 0	État normal attendu : la valeur fixe et la méthode de comparaison sont définies sur = 0. Une alerte est déclenchée dès que le nombre de lignes avec des valeurs d'énumération non correspondantes est > 0.
	Valeurs d'énumération, personnalisé, valeur fixe	Permet de personnaliser les statistiques liées aux énumérations, telles que les comptes, les nombres de lignes, les méthodes de comparaison et les seuils.
Valeurs discrètes	Valeur discrète (nombre par groupe), valeur fixe	Après une opération GROUP BY, le nombre d'éléments dans chaque groupe est comparé à une valeur fixe.
	Valeur discrète (nombre de groupes), valeur fixe	Après une opération GROUP BY, le nombre de groupes est comparé à une valeur fixe.
	Valeur discrète (nombre de groupes) (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
	Valeur discrète (nombre par groupe) (seuil dynamique intelligent)	Lorsque le seuil dynamique intelligent est activé, il n'est pas nécessaire de configurer manuellement les seuils de volatilité ou les valeurs attendues. Le système détermine automatiquement des seuils pertinents grâce à des algorithmes intelligents et déclenche des alertes ou bloque les anomalies.
	Valeur discrète (nombre de groupes), volatilité sur 1 jour	Après une opération GROUP BY, le nombre de groupes est comparé à l'échantillon d'il y a 1 jour afin de calculer la volatilité.
	Valeur discrète (nombre de groupes et nombre par groupe), volatilité sur 1, 7, 30 jours	Après une opération GROUP BY, le nombre de groupes et le nombre d'éléments dans chaque groupe sont comparés aux échantillons d'il y a 1 jour, 7 jours et 30 jours afin de calculer la volatilité.

Remarque

Les modèles de règles basés sur la taille de la table ne sont pas pris en charge pour les tables EMR.

Description du calcul

Calcul de la volatilité : la formule de volatilité est (Current value - Baseline value) / Baseline value. La valeur actuelle correspond à la valeur réelle de la métrique lors de la vérification en cours, tandis que la valeur de référence est déterminée dynamiquement par le modèle que vous sélectionnez. Par exemple :

Pour les modèles de volatilité sur N jours, la valeur de référence correspond à la valeur de la métrique enregistrée il y a N jours pour la même règle.
Pour les modèles de volatilité moyenne sur N jours, la valeur de référence est la moyenne arithmétique des valeurs de la métrique au cours des N derniers jours.
Pour les modèles de volatilité du cycle précédent, la valeur de référence correspond à la valeur de la métrique du cycle de planification précédent.

Logique de vérification

Data Quality prend en charge trois méthodes de vérification : comparaison avec une valeur fixe, comparaison de la volatilité et seuil dynamique.

Méthode de vérification	Logique de vérification
Comparaison avec une valeur fixe	Évalue l'expression de vérification et renvoie une valeur booléenne. Les opérateurs de comparaison suivants sont pris en charge : `>`, `<`, `>=`, `<=` et `!=`. Si le résultat est `true`, la vérification est réussie. Dans le cas contraire, une alerte rouge est déclenchée.
Comparaison de la volatilité	Cette méthode surveille l'ampleur des variations des métriques et prend en charge trois types de comparaison : Valeur absolue : se concentre sur l'ampleur du changement, indépendamment de sa direction. Par exemple, une alerte est déclenchée si la volatilité du nombre de lignes dépasse 10 %. Augmentation : se concentre uniquement sur les hausses anormales. Par exemple, lors de la surveillance des coûts, vous pouvez souhaiter être alerté uniquement en cas d'augmentation significative. Baisse : se concentre uniquement sur les baisses anormales. Par exemple, lors de la surveillance du volume de commandes, vous pouvez principalement vous soucier des chutes soudaines. Le système détermine le niveau d'alerte en fonction des seuils orange et rouge que vous configurez.
Seuil dynamique	Aucun seuil manuel n'est requis. Le système détecte automatiquement la validité des métriques en temps réel à l'aide de modèles algorithmiques. Une alerte est déclenchée si la métrique dépasse une plage de fluctuation raisonnable.

Annexe 1 : Description de la valeur de référence du cycle précédent

La tâche du cycle précédent est déterminée en excluant les vérifications ayant la même date métier, puis en triant par date métier par ordre décroissant. En cas d'égalité des dates métier, un tri supplémentaire est effectué par heure d'exécution, également par ordre décroissant. La première tâche de cette liste sert de valeur de référence. Consultez le tableau suivant pour plus de détails :

Type de planification

Date métier

Méthode de comparaison de la référence

FAQ

Scénario de planification quotidienne normale

Dates métier historiques :

2024-06-01
2024-06-02
2024-06-03
2024-06-04
2024-06-05

Lorsque la tâche planifiée avec la date métier 2024-06-06 commence la vérification, le résultat de la vérification du 2024-06-05 est utilisé comme valeur de référence pour la comparaison.

Scénario de回填 de données :

Contexte :

Les tâches du 2024-06-01 au 2024-06-05 ont été exécutées normalement. Après la fin de l'instance planifiée du 2024-06-05, un回填 a été effectué pour l'instance ayant la date métier 2024-07-01. Lorsque la tâche planifiée avec la date métier 2024-06-06 commence la vérification, quelle date est utilisée comme valeur de référence pour la comparaison ?

Conclusion :

La tâche planifiée avec la date métier 2024-06-06 utilise le résultat de la vérification de la date métier 2024-07-01 comme valeur de référence pour la comparaison. Étant donné que la date métier 2024-07-01 est plus récente, toutes les tâches planifiées quotidiennes suivantes utiliseront le 2024-07-01 comme référence jusqu'à ce que l'instance planifiée pour le 2024-07-02 termine son exécution.

Scénario de planification horaire normale

Dates métier historiques :

2024-06-01
2024-06-02
2024-06-03

Les tâches s'exécutent selon un planning horaire avec 3 exécutions par jour.

Lorsque la tâche planifiée horaire avec la date métier 2024-06-04 commence la vérification, le dernier résultat de vérification de la date métier 2024-06-03 est utilisé comme valeur de référence pour la comparaison.

Scénario de planification horaire :

Contexte :

Du 2024-06-01 au 2024-06-03, trois instances planifiées horaires ont été exécutées chaque jour, et la première instance planifiée de la date métier 2024-06-04 a également été exécutée normalement. Lorsque la deuxième instance planifiée de la date métier 2024-06-04 commence la vérification, quelle date est utilisée comme valeur de référence pour la comparaison ?

Conclusion :

Lorsque la deuxième instance planifiée de la date métier 2024-06-04 commence la vérification, elle exclut la première vérification du même jour (2024-06-04) et utilise le dernier résultat de vérification de la date métier 2024-06-03 comme valeur de référence pour la comparaison.

Annexe 2 : Valeur d'échantillon datant de N jours pour les tâches horaires

Lorsqu'une tâche horaire récupère la valeur d'échantillon datant de N jours, le système trie les résultats du jour N par heure d'exécution (et non par heure planifiée) dans l'ordre décroissant. Il utilise ensuite le résultat de la première instance comme valeur d'échantillon pour la comparaison avec le résultat actuel. Consultez le tableau ci-dessous pour plus de détails :

Type de planification

Date métier

Méthode de comparaison de la volatilité

FAQ

Scénario de planification horaire standard

Dates métier historiques :

2024-06-01
2024-06-02
......
2024-06-08

Les tâches s'exécutent selon une planification horaire avec trois exécutions par jour.

Pour une comparaison de volatilité sur 7 jours, lorsque la tâche planifiée à l'heure dont la date d'exécution est le 2024-06-08 démarre la vérification, la dernière valeur d'échantillon de la date d'exécution 2024-06-01 est utilisée.

Scénario de planification horaire :

Contexte :

Du 2024-06-01 au 2024-06-08, trois instances planifiées à l'heure ont été exécutées chaque jour. Lorsque la deuxième instance planifiée de la date d'exécution 2024-06-08 démarre la vérification, quel jour et quelle instance planifiée fournissent le résultat utilisé comme valeur d'échantillon pour la comparaison de volatilité sur 7 jours ?

Conclusion :

Lorsque la deuxième instance planifiée de la date d'exécution 2024-06-08 démarre la vérification, le dernier résultat de contrôle de la date d'exécution 2024-06-01 sert de valeur d'échantillon pour la comparaison de volatilité sur 7 jours.