DataWorks:Surveillance de la qualité

1. Sélectionner la table à surveiller

Sur la page de l'éditeur du nœud de surveillance de la qualité, cliquez sur Add Table. Dans la boîte de dialogue Add Table, sélectionnez la table à surveiller. Vous pouvez utiliser le filtre More pour localiser la table plus rapidement.

2. Configurer la portée des données de surveillance

• Table non partitionnée : la table entière est surveillée par défaut. Vous pouvez ignorer cette étape.

• Table partitionnée : vous devez sélectionner les données de partition à surveiller. Vous pouvez utiliser paramètres de planification. Cliquez sur Preview pour vérifier que l'expression de filtre de partition est résolue correctement.

3. Configurer les règles de surveillance de la qualité des données

Vous pouvez créer de nouvelles règles ou importer des règles existantes. Les règles configurées sont activées par défaut.

• Créer une nouvelle règle

  Cliquez sur Create Rule pour créer une règle de surveillance de la qualité basée sur un modèle ou sur du SQL personnalisé. Les sections suivantes décrivent ces méthodes.

  Modèle intégré

  Suivez ces étapes pour créer rapidement une règle de surveillance de la qualité à partir d'un modèle de règle.

  Remarque

  Vous pouvez également trouver le modèle de règle requis dans la liste des modèles intégrés à gauche et cliquer sur + Use pour le créer.

  Cliquez sur l'onglet + Built-in Template Rule à droite de la boîte de dialogue. Dans le panneau Built-in Templates à gauche, développez une catégorie de modèle telle que Table Row Count, recherchez le modèle cible et cliquez sur + Use. Dans le formulaire à droite, configurez les paramètres de la règle et cliquez sur OK.

  Paramètres du modèle de règle système

  Parameter	Description
  Rule Name	Saisissez un nom personnalisé pour la règle.
  Template	Définit le type de vérification de règle à effectuer sur la table. Data Quality propose une large gamme de modèles de règles intégrés au niveau de la table et au niveau du champ. Pour plus d'informations, consultez Afficher les modèles de règles intégrés. Remarque Les valeurs moyenne, somme, minimum et maximum s'appliquent uniquement aux champs numériques.
  Rule Scope	La portée d'application de la règle. Pour une règle au niveau de la table, la portée est la table actuelle par défaut. Pour une règle au niveau du champ, vous devez sélectionner un champ spécifique.
  Comparison Method	Spécifie comment la règle valide les données de la table. Manual Settings : vous permet de définir manuellement la méthode de comparaison et les seuils. Les méthodes de comparaison disponibles varient selon le modèle de règle. Les options affichées dans l'interface utilisateur font foi. Prend en charge la comparaison des résultats de Numeric Type, généralement par rapport à une valeur fixe (valeur attendue). Les méthodes de comparaison incluent Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than et Less Than or Equal To. Vous pouvez personnaliser la plage de données normales (seuil normal) et la plage de données anormales (seuil critique). Prend en charge la comparaison des résultats de Fluctuation, qui correspond généralement à une comparaison de plage. Les méthodes de comparaison incluent Absolute Value, Raise et Drop. Vous pouvez personnaliser la plage de données normales (seuil normal). Vous pouvez également définir une plage d'avertissement pour les données présentant des anomalies (seuil d'avertissement) et une plage critique pour les données ne répondant pas aux attentes (seuil critique) en fonction du degré d'écart. Intelligent Dynamic Threshold : le système utilise un algorithme intelligent pour déterminer automatiquement un seuil raisonnable, ce qui vous dispense de le configurer manuellement. Si le système détecte des données anormales, il déclenche immédiatement une alerte ou bloque la tâche associée. Les seuils dynamiques prennent également en charge les règles fortes et faibles. Remarque Seules les règles de qualité SQL personnalisé, plage personnalisée et seuil dynamique prennent en charge la méthode de comparaison par seuil dynamique intelligent.
  Monitoring Threshold	Si vous définissez la Comparison Method sur Manual Settings, vous pouvez spécifier un Normal threshold et un Error Threshold. Normal threshold : condition que le résultat de la vérification doit remplir pour que les données soient considérées comme normales. Error Threshold : condition qui, si elle est remplie par le résultat de la vérification, indique des données anormales critiques et déclenche une alerte critique. Si la règle effectue une vérification de Fluctuation, vous devez également spécifier un Warning Threshold. Warning Threshold : condition qui, si elle est remplie par le résultat de la vérification, indique une anomalie non critique qui n'affecte pas les opérations commerciales.
  Retain problem data	Si cette fonctionnalité est activée et qu'une vérification de règle échoue, le système crée automatiquement une table pour stocker les données problématiques résultantes. Important Vous pouvez configurer la fonctionnalité de conservation des données problématiques pour les tables MaxCompute et Hologres. Seules certaines règles de qualité des données prennent en charge la fonctionnalité de conservation des données problématiques. Cette fonctionnalité est affectée par l'état de la règle. Si la règle est Deactivate, le système ne conserve pas les données problématiques.
  Status	L'état de la règle, qui peut être Enable ou Deactivate. Cela contrôle si la règle s'exécute dans l'environnement de production. Important Si vous définissez l'état sur Deactivate, la règle ne peut pas être déclenchée pour un test ni par une tâche de planification associée.
  Degree of importance	La gravité de la règle. Règle forte : règle importante. Par défaut, une anomalie critique bloque la tâche de planification associée. Règle faible : règle standard. Par défaut, une anomalie critique ne bloque pas la tâche de planification associée.
  Configuration Source	La source de la configuration de la règle. Dans ce cas, la valeur est Data Quality.
  Description	Description facultative de la règle.

  Modèle personnalisé

  Avant d'utiliser cette méthode, vous devez d'abord créer un modèle de règle personnalisé dans Data Quality > Quality Assets > Rule Template Library. Vous pouvez ensuite créer des règles de surveillance de la qualité à partir de ce modèle. Pour plus d'informations, consultez Créer et gérer des modèles de règles personnalisés.

  Les étapes suivantes montrent comment créer une règle de qualité des données à partir d'un modèle personnalisé.

  Remarque

  Vous pouvez également trouver le modèle de règle requis dans la liste des modèles personnalisés à gauche et cliquer sur + Use pour le créer.

  Dans la boîte de dialogue Create Rule, cliquez sur l'onglet + Custom Template Rule. Configurez Rule Name, Rule Template, Quality Dimension, FLAG Parameter, SQL, Comparison Method et Monitoring Threshold (y compris les seuils normaux et rouges), puis cliquez sur OK.

  Paramètres du modèle de règle personnalisé

  Cette section décrit uniquement les paramètres propres aux modèles de règles personnalisés. Pour plus d'informations sur les autres paramètres, consultez Paramètres du modèle de règle système.

  Parameter	Description
  Paramètre FLAG	Définit la commande SET à exécuter avant l'exécution du code SQL de vérification de la qualité des données.
  SQL	La logique de validation SQL. La requête doit renvoyer une seule valeur numérique. Dans le code SQL personnalisé, utilisez des crochets pour faire correspondre l'expression de filtre de partition de la table. Exemple : SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Remarque La variable ${tableName} est remplacée dynamiquement par le nom de la table surveillée. Pour plus d'informations sur la configuration d'une expression de filtre de partition, consultez Annexe 2 : Expressions de filtre de partition intégrées. Si vous créez un moniteur de qualité pour la table et configurez une règle à l'aide de cette méthode, la Data Scope spécifiée pour le moniteur est ignorée. La clause WHERE de ce code SQL détermine quelles partitions sont vérifiées.

  SQL personnalisé

  Cette méthode vous permet de définir une logique de validation de la qualité des données personnalisée pour une table.

  Cliquez sur l'onglet + Custom SQL en haut. Dans le formulaire à droite, configurez Rule Name, Rule Template (sélectionnez Custom SQL), Quality Dimension, FLAG Parameter, SQL, Comparison Method (choisissez Manual Settings ou Intelligent Dynamic Threshold) et Monitoring Threshold, puis cliquez sur OK.

  Paramètres du code SQL personnalisé

  Cette section décrit uniquement les paramètres propres au code SQL personnalisé. Pour plus d'informations sur les autres paramètres, consultez Paramètres du modèle de règle système.

  Parameter	Description
  Paramètre FLAG	Définit la commande SET à exécuter avant l'exécution du code SQL de vérification de la qualité des données.
  SQL	La logique de validation SQL. La requête doit renvoyer une seule valeur numérique. Dans le code SQL personnalisé, utilisez des crochets pour faire correspondre l'expression de filtre de partition de la table. Exemple : SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Remarque Dans votre configuration, vous devez remplacer <table_name> par le nom réel de la table. Cette instruction SQL détermine quelle table est surveillée. Pour plus d'informations sur la configuration d'une expression de filtre de partition, consultez Annexe 2 : Expressions de filtre de partition intégrées. Si vous créez un moniteur de qualité pour la table et configurez une règle à l'aide de cette méthode, la Data Scope spécifiée pour le moniteur est ignorée. La clause WHERE de ce code SQL détermine quelles partitions sont vérifiées.

• Importer des règles existantes

  Si des règles de surveillance pour la table cible existent déjà dans le module Data Quality, vous pouvez les importer pour cloner rapidement les règles. Si aucune règle n'existe, accédez à Data Quality pour les créer au préalable. Pour plus d'informations, consultez Configurer les règles : par table (table unique).

  Remarque

  Cette méthode prend en charge l'importation de plusieurs règles en bloc et permet de configurer des règles de surveillance au niveau des champs de la table.

  Cliquez sur Import Rule. Vous pouvez rechercher et sélectionner les règles à importer par ID ou nom de règle, modèle de règle ou portée associée (table entière ou champs spécifiques).

  Après avoir sélectionné les règles, cliquez sur OK pour terminer l'importation.

4. Configurer les ressources d'exécution

Sélectionnez les ressources d'exécution pour les vérifications des règles de qualité. Cette sélection détermine la source de données dans laquelle la tâche de surveillance de la qualité s'exécute. Par défaut, il s'agit de la source de données où se trouve la table surveillée.

Catégories d'exception

Politiques de traitement des exceptions

Vous pouvez configurer des politiques de traitement pour les exceptions générées par les vérifications de règles :

• Ne pas ignorer : si une catégorie d'exception spécifique est détectée (par exemple, une règle forte déclenche une exception critique), vous pouvez configurer le système pour arrêter le nœud actuel et définir son statut sur Échec.

  Remarque

  • Après l'échec du nœud actuel, les nœuds en aval ne seront pas exécutés. Cela bloque le pipeline de production et empêche la propagation des données problématiques.

  • Vous pouvez ajouter plusieurs catégories d'exceptions à vérifier.

  • Cette politique est généralement utilisée lorsqu'une exception a un impact majeur et doit bloquer les tâches en aval.

• Ignorer : ignorez l'exception et continuez à exécuter les nœuds en aval.

Méthodes de notification des exceptions

Vous pouvez configurer la manière de recevoir les notifications pour les exceptions (par exemple, par e-mail). Lorsqu'une exception se produit, la plateforme envoie une notification via la méthode spécifiée afin que vous puissiez traiter l'exception rapidement.