Le tableau de bord Qualité affiche les principales métriques de qualité des données, les tendances des vérifications de règles, les tables présentant le plus de problèmes et leurs propriétaires, ainsi que la couverture des règles pour votre espace de travail. Il vous aide à identifier et résoudre efficacement les problèmes de qualité.
Accéder au tableau de bord Qualité
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Quality.
Dans le volet de navigation de gauche, cliquez sur Quality Dashboard.
Notes d'utilisation
Le tableau de bord Qualité affiche les statistiques de qualité des données pour l'espace de travail actuel.
Dans le coin supérieur droit du tableau de bord, sélectionnez l'affichage des statistiques pour Today, Yesterday, The Day Before Yesterday ou une plage de dates personnalisée. Par défaut, le tableau de bord affiche les statistiques en temps réel du jour.
-
Sélectionnez View Only Data in Production Environment pour afficher uniquement les statistiques de l'environnement de production.
RemarqueSi vous sélectionnez cette option, les résultats de vérification des tables de développement ne sont pas inclus dans les statistiques. Seuls les espaces de travail en mode standard disposent d'environnements de développement et de production distincts. En mode basique, toutes les tables de données sont des tables de production. Pour plus d'informations, consultez Différences entre le mode basique et le mode standard.
-
Consultez également la vue d'ensemble de la qualité des données selon les perspectives suivantes :
All : Affiche les statistiques de qualité des données pour tous les types de moteur dans l'espace de travail actuel.
-
Une source de données spécifique ( MaxCompute , E-MapReduce , Hologres , CDH Hive , AnalyticDB for PostgreSQL , AnalyticDB for MySQL , StarRocks , MySQL , etc.) : Affiche les statistiques pour la source de données sélectionnée.
RemarqueLes règles de surveillance de la qualité des données peuvent actuellement être configurées pour les types de sources de données suivants : MaxCompute, E-MapReduce, Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL et autres. Les sources de données telles que SelectDB ne prennent pas encore en charge la configuration des règles de surveillance de la qualité des données.
RemarqueLes statistiques relatives aux données en flux continu ne sont pas prises en charge.
Principales métriques de qualité des données
Dans cette section, sélectionnez Rule ou Table à droite pour afficher les principales métriques de qualité des données par règle ou par table.
|
Catégorie |
Métrique |
Description |
|
Table |
Nombre de tables avec des règles configurées |
Nombre de tables dans l'espace de travail pour lesquelles des règles de qualité des données sont configurées à la date sélectionnée. |
|
Nombre de tables présentant des problèmes de qualité |
Nombre de tables pour lesquelles au moins une instance de vérification s'est terminée avec un statut autre que Check Passed à la date sélectionnée. Cela inclut les violations de seuil et les erreurs système. Completed Tables : Nombre de tables pour lesquelles une instance de vérification a été achevée à la date sélectionnée. Une instance achevée peut avoir le statut Passed, une violation de seuil ou une erreur système. |
|
|
Nombre de tables présentant des problèmes de règles strictes |
Nombre de tables pour lesquelles une vérification de règle stricte s'est terminée avec un statut autre que Check Passed à la date sélectionnée. Cela inclut les violations de seuil et les erreurs système. Tables That Hit Critical Threshold : Nombre de tables ayant violé le seuil critique d'une règle stricte à la date sélectionnée. Tables That Hit Warning Threshold : Nombre de tables ayant violé le seuil d'avertissement d'une règle stricte à la date sélectionnée. |
|
|
Nombre de tables présentant des problèmes de règles faibles |
Nombre de tables pour lesquelles une vérification de règle faible s'est terminée avec un statut autre que Check Passed à la date sélectionnée. Cela inclut les violations de seuil et les erreurs système. Tables That Hit Critical Threshold : Nombre de tables ayant violé le seuil critique d'une règle faible à la date sélectionnée. Tables That Hit Warning Threshold : Nombre de tables ayant violé le seuil d'avertissement d'une règle faible à la date sélectionnée. |
|
|
Rule |
Total des règles de qualité des données |
Nombre total de règles créées dans l'espace de travail actuel à la date sélectionnée. |
|
Nombre de règles présentant des problèmes |
Nombre de règles pour lesquelles une instance de vérification s'est terminée avec un statut autre que Check Passed à la date sélectionnée. Cela inclut les violations de seuil et les erreurs système. Completed Rules : Nombre de règles pour lesquelles une instance de vérification a été achevée à la date sélectionnée. Une instance achevée peut avoir le statut Passed, une violation de seuil ou une erreur système. |
|
|
Nombre de règles strictes présentant des problèmes |
Nombre de règles strictes pour lesquelles une instance de vérification s'est terminée avec un statut autre que Check Passed à la date sélectionnée. Cela inclut les violations de seuil et les erreurs système. Rules Based on Which Tables Hit Critical Threshold : Nombre de règles pour lesquelles une instance de vérification a violé le seuil critique d'une règle stricte à la date sélectionnée. Rules Based on Which Tables Hit Warning Threshold : Nombre de règles pour lesquelles une instance de vérification a violé le seuil d'avertissement d'une règle stricte à la date sélectionnée. |
|
|
Nombre de règles faibles présentant des problèmes |
Nombre de règles faibles pour lesquelles une instance de vérification s'est terminée avec un statut autre que Check Passed à la date sélectionnée. Cela inclut les violations de seuil et les erreurs système. Rules Based on Which Tables Hit Critical Threshold : Nombre de règles pour lesquelles une instance de vérification a violé le seuil critique d'une règle faible à la date sélectionnée. Rules Based on Which Tables Hit Warning Threshold : Nombre de règles pour lesquelles une instance de vérification a violé le seuil d'avertissement d'une règle faible à la date sélectionnée. |
Surveillance des vérifications de qualité
Consultez les tendances et la distribution des résultats des vérifications de règles.
Analyse des tendances des instances
Affiche la tendance des résultats des vérifications de règles. Consultez les statistiques By Day ou By Hour. Filtrez également l'affichage pour afficher les tendances pour All, Strong rules ou Weak rules.
Statut d'exécution des instances
Affiche la distribution des résultats des vérifications de règles pour la date sélectionnée. Filtrez également l'affichage pour afficher la distribution des statuts pour All, Strong rules ou Weak rules. Les statuts d'exécution incluent :
Check Passed : La vérification s'est exécutée avec succès et son résultat respecte le seuil de qualité.
Strong Rule-based Check Instances for Which Critical Threshold Is Exceeded : Le seuil critique d'une règle stricte a été violé.
Strong Rule-based Check Instances for Which Warning Threshold Is Exceeded : Le seuil d'avertissement d'une règle stricte a été violé.
Weak Rule-based Check Instances for Which Critical Threshold Is Exceeded : Le seuil critique d'une règle faible a été violé.
Weak Rule-based Check Instances for Which Warning Threshold Is Exceeded : Le seuil d'avertissement d'une règle faible a été violé.
Check Failed : La vérification n'a pas pu s'exécuter car le système n'a pas pu obtenir la valeur à vérifier.
Principaux problèmes de qualité
Classe les tables selon le nombre de problèmes de règles et affiche les Top N Tables with Maximum Number of Quality Issues et les owners of tables with quality issues dans la plage de temps sélectionnée. Cliquez sur View more dans le coin supérieur droit pour accéder à la page Running Records, où vous pouvez consulter l'historique des vérifications de la table, afficher les détails des vérifications et résoudre les problèmes.
Le propriétaire d'une règle de qualité est le propriétaire de la partition de table associée. Ce propriétaire est généralement l'utilisateur qui a créé l'expression de filtre de partition.
Analyse de la configuration de qualité
Affiche la couverture globale des règles de qualité des données pour les tables selon les dimensions suivantes : Nombre de tables avec des règles de qualité configurées - Asset Ratio, No Rules Are Configured - Number of Tables, No Rules Are Enabled - Number of Tables, Configured with Rules with Which No Scheduling Node Is Associated - Number of Tables et Configured with Rules for Which No Alert Recipient Is Configured - Number of Tables. Cliquez sur View Details dans la colonne Actions pour afficher les détails de configuration des règles pour chaque table. Cinq cartes de métriques récapitulatives apparaissent en haut, y compris la carte Asset ratio of tables with configured rules, qui indique le pourcentage de tables de données pour lesquelles des règles de qualité sont configurées. Le tableau de classement ci-dessous liste les détails pour chaque table, tels que le Nombre de règles configurées, le Nombre de règles activées, le Nombre de règles associées à la planification, les Objets d'alerte abonnés et le Nombre de règles problématiques au cours des 30 derniers jours. Cliquez sur View Details pour afficher la configuration d'une seule table. Les dimensions sont décrites comme suit :
-
No Rules Are Configured : Compte les tables pour lesquelles aucune règle de qualité des données n'est configurée.
RemarqueActuellement, les statistiques sont calculées uniquement pour les sources de données MaxCompute.
No Rules Are Enabled : Compte les tables pour lesquelles des règles sont configurées, mais aucune n'est activée.
Configured with Rules with Which No Scheduling Node Is Associated : Compte les tables dont les règles de qualité configurées ne sont associées à aucun nœud de planification. Les règles sans association de planification ne s'exécutent que lorsqu'elles sont déclenchées manuellement.
Configured with Rules for Which No Alert Recipient Is Configured : Compte les tables dont les règles de qualité n'ont aucun destinataire d'alerte configuré. Sans destinataire, aucune notification n'est envoyée lorsque des problèmes sont détectés.