El panel de calidad muestra métricas clave de calidad de datos, tendencias de verificación de reglas, las principales tablas con incidencias y sus responsables, así como la cobertura de reglas en su espacio de trabajo. Esta información le permite identificar y resolver problemas de calidad de manera eficiente.
Acceso al panel de calidad
-
Inicie sesión en la consola de DataWorks. En la región objetivo, haga clic en en el panel de navegación izquierdo. Seleccione un espacio de trabajo en la lista desplegable y haga clic en Go to Data Quality.
En el panel de navegación izquierdo, haga clic en Quality Dashboard.
Notas de uso
El panel de calidad muestra estadísticas de calidad de datos para el espacio de trabajo actual.
En la esquina superior derecha del panel, seleccione ver estadísticas de Today, Yesterday, The Day Before Yesterday o un rango de fechas personalizado. De forma predeterminada, el panel muestra estadísticas en tiempo real del día actual.
-
Seleccione View Only Data in Production Environment para mostrar únicamente las estadísticas del entorno de producción.
NotaSi selecciona esta opción, los resultados de verificación de las tablas de desarrollo no se incluyen en las estadísticas. Solo los espacios de trabajo en modo estándar tienen entornos de desarrollo y producción separados. En el modo básico, todas las tablas de datos son tablas de producción. Para más información, consulte Differences between basic mode and standard mode.
-
También puede consultar la descripción general de la calidad de datos desde una de las siguientes perspectivas:
All: Muestra estadísticas de calidad de datos para todos los tipos de motor en el espacio de trabajo actual.
-
Un origen de datos específico ( MaxCompute , E-MapReduce , Hologres , CDH Hive , AnalyticDB for PostgreSQL , AnalyticDB for MySQL , StarRocks , MySQL y otros): Muestra estadísticas del origen de datos seleccionado.
NotaActualmente, es posible configurar reglas de monitoreo de calidad de datos para los siguientes tipos de orígenes de datos: MaxCompute, E-MapReduce, Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL y otros. Los orígenes de datos como SelectDB no admiten actualmente la configuración de reglas de monitoreo de calidad de datos.
NotaNo se admiten estadísticas para datos de streaming.
Métricas clave de calidad de datos
En esta sección, seleccione Rule o Table a la derecha para consultar las métricas clave de calidad de datos por regla o por tabla.
|
Categoría |
Métrica |
Descripción |
|
Table |
Número de tablas con reglas configuradas |
Cantidad de tablas en el espacio de trabajo que tienen reglas de calidad de datos configuradas para la fecha seleccionada. |
|
Número de tablas con problemas de calidad |
Cantidad de tablas donde al menos una instancia de verificación finalizó con un estado distinto de Check Passed en la fecha seleccionada. Esto incluye infracciones de umbral y errores del sistema. Completed Tables: Cantidad de tablas cuya instancia de verificación finalizó en la fecha seleccionada. Una instancia finalizada puede tener un estado de aprobación, infracción de umbral o error del sistema. |
|
|
Número de tablas con problemas de reglas fuertes |
Cantidad de tablas donde una verificación de regla fuerte finalizó con un estado distinto de Check Passed en la fecha seleccionada. Esto incluye infracciones de umbral y errores del sistema. Tables That Hit Critical Threshold: Cantidad de tablas que infringieron el umbral crítico de una regla fuerte en la fecha seleccionada. Tables That Hit Warning Threshold: Cantidad de tablas que infringieron el umbral de advertencia de una regla fuerte en la fecha seleccionada. |
|
|
Número de tablas con problemas de reglas débiles |
Cantidad de tablas donde una verificación de regla débil finalizó con un estado distinto de Check Passed en la fecha seleccionada. Esto incluye infracciones de umbral y errores del sistema. Tables That Hit Critical Threshold: Cantidad de tablas que infringieron el umbral crítico de una regla débil en la fecha seleccionada. Tables That Hit Warning Threshold: Cantidad de tablas que infringieron el umbral de advertencia de una regla débil en la fecha seleccionada. |
|
|
Rule |
Total de reglas de calidad de datos |
Número total de reglas creadas en el espacio de trabajo actual hasta la fecha seleccionada. |
|
Número de reglas con problemas |
Cantidad de reglas cuya instancia de verificación finalizó con un estado distinto de Check Passed en la fecha seleccionada. Esto incluye infracciones de umbral y errores del sistema. Completed Rules: Cantidad de reglas cuya instancia de verificación finalizó en la fecha seleccionada. Una instancia finalizada puede tener un estado de aprobación, infracción de umbral o error del sistema. |
|
|
Número de reglas fuertes con problemas |
Cantidad de reglas fuertes cuya instancia de verificación finalizó con un estado distinto de Check Passed en la fecha seleccionada. Esto incluye infracciones de umbral y errores del sistema. Rules Based on Which Tables Hit Critical Threshold: Cantidad de reglas cuya instancia de verificación infringió el umbral crítico de una regla fuerte en la fecha seleccionada. Rules Based on Which Tables Hit Warning Threshold: Cantidad de reglas cuya instancia de verificación infringió el umbral de advertencia de una regla fuerte en la fecha seleccionada. |
|
|
Número de reglas débiles con problemas |
Cantidad de reglas débiles cuya instancia de verificación finalizó con un estado distinto de Check Passed en la fecha seleccionada. Esto incluye infracciones de umbral y errores del sistema. Rules Based on Which Tables Hit Critical Threshold: Cantidad de reglas cuya instancia de verificación infringió el umbral crítico de una regla débil en la fecha seleccionada. Rules Based on Which Tables Hit Warning Threshold: Cantidad de reglas cuya instancia de verificación infringió el umbral de advertencia de una regla débil en la fecha seleccionada. |
Monitoreo de verificaciones de calidad
Consulte las tendencias y la distribución de los resultados de verificación de reglas.
Análisis de tendencias de instancias
Muestra la tendencia de los resultados de verificación de reglas. Puede consultar estadísticas By Day o By Hour. También puede filtrar la vista para mostrar tendencias de All, Strong rules o Weak rules.
Estado de ejecución de instancias
Muestra la distribución de los resultados de verificación de reglas para la fecha seleccionada. También puede filtrar la vista para mostrar la distribución de estados de All, Strong rules o Weak rules. Los estados de ejecución incluyen:
Check Passed: La verificación se ejecutó correctamente y su resultado cumplió con el umbral de calidad.
Strong Rule-based Check Instances for Which Critical Threshold Is Exceeded: Se infringió el umbral crítico de una regla fuerte.
Strong Rule-based Check Instances for Which Warning Threshold Is Exceeded: Se infringió el umbral de advertencia de una regla fuerte.
Weak Rule-based Check Instances for Which Critical Threshold Is Exceeded: Se infringió el umbral crítico de una regla débil.
Weak Rule-based Check Instances for Which Warning Threshold Is Exceeded: Se infringió el umbral de advertencia de una regla débil.
Check Failed: La verificación no se pudo ejecutar porque el sistema no logró obtener el valor a verificar.
Principales problemas de calidad
Clasifica las tablas según el número de problemas de reglas y muestra las Top N Tables with Maximum Number of Quality Issues y los owners of tables with quality issues dentro del rango de tiempo seleccionado. Haga clic en View more en la esquina superior derecha para ir a la página Running Records, donde podrá revisar el historial de verificaciones de la tabla, consultar los detalles de verificación y resolver cualquier problema.
El responsable de una regla de calidad es el propietario de la partición de tabla asociada. Por lo general, este responsable es el usuario que creó la expresión de filtro de partición.
Análisis de configuración de calidad
Muestra la cobertura general de las reglas de calidad de datos para las tablas en las siguientes dimensiones: Number of tables with configured quality rules-Asset Ratio, No Rules Are Configured-Number of Tables, No Rules Are Enabled-Number of Tables, Configured with Rules with Which No Scheduling Node Is Associated-Number of Tables y Configured with Rules for Which No Alert Recipient Is Configured-Number of Tables. También puede hacer clic en View Details en la columna Actions para consultar los detalles de configuración de reglas de cada tabla. En la parte superior aparecen cinco tarjetas de métricas de resumen, incluida la tarjeta Asset ratio of tables with configured rules, que muestra el porcentaje de tablas de datos con reglas de calidad configuradas. La tabla de clasificación inferior enumera los detalles de cada tabla, como Number of configured rules, Number of enabled rules, Number of rules associated with scheduling, Subscribed alert objects y Number of problematic rules in the last 30 days. Puede hacer clic en View Details para consultar la configuración de una sola tabla. Las dimensiones se describen a continuación:
-
No Rules Are Configured: Cuenta las tablas que no tienen reglas de calidad de datos configuradas.
NotaActualmente, las estadísticas se calculan solo para orígenes de datos de MaxCompute.
No Rules Are Enabled: Cuenta las tablas que tienen reglas configuradas, pero ninguna está habilitada.
Configured with Rules with Which No Scheduling Node Is Associated: Cuenta las tablas con reglas de calidad configuradas que no están asociadas a un nodo de programación. Las reglas sin asociación de programación solo se ejecutan cuando se activan manualmente.
Configured with Rules for Which No Alert Recipient Is Configured: Cuenta las tablas con reglas de calidad que no tienen un destinatario de alerta configurado. Sin un destinatario, no se envían notificaciones cuando se detectan problemas.