DataWorks data quality (DQC) es una plataforma robusta para monitorear y proteger sus datos. Detecta e intercepta proactivamente los "datos sucios" inesperados en sus pipelines de producción de datos antes de que se propaguen a sistemas posteriores. Esto garantiza decisiones de negocio precisas y reduce significativamente los costos de solución de problemas y de reejecución de recursos.
Conceptos clave y flujo de trabajo
Antes de utilizar la calidad de datos, debe comprender sus conceptos fundamentales y su flujo de trabajo. El sistema de calidad de datos se basa en las siguientes entidades principales:
Template: Define la lógica de validación de datos. DataWorks ofrece una amplia biblioteca de plantillas integradas (como el recuento de filas de tabla y el número de valores distintos en una columna). También puede crear plantillas personalizadas para cumplir con requisitos de negocio específicos.
Monitoring Rules: Una instancia específica de una plantilla de regla. Puede aplicar una plantilla a una columna de una tabla y configurar un umbral específico. Por ejemplo, la columna
order_counten la tabladaily_salesno puede ser nula.Monitor: Un plan de ejecución que asocia una o más Monitoring Rules con un nodo de programación. Cuando el nodo de programación se ejecuta correctamente, activa automáticamente todas las reglas de calidad asociadas para su validación.
Reglas fuertes/débiles y bloqueo: Establezca reglas como Strong rules o Weak rules. Si una comprobación falla, elija Blocks para detener tareas posteriores o enviar únicamente una Alert.
Flujo de trabajo típico:
Los nodos virtuales y los nodos de ejecución simulada no generan datos reales ni pueden activar reglas de calidad de datos.
Funciones
DataWorks data quality admite comprobaciones de calidad para servicios comunes de almacenamiento de big data, como MaxCompute, E-MapReduce, Hologres y AnalyticDB. Configure reglas de monitoreo en múltiples dimensiones, como integridad, precisión y consistencia, y asócielas con nodos de programación para habilitar la validación automatizada, alertas y bloqueos.
Los módulos principales de calidad de datos y sus páginas correspondientes en la consola son los siguientes:
|
Módulo |
Descripción |
|
|
La página de descripción general de calidad de datos muestra métricas clave de calidad para su workspace, incluida la tendencia y distribución de los estados de comprobación de reglas de calidad activados por ejecuciones de instancias, las tablas con más problemas de calidad y los responsables correspondientes, la cobertura de reglas de calidad, entre otros. Esto ayuda a los gestores de calidad a comprender rápidamente el estado general de la calidad de datos de un workspace y a resolver oportunamente los problemas para mejorarla. |
||
|
Activos de calidad |
Muestra una lista de todas las reglas de calidad configuradas. |
|
|
Data quality admite bibliotecas de plantillas de reglas personalizadas. Gestione de forma centralizada las reglas de monitoreo personalizadas comunes en una biblioteca de plantillas para mejorar la eficiencia en la configuración de reglas. |
||
|
Configuración de reglas |
Uno de los métodos principales para configurar reglas de monitoreo; permite configurar detalladamente una sola tabla. |
|
|
Configuración masiva de reglas para varias tablas que cumplen condiciones específicas, basada en plantillas de reglas existentes. |
||
|
Operaciones de calidad |
La página de lista de monitores de calidad muestra todas las tareas de monitoreo de calidad creadas en el workspace actual. |
|
|
Muestra los resultados de comprobación de reglas de las ejecuciones de tareas de monitoreo de calidad. Después de ejecutar una tarea de monitoreo de calidad, consulte los detalles en la página de registros de ejecución. |
||
|
Análisis de calidad |
Data quality permite crear plantillas de informes y agregar diversas métricas para la configuración y ejecución de reglas. Los informes se generan y envían automáticamente según el período estadístico, la hora de entrega y la configuración de suscripción establecidos. |
|
Facturación
Los costos de ejecución de las reglas de calidad de datos constan de dos partes:
Cargos de DataWorks: Facturación pay-as-you-go basada en el número de ejecuciones de instancias de reglas de calidad de datos. Para obtener más información, consulte Billing of data quality.
Costos del motor de cómputo: Las comprobaciones de reglas de calidad de datos generan sentencias SQL y las envían al motor de cómputo subyacente para su ejecución. Esto genera costos de cómputo del motor correspondiente (por ejemplo, costos de cómputo de MaxCompute). Dichos costos los cobra el proveedor del motor y no se reflejan en su factura de DataWorks.
Notas
Orígenes de datos compatibles: Solo se admiten MaxCompute, Hologres, E-MapReduce, DLF, CDH Hive, AnalyticDB PostgreSQL, AnalyticDB MySQL, StarRocks, MySQL, Lindorm y SQL Server. Las regiones admitidas varían según el tipo de origen de datos. Consulte las regiones compatibles con el motor específico.
Recopilación de metadatos: Antes de configurar reglas para orígenes de datos que no sean MaxCompute, como E-MapReduce, Hologres, AnalyticDB y CDH, complete primero la recopilación de metadatos. Para obtener más información, consulte Configure metadata collection.
Conectividad de red: Al comprobar orígenes de datos que no son de MaxCompute, el nodo de programación asociado debe ejecutarse en un resource group con una network connectivity solution configurada.
Flujo de trabajo de configuración y uso
1. Configurar reglas
Create Rule: Data quality permite crear reglas de calidad de datos por tabla. También use plantillas de reglas integradas o personalizadas para crear reglas de calidad de datos en lote para varias tablas. Para obtener más información, consulte Create a rule for a single table y Create rules in batches.
-
Suscribirse a alertas: Una vez creadas las reglas, configure notificaciones de alerta mediante suscripciones. Se admiten varios canales, incluidos correo electrónico, SMS, bot de grupo de DingTalk, WeCom, Lark, teléfono y webhooks personalizados.
Solo DataWorks Enterprise Edition y versiones superiores admiten el método de webhook personalizado.
2. Activar comprobaciones de reglas
En un Monitor, asocie reglas con un nodo de programación. Cuando el nodo de programación se ejecuta correctamente en Operation Center, las reglas de calidad de datos asociadas se activan automáticamente para su validación. DataWorks determina si debe marcar la instancia de tarea como fallida y bloquear las tareas posteriores según la fortaleza de la regla y los resultados de la comprobación, lo que evita la propagación de datos sucios.
3. Consultar resultados de comprobación
En la página Running Records, busque por nombre de tabla o nodo y consulte los resultados detallados de comprobación y los registros de cada ejecución de monitoreo de calidad. Para obtener más información, consulte View running records.
Preguntas frecuentes
¿Se duplican las alertas de calidad de datos de DataWorks y las alertas de grupo de DingTalk de MaxCompute?
MaxCompute no proporciona una función independiente de monitoreo de calidad de datos. Las alertas de calidad de datos recibidas en los grupos de DingTalk de MaxCompute se configuran y activan realmente a través de DataWorks data quality (DQC). DataWorks data quality genera sentencias SQL a partir de reglas de comprobación y las envía a motores de cómputo como MaxCompute para su ejecución. Una vez completadas las comprobaciones, se envían notificaciones según las suscripciones de alerta configuradas para las reglas.
Por lo tanto, las alertas de calidad de datos de DataWorks y las alertas en los grupos de DingTalk de MaxCompute no son dos sistemas independientes ni se superponen en funcionalidad. Solo necesita configurar reglas de monitoreo y suscripciones de alerta en DataWorks data quality.
La decisión de configurar el monitoreo de calidad de datos para una tabla depende de qué tan críticos sean los datos de esa tabla para su negocio. En el caso de tablas de negocio principales, configurar el monitoreo de calidad permite generar alertas oportunas o bloquear tareas posteriores cuando ocurren anomalías en los datos, evitando que datos vacíos o sucios causen interrupciones en el negocio.