DataWorks:Configurar reglas: por tabla

Paso 1: Ir a la página de detalles de calidad de la tabla

1. Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en Data Governance > Data Quality en el panel de navegación izquierdo. Seleccione un espacio de trabajo en la lista desplegable y haga clic en Go to Data Quality.

2. Vaya a la página de configuración de reglas para tablas.

   En el panel de navegación izquierdo, haga clic en Rule Setting > Configure by Table para ir a la página de configuración de reglas.

   1. En la lista Connection de la izquierda, seleccione la base de datos que contiene la tabla para la que desea configurar reglas.

   2. Filtre las tablas por criterios como el tipo de base de datos, la base de datos y el nombre de tabla. Haga clic en el nombre de la tabla de destino o haga clic en Rule Management en la columna Actions para abrir la página de detalles de calidad de la tabla.

      Esta página muestra todos los monitores y reglas de calidad de la tabla. Puede filtrar las reglas según si están asociadas con un monitor de calidad y definir el modo de ejecución para las reglas no asociadas.

Paso 2: Crear un monitor de calidad

1. Cree un monitor de calidad.

   Puede crear un monitor de calidad de una de las formas que se muestran a continuación:

   1. Método 1: En la página Table Quality Details, haga clic en la pestaña Rule Management. Haga clic en el icono junto a Monitor Perspective para crear un monitor de calidad.

   2. Método 2: En la página Table Quality Details, cambie a la pestaña de monitoreo de calidad. Haga clic en Create Monitor.

2. Configure los parámetros del monitor de calidad.

   Parámetro	Parámetro	Descripción
   Basic Configurations	Monitor Name	Introduzca un nombre personalizado para el monitor de calidad.
   	Quality Monitoring Owner	Especifique un propietario para el monitor de calidad. En una suscripción de alerta, puede establecer a este propietario como destinatario de las notificaciones por Email, Email and SMS o Telephone.
   	Monitored Object	Objeto que se comprueba para la calidad de datos. De forma predeterminada, es la tabla actual.
   	Data Scope	Use una expresión de filtro de partición para definir las particiones de la tabla que se comprobarán. Tabla no particionada: No es necesario configurar este parámetro. De forma predeterminada, se comprueba la Full Table. Tabla particionada: La expresión debe tener el formato partition_name=partition_value. El valor de partición puede ser un valor fijo o un valor de Appendix 2: Built-in partition filter expressions. Nota Esta configuración se ignora cuando configura reglas mediante una plantilla personalizada o SQL personalizado, ya que el SQL personalizado determina qué particiones se comprueban.
   Select Monitoring Rule	Select Monitoring Rule	Seleccione las reglas de calidad de datos que se aplicarán al intervalo de datos especificado. Nota Puede crear varios monitores de calidad para distintas particiones y asociar cada uno con reglas de calidad de datos diferentes. Si aún no ha creado una regla de calidad de datos, puede omitir este paso. Primero puede crear el monitor de calidad y luego agregar reglas. Para obtener más información sobre cómo crear una regla de calidad de datos, consulte Step 3. Configure data quality rules.
   Running Settings	Trigger Method	Método que desencadena el monitor de calidad. Triggered by Node Scheduling in Production Environment: Asocia el monitor de calidad con una tarea programada periódicamente especificada en DataWorks Operation Center. Después de que la tarea se ejecuta correctamente, las reglas de calidad de datos de este monitor de calidad se desencadenan automáticamente. Las tareas de simulación no desencadenan comprobaciones de reglas de calidad de datos. Triggered Manually: Desencadena manualmente las reglas de calidad de datos asociadas con el monitor de calidad actual. Importante Si la tabla que monitorea no es una tabla de MaxCompute y establece el Trigger Method en Triggered by Node Scheduling in Production Environment, la tarea programada periódicamente seleccionada no puede usar el resource group público de programación. De lo contrario, se produce un error cuando se ejecuta el monitor de calidad.
   	Associated Auto Triggered Node	Si establece el Trigger Method en Triggered by Node Scheduling in Production Environment, puede configurar este parámetro para especificar un nodo de programación asociado. Después de que el nodo de programación especificado se ejecuta correctamente, las reglas de calidad de datos se desencadenan automáticamente.
   	Resources	Recursos de cómputo usados para ejecutar las comprobaciones de reglas de calidad de datos. De forma predeterminada, se selecciona el origen de datos de la tabla monitoreada en el espacio de trabajo. Si selecciona otro origen de datos, compruebe que sus recursos pueden acceder a la tabla.
   Handling Policies	Quality Issue Handling Policies	Directiva que se aplica cuando se detecta un problema de calidad de datos. Alert: Cuando se detecta un problema de calidad de datos, se envía una notificación de alerta a los suscriptores del monitor de calidad. Las condiciones predeterminadas son: Strong rule - Critical anomaly, Strong rule - Warning anomaly, Strong rule - Check failed, Weak rule - Critical anomaly, Weak rule - Warning anomaly y Weak rule - Check failed. Blocks: Cuando se detecta un problema de calidad de datos, el sistema marca como fallido el nodo de programación de producción desencadenante y bloquea sus nodos descendentes. Esta acción bloquea la canalización de producción para evitar que los datos problemáticos se propaguen. La condición predeterminada es Strong rule - Critical anomaly. Importante Si establece la directiva en Blocks, también se desencadena una alerta cuando se detecta un problema de calidad de datos.
   	Alert Method Configuration	Puede enviar notificaciones de alerta mediante Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook o Telephone. Nota Para usar un bot de chat de DingTalk, Lark o Enterprise WeChat, agregue el bot de chat para obtener su URL de webhook y, a continuación, pegue la URL en la configuración de suscripción de alerta. El método Custom Webhook solo es compatible con DataWorks Enterprise Edition. Para obtener información sobre el formato de mensaje de una notificación de alerta que DataWorks envía mediante Custom Webhook, consulte Appendix: Webhook message format. Si selecciona Email, Email and SMS o Telephone como método de notificación, puede establecer Authorized object en Data Quality Monitoring Owner, Shift Schedule o Scheduling Task Owner. Data Quality Monitoring Owner: Envía notificaciones de alerta al Quality Monitoring Owner especificado en la sección Basic Configurations del monitor de calidad actual. Shift Schedule: Cuando un nodo de programación asociado desencadena una alerta de calidad, el sistema envía una notificación a on-duty user for the current day in the shift schedule. Scheduling Task Owner: Las notificaciones de alerta se enviarán al Head del nodo de programación asociado con el monitor de calidad.

3. Haga clic en Save para crear el monitor de calidad.

Paso 3: Configurar reglas de calidad de datos

1. En la página Table Quality Details, haga clic en la pestaña Rule Management, seleccione el monitor de calidad que creó y, a continuación, haga clic en Create Rule para ir a la página de configuración de reglas.

2. Cree una regla de calidad de datos.

   Data Quality proporciona los métodos que se muestran a continuación para configurar reglas. Seleccione el método que mejor se ajuste a sus requisitos empresariales.

   Método 1: Plantilla del sistema

   Data Quality proporciona decenas de rule templates integradas. En el panel izquierdo, haga clic en + Use junto a una plantilla para crear rápidamente una regla de calidad. Puede agregar varias reglas al mismo tiempo.

   Haga clic en + System template rule en la parte superior y, a continuación, modifique el parámetro Template para cambiar la plantilla de regla.

   Parámetros de plantilla de regla del sistema

   Parámetro	Description
   Rule Name	Introduzca un nombre personalizado para la regla.
   Template	Define el tipo de comprobación de regla que se aplicará en la tabla. Data Quality proporciona una amplia gama de plantillas de reglas integradas de nivel de tabla y de nivel de campo. Para obtener más información, consulte View built-in rule templates. Nota Los valores de promedio, suma, mínimo y máximo solo se aplican a campos numéricos.
   Rule Scope	Ámbito al que se aplica la regla. Para una regla de nivel de tabla, el ámbito es la tabla actual de forma predeterminada. Para una regla de nivel de campo, debe seleccionar un campo específico.
   Comparison Method	Especifica cómo valida la regla los datos de la tabla. Manual Settings: Permite establecer manualmente el método de comparación y los umbrales. Los métodos de comparación disponibles varían según la plantilla de regla. Las opciones que se muestran en la interfaz de usuario son las definitivas. Admite la comparación de resultados de Numeric Type, normalmente con un valor fijo (valor esperado). Los métodos de comparación incluyen Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than y Less Than or Equal To. Puede personalizar el intervalo de datos normales (umbral normal) y el intervalo de datos anómalos (umbral crítico). Admite la comparación de resultados de Fluctuation, que normalmente es una comparación de intervalos. Los métodos de comparación incluyen Absolute Value, Raise y Drop. Puede personalizar el intervalo de datos normales (umbral normal). También puede definir un intervalo de advertencia para datos con anomalías (umbral de advertencia) y un intervalo crítico para datos que no cumplen las expectativas (umbral crítico) según el grado de desviación. Intelligent Dynamic Threshold: El sistema usa un algoritmo inteligente para determinar automáticamente un umbral razonable, por lo que no necesita configurarlo manualmente. Si el sistema detecta datos anómalos, desencadena inmediatamente una alerta o bloquea la tarea asociada. Los umbrales dinámicos también admiten reglas fuertes y débiles. Nota Solo las reglas de calidad de SQL personalizado, intervalo personalizado y umbral dinámico admiten el método de comparación de umbral dinámico inteligente.
   Monitoring Threshold	Si establece Comparison Method en Manual Settings, puede especificar un Normal threshold y un Error Threshold. Normal threshold: Condición que el resultado de la comprobación debe cumplir para que los datos se consideren normales. Error Threshold: Condición que, si la cumple el resultado de la comprobación, indica datos críticamente anómalos y desencadena una alerta crítica. Si la regla ejecuta una comprobación de Fluctuation, también debe especificar un Warning Threshold. Warning Threshold: Condición que, si la cumple el resultado de la comprobación, indica una anomalía no crítica que no afecta las operaciones empresariales.
   Retain problem data	Si esta función está habilitada y una comprobación de regla falla, el sistema crea automáticamente una tabla para almacenar los datos problemáticos resultantes. Importante Puede configurar la función de retención de datos problemáticos para tablas de MaxCompute y Hologres. Solo algunas reglas de calidad de datos admiten la función de retención de datos problemáticos. Esta función se ve afectada por el estado de la regla. Si la regla está en Deactivate, el sistema no retiene los datos problemáticos.
   Status	El estado de la regla, que puede ser Enable o Deactivate. Esto controla si la regla se ejecuta en el entorno de producción. Importante Si establece el estado en Deactivate, la regla no puede desencadenarse para una ejecución de prueba ni mediante una tarea de programación asociada.
   Degree of importance	La gravedad de la regla. Regla fuerte: Una regla importante. De forma predeterminada, una anomalía crítica bloquea la tarea de programación asociada. Regla débil: Una regla regular. De forma predeterminada, una anomalía crítica no bloquea la tarea de programación asociada.
   Configuration Source	El origen de la configuración de la regla. En este caso, el valor es Data Quality.
   Description	Descripción opcional de la regla.

   Método 2: Plantilla personalizada

   Nota

   Antes de crear una regla mediante una plantilla personalizada, debe ir a Quality Assets > Rule Template Library para crear una plantilla de regla personalizada. Para obtener más información, consulte Create and manage custom rule templates.

   Cuando usa una plantilla personalizada, sus configuraciones básicas, como el FLAG parameter y el SQL de validación, se rellenan automáticamente. Puede especificar un Rule Name personalizado y configurar umbrales de monitoreo según el tipo de regla. Por ejemplo, una regla numérica requiere un umbral normal y un umbral crítico, mientras que una regla de tipo fluctuación también requiere un umbral de advertencia.

   Parámetros de plantilla de regla personalizada

   En esta sección solo se describen los parámetros exclusivos de las plantillas de regla personalizadas. Para obtener información sobre otros parámetros, consulte Parámetros de plantilla de regla del sistema.

   Parámetro	Descripción
   FLAG parameter	Define el comando SET que se ejecutará antes de que se ejecute el SQL de comprobación de calidad de datos.
   SQL	La lógica de validación SQL. La consulta debe devolver un único valor numérico. En el SQL personalizado, use corchetes para que coincida con la expresión de filtro de partición de la tabla. Ejemplo: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Nota La variable ${tableName} se reemplaza dinámicamente por el nombre de la tabla monitoreada. Para obtener más información sobre cómo configurar una expresión de filtro de partición, consulte Appendix 2: Built-in partition filter expressions. Si crea un quality monitor para la tabla y configura una regla mediante este método, el Data Scope especificado para el monitor se ignora. La cláusula WHERE de este SQL determina qué particiones se comprueban.

   Método 3: SQL personalizado

   Este método permite personalizar la lógica de validación de calidad de datos para la tabla.

   Parámetros de SQL personalizado

   En esta sección solo se describen los parámetros exclusivos de SQL personalizado. Para obtener información sobre otros parámetros, consulte Parámetros de plantilla de regla del sistema.

   Parámetro	Descripción
   FLAG parameter	Define el comando SET que se ejecutará antes de que se ejecute el SQL de comprobación de calidad de datos.
   SQL	La lógica de validación SQL. La consulta debe devolver un único valor numérico. En el SQL personalizado, use corchetes para que coincida con la expresión de filtro de partición de la tabla. Ejemplo: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Nota En la configuración, debe reemplazar <table_name> por el nombre real de la tabla. Esta instrucción SQL determina qué tabla se monitorea. Para obtener más información sobre cómo configurar una expresión de filtro de partición, consulte Appendix 2: Built-in partition filter expressions. Si crea un quality monitor para la tabla y configura una regla mediante este método, el Data Scope especificado para el monitor se ignora. La cláusula WHERE de este SQL determina qué particiones se comprueban.

   Método 4: Script personalizado

   Las reglas de script personalizado admiten validación de datos por hora y por minuto. Para obtener información sobre cómo escribir una regla de script, consulte Use a system rule template. Ejemplo:

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

3. (Opcional) Agregue la regla configurada a un monitor de calidad. Para obtener más información sobre los monitores de calidad, consulte Step 2. Create a quality monitor.

   Nota

   Una regla de calidad solo puede desencadenarse después de agregarla a un monitor de calidad. Puede seleccionar un monitor de calidad existente aquí o seleccionar esta regla de calidad en el paso Select quality rules al configurar un monitor de calidad.

4. Haga clic en Confirm.

Paso 4: Probar la regla

Puede probar las reglas de un monitor de calidad de las formas que se muestran a continuación.

Paso 5: Modifique las suscripciones de alerta

Configuró una suscripción de alerta en Step 2. Create a quality monitor. Cuando se activa una regla, el sistema envía una notificación a los destinatarios de la alerta especificados. Si necesita cambiar los destinatarios de la alerta, modifique la suscripción de alerta de una de las maneras que se indican a continuación.

Apéndice 1: Fórmulas de tasa de fluctuación y varianza

• Fórmula de la tasa de fluctuación: fluctuation rate = (sample value - baseline value) / baseline value

  • Valor de muestra: valor de la muestra del día actual. Por ejemplo, para una comprobación de tasa de fluctuación de 1 día del recuento de filas de una tarea SQL, el valor de muestra es el recuento de filas de la partición del día actual.

  • Valor de referencia: valor de referencia obtenido de muestras históricas.

  Nota

  • Si la regla es una comprobación de tarea SQL table row count, 1-day fluctuation rate, el valor de referencia es el recuento de filas de la partición del día anterior.

  • Si la regla es una comprobación de tarea SQL table row count, 7-day average fluctuation rate, el valor de referencia es el recuento promedio de filas de los 7 días anteriores.

• Fórmula de la varianza: (current sample value - average of last N days) / standard deviation

  Nota

  Solo puede usar la varianza para tipos numéricos como BIGINT y DOUBLE.

Apéndice 2: Expresiones de partición integradas

Suponga el escenario que se describe a continuación:

• La marca de tiempo de datos (bizdate) es 20240524

• La hora de programación es 10:30:00