DataWorks:Guía de configuración de Data Quality Spec

Ejemplo de YAML

Definición simple de una regla de monitoreo:

datasets:
  - type: Table
    tables:
      - tb_d_spec_demo
    dataSource:
      name: odps_first
      envType: Dev
rules:
  - assertion: row_count > 0

Descripción de propiedades

Este ejemplo define una regla de monitoreo con las siguientes propiedades:

• datasets: El objeto monitoreado. Incluye tres propiedades:

  • type: El tipo del objeto monitoreado. Solo se admite Table.

  • dataSource: El origen de datos del objeto monitoreado, identificado por name y envType. Llame a ListDataSources para obtener los nombres de orígenes de datos disponibles.

    Nota

    Solo algunos orígenes de datos son compatibles. Supported data source types.

  • tables: Los nombres de las tablas que se van a monitorear.

    Nota

    Para orígenes de datos a nivel de base de datos, utilice el formato schema.table para monitorear tablas en esquemas no predeterminados.

• rules: Las reglas que deben cumplir los datos. Una configuración de monitoreo puede contener varias reglas.

  Durante el monitoreo, el sistema analiza los datos, calcula el valor de la métrica de cada regla y lo compara con el umbral para determinar si la regla se cumple.

  Una declaración assertion combina un tipo de métrica (por ejemplo, row_count), un símbolo de comparación (por ejemplo, >) y un umbral (por ejemplo, 0). Los resultados de la comprobación tienen tres estados:

  • pass: El valor de la métrica se encuentra dentro del rango del umbral.

  • fail: El valor de la métrica se encuentra fuera del rango del umbral.

  • error: Ocurrió una excepción durante la comprobación, como un error de sintaxis.

  Nota

  • Si especifica un umbral de nivel warn, el resultado de la comprobación también puede ser warn. Add multi-level threshold definitions.

  • Consulte supported built-in metric types para obtener más información sobre la declaración assertion.

  • Al crear una regla de monitoreo de Data Quality, también puede utilizar templates.

Umbral fijo

Compara el valor de una métrica con un valor fijo. Un umbral fijo consta de:

• una métrica

• un argumento (opcional)

• un símbolo de comparación (opcional)

• un umbral (opcional)

Ejemplo de configuración

rules: # El número de filas de datos debe ser mayor que 0 - assertion: row_count > 0 # El valor máximo de la columna size debe ser menor o igual a 500 - assertion: max(size) <= 500

Las cuatro partes de una expresión de umbral fijo:

Todos los operadores disponibles se enumeran en Supported comparison symbols.

Umbral de fluctuación

Compara el valor actual de la métrica con valores históricos. Por ejemplo, puede requerir que el recuento de usuarios de hoy no difiera del de ayer en más de 100, o que los ingresos de hoy se mantengan dentro del 10 % del promedio de 7 días.

Agregue change for antes de la metric para definir un umbral de fluctuación. Partes:

• change (palabra clave)

• un tipo de agregación (opcional)

• una ventana de tiempo

• percent (palabra clave, opcional)

• for (palabra clave)

• una métrica

• un argumento (opcional)

• un símbolo de comparación (opcional)

• un umbral (opcional)

El formato de la expresión combinada es: change [aggregate_type] [time_window] [percent] for metric [argument] [comparison_symbol threshold].

Ejemplo de configuración

Umbral de rango

Puede utilizar between...and... para definir un umbral de tipo rango.

datasets:
  - type: Table
    tables:
      - tb_d_spec_demo
    filter: dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'
    dataSource:
      name: odps_first
      envType: Dev
rules:
  - assertion: change 1 day ago percent for row_count
    warn: 
      - when not between -1% and 1%
    fail: 
      - when not between -5% and 5%

rules:
  - assertion: duplicate_count(phone)
    warn: when between 1 and 10
    fail: when > 10

Estrategia de manejo cuando warn y fail se superponen

Si los rangos de warn y fail se superponen, el sistema utiliza el estado más severo (fail).

Utilizar not between...and... para definir el complemento de un rango

Agregue not antes de between...and... para negar el rango:

rules:
  - assertion: duplicate_count(phone)
    warn: 
      - when not between -1% and 1%
    fail:
      - when not between -5% and 5%

El rango resultante:

rules:
  - assertion: row_count > 0
    severity: High

rules:
  - assertion: duplicate_count(phone) = 0
    collectFailedRows: true

rules:
  - assertion: id_null_count = 0
    id_null_count:
      expression: id IS NULL
    collectFailedRows: true
    failedRowsQuery: SELECT * FROM tb_d_spec_demo WHERE dt = '$[yyyymmdd-1]' AND id IS NULL

Establecer filtros de datos para reglas

Agregue un filter para comprobar solo un subconjunto de datos, como filas donde id no es NULL:

rules:
  - assertion: row_count > 0
    filter: id IS NOT NULL

Establecer filtros de datos para configuraciones de monitoreo

Agregue un filter a Scan.Dataset para aplicar el filter a todas las reglas de la configuración de monitoreo.

datasets:
  - type: Table
    tables:
      - tb_d_spec_demo
    filter: dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'
    dataSource:
      name: odps_first
rules:
  - assertion: row_count > 0

Con un filter en el dataset, el sistema aplica el filter antes de cada comprobación de regla.

El filter utiliza una expresión de tiempo $[yyyymmdd-1]. El sistema sustituye triggerTime con el desplazamiento aplicado en el filter. Parameter reference methods.

Símbolos de comparación admitidos (comparison symbol)

• >

• >=

• <

• <=

• =

• !=

• between ... and ...

Tipos de orígenes de datos admitidos

Tipos de orígenes de datos admitidos:

• maxcompute

• hologres

• emr

• mysql

• analyticdb_for_mysql

• analyticdb_for_postgresql

• cdh

• starrocks

Tipos de métricas integradas admitidas

• avg

• row_count

• sum

• min

• max

• distinct_count

• distinct_percent

• table_size

• missing_count

• missing_percent

• duplicate_percent

• duplicate_count

• group_by

• invalid_count

• invalid_distinct_count

Métodos de definición de ventana de tiempo (time_window)

Formatos de ventana de tiempo admitidos:

• hace n unidades de tiempo: n (minute[s]|hour[s]|day[s]|week[s]|month[s]) ago, por ejemplo, n months ago, n days ago o n hours ago.

  • Hace 1 día: 1 day ago

  • Hace 7 días: 7 days ago

  • Hace 1 mes: 1 month ago

  • Hace 8 horas: 8 hours ago

  • Hace 15 minutos: 15 minutes ago

• Últimas n unidades de tiempo: last n (minute[s]|hour[s]|day[s]|week[s]|month[s]) , por ejemplo, last 15 minutes, last 7 days o last 1 month.

  • Últimos 15 minutos: last 15 minutes

  • Últimas 24 horas: last 24 hours

    Nota

    Recopila un punto de datos en cada intervalo de una hora, comenzando 24 horas antes de la hora actual.

  • Últimos 7 días: last 7 days

  • Último 1 mes: last 1 month

• Un día específico de un mes o un día específico de una semana a la misma hora: 1/2/3/.../-3/-2/-1 of (current|last|n) (months|weeks) (ago)

  • El primer día del mes actual a la misma hora: 1 of current month

  • El último día del mes anterior a la misma hora: -1 of last month

  • Martes de hace 3 semanas a la misma hora: 2 of 3 weeks ago