全部产品
Search
文档中心

:配置数据质量监控

更新时间:Mar 15, 2024

本文为您介绍如何配置表ods_log_info_d的数据质量监控规则。

前提条件

在进行本实验前,请确保已完成采集数据加工数据

操作步骤

  1. 进入数据质量页面。

    登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据质量,在下拉框中选择对应工作空间后单击进入数据质量

  2. 进入表规则配置页面。

    在数据质量左侧导航栏,单击规则管理 > 按表配置根据如下参数定位目标表。

    • 数据源:E-MapReduce。

    • 数据库:您当前的生产项目。

    • 表:本案例需要为ods_log_info_d表设置监控规则。

  3. 在搜索结果中找到目标表,单击操作列的监控配置,进入该表的规则配置页面。具体配置参考下文操作。

  4. 配置分区表达式。

    1. 在表的监控规则配置页面,单击分区表达式后的image.png,进入添加分区页面。

    2. 在添加分区对话框中,选择分区表达式dt=$[yyyymmdd-1],并选择相应的数据质量插件

    3. 单击计算,查看计算结果是否符合预期,确认无误后单击确定

  5. 配置监控规则。

    1. 单击创建规则,进入创建规则页面。

    2. 单击添加监控规则,配置如下参数,并单击批量添加

      参数

      描述

      规则名称

      新建规则的名称。

      强弱

      设置规则的强度为

      动态阈值

      根据自身需求,选择是否开启动态阈值。

      说明

      您需要购买DataWorks企业版及以上版本,才可以使用动态阈值功能。

      规则来源

      包括内置模板规则模板库

      说明

      您需要购买DataWorks企业版及以上版本,才可以选择规则模板库

      规则字段

      请选择表级规则(table)

      规则模板

      请选择表行数,固定值

      比较方式

      请选择大于

      期望值

      设置为0,即比较方式为期望值大于0。

  6. 试跑质量规则。

    1. 单击试跑,进入试跑对话框。

    2. 试跑对话框中,选择调度时间资源组,单击试跑

    3. 试跑完成后,可根据界面指引查看试跑结果。

  7. 进行关联调度。

    1. 在数据质量规则配置页面,单击关联调度

    2. 关联调度对话框中,输入节点名称,单击添加

    3. 添加完成后,即可完成与调度节点任务的绑定,则任务实例运行完成会触发数据质量的检查。

  8. 订阅规则校验结果。

    1. 在数据质量规则配置页面,单击订阅管理

    2. 订阅管理对话框中,设置订阅方式接受对象

    3. 设置完成后,单击保存,您可以进入我的订阅页面进行查看和修改。