监控规则是数据质量(DQC)的核心。数据质量支持MaxCompute、EMR(E-MapReduce)、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL监控,本文为您介绍如何配置MaxCompute监控。
操作步骤
步骤一:新增MaxCompute数据源
进入数据源页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入管理中心。
进入工作空间管理中心页面后,单击左侧导航栏的数据源,进入数据源页面。
单击新增数据源,添加MaxCompute数据源,详情请参见绑定MaxCompute计算资源。
单击当前页面左上方的
图标,选择。在数据开发页面左侧导航栏,单击计算资源,绑定已添加的MaxCompute计算资源。
说明本示例使用的测试表中添加的测试数据来自MaxCompute公开数据集,实际配置时,请为您的实际业务数据配置质量监控和质量监控规则。
步骤二:进入表质量详情页
单击当前页面左上方的
图标,选择。在左侧导航栏,单击。
在左侧数据源列表中,选择数据库后,找到需要配置数据质量规则的表,单击表名或操作列的监控配置,进入该表的表质量详情页。
说明您也可以输入目标表名(支持表名首字母模糊搜索),查找对应的表。
步骤三:创建质量监控
在表质量详情页的规则管理页签,单击质量监控视角后的
,进入新建质量监控页面。配置质量监控的相关参数。
说明您可以根据表的实际校验需求创建质量监控。创建质量监控的更多信息,详情请参见配置规则:按表(单表)。
在新建质量监控页面,设置质量监控名称(如
mc表行数大于2000的质量监控);监控对象选择目标表(如mc_test_tb);数据范围选择按分区设置范围,分区表达式填写ds=${yyyymmdd-1};描述中填写监控用途说明;触发方式选择手动触发,选择运行资源选择对应资源组;问题处置策略设置为告警;在选择质量规则区域单击批量选择添加所需规则;勾选订阅质量告警(邮件)后单击保存。单击保存。
步骤四:配置数据质量规则
在表质量详情页的规则管理页签,单击新建规则,进入规则配置页面。
本示例使用系统模板,创建数据质量规则。
说明您可以根据表的实际需要创建规则。创建规则的更多信息,详情请参见配置规则:按表(单表)。
在左侧系统模板列表中展开表行数分类,选择表行数,固定值模板。在右侧表单中,规则模板选择表行数,固定值,规则范围为
mc_test_tb,比较方式选择手动设置,监控阈值设置为正常阈值 <=2000、红色阈值 >2000,开启启用状态,重要程度选择弱规则。将规则添加至步骤三创建的质量监控。
勾选添加至质量监控,从下拉框中选择步骤三创建的质量监控任务,可按需勾选添加我为该质量监控告警订阅人,然后单击确定。
单击确定。
步骤五:测试规则执行
在表质量详情页的质量监控页签,找到已创建的质量监控,单击操作列的测试。
在测试运行对话框中,确认数据范围、调度时间参数后,单击测试运行。
对话框中还展示 质量监控 名称及 已启用规则数。
当显示启动成功后,您可以单击查看详情,查看测试运行的具体结果。
本示例的MaxCompute测试表中数据量大于2000行,因此质量监控校验结果为红色异常。
在质量采集及比较状态结果区域,可查看校验状态为异常,问题处置方式为告警,校验结果显示采样值为65000000,校验值为65000000,远超设定阈值2000。
测试规则可以正常触发后,您可以修改质量监控,将触发方式修改为生产调度触发,通过在DataWork的运维中心中,关联指定的周期调度任务,在节点运行完成后,自动触发该质量监控下的质量规则。
步骤六: 订阅质量监控
在表质量详情页的质量监控页签,找到已创建的质量监控,然后单击操作列的。
配置订阅方式和授权对象后,单击保存。
相关参考
按表配置质量监控规则及质量监控的更多信息,请参见配置规则:按表(单表)。
您也可以批量为表配置质量监控规则和质量监控,详情请参见配置规则:按模板(批量)。
查看质量监控执行详情,请参见查看质量监控执行详情。