全部产品
Search
文档中心

大数据开发治理平台 DataWorks:配置示例:MaxCompute

更新时间:Jun 16, 2026

监控规则是数据质量(DQC)的核心。数据质量支持MaxCompute、EMR(E-MapReduce)、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL监控,本文为您介绍如何配置MaxCompute监控。

操作步骤

步骤一:新增MaxCompute数据源

  1. 进入数据源页面。

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 进入工作空间管理中心页面后,单击左侧导航栏的数据源,进入数据源页面。

  2. 单击新增数据源,添加MaxCompute数据源,详情请参见绑定MaxCompute计算资源

  3. 单击当前页面左上方的图标图标,选择全部产品 > 数据开发与运维 > DataStudio(数据开发)

  4. 在数据开发页面左侧导航栏,单击计算资源,绑定已添加的MaxCompute计算资源。

    说明

    本示例使用的测试表中添加的测试数据来自MaxCompute公开数据集,实际配置时,请为您的实际业务数据配置质量监控和质量监控规则。

步骤二:进入表质量详情页

  1. 单击当前页面左上方的图标图标,选择全部产品 > 数据治理 > 数据质量

  2. 在左侧导航栏,单击规则配置 > 按表配置

  3. 在左侧数据源列表中,选择数据库后,找到需要配置数据质量规则的表,单击表名或操作列的监控配置,进入该表的表质量详情页。

    说明

    您也可以输入目标表名(支持表名首字母模糊搜索),查找对应的表。

步骤三:创建质量监控

  1. 表质量详情页的规则管理页签,单击质量监控视角后的image进入新建质量监控页面。

  2. 配置质量监控的相关参数。

    说明

    您可以根据表的实际校验需求创建质量监控。创建质量监控的更多信息,详情请参见配置规则:按表(单表)

    新建质量监控页面,设置质量监控名称(如mc表行数大于2000的质量监控);监控对象选择目标表(如mc_test_tb);数据范围选择按分区设置范围,分区表达式填写ds=${yyyymmdd-1}描述中填写监控用途说明;触发方式选择手动触发选择运行资源选择对应资源组;问题处置策略设置为告警;在选择质量规则区域单击批量选择添加所需规则;勾选订阅质量告警(邮件)后单击保存

  3. 单击保存

步骤四:配置数据质量规则

  1. 表质量详情页的规则管理页签,单击新建规则进入规则配置页面。

  2. 本示例使用系统模板,创建数据质量规则。

    说明

    您可以根据表的实际需要创建规则。创建规则的更多信息,详情请参见配置规则:按表(单表)

    在左侧系统模板列表中展开表行数分类,选择表行数,固定值模板。在右侧表单中,规则模板选择表行数,固定值规则范围mc_test_tb比较方式选择手动设置监控阈值设置为正常阈值 <= 2000、红色阈值 > 2000,开启启用状态重要程度选择弱规则

  3. 将规则添加至步骤三创建的质量监控。

    勾选添加至质量监控,从下拉框中选择步骤三创建的质量监控任务,可按需勾选添加我为该质量监控告警订阅人,然后单击确定

  4. 单击确定

步骤五:测试规则执行

  1. 表质量详情页的质量监控页签,找到已创建的质量监控,单击操作列的测试

  2. 测试运行对话框中,确认数据范围调度时间参数后,单击测试运行

    对话框中还展示 质量监控 名称及 已启用规则数

  3. 当显示启动成功后,您可以单击查看详情,查看测试运行的具体结果。

    本示例的MaxCompute测试表中数据量大于2000行,因此质量监控校验结果为红色异常。

    质量采集及比较状态结果区域,可查看校验状态为异常,问题处置方式为告警,校验结果显示采样值为65000000,校验值为65000000,远超设定阈值2000。

  4. 测试规则可以正常触发后,您可以修改质量监控,将触发方式修改为生产调度触发,通过在DataWork的运维中心中,关联指定的周期调度任务,在节点运行完成后,自动触发该质量监控下的质量规则。

步骤六: 订阅质量监控

  1. 表质量详情页的质量监控页签,找到已创建的质量监控,然后单击操作列的更多 > 告警订阅

  2. 配置订阅方式授权对象后,单击保存

相关参考