全部产品
Search
文档中心

大数据开发治理平台 DataWorks:进入数据质量大盘

更新时间:Jun 06, 2024

数据质量大盘为您展示当前工作空间下,需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等,帮助质量负责人快速了解工作空间数据质量整体情况,及时处理质量问题提升数据质量。

说明

新版数据质量正在逐步上线中,具体支持地域请以实际控制台为准,如果您的业务所在地域暂时无法使用新版数据质量的相关功能,请参见旧版数据质量文档。

进入数据质量大盘页面

  1. 进入数据质量页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据质量,在下拉框中选择对应工作空间后单击进入数据质量

  2. 在左侧导航栏单击质量大盘,进入数据质量大盘。

使用说明

数据质量大盘为您统计当前工作空间的数据质量情况。

  • 您可以在概览页面右上角,根据您的需求可以选择统计今日昨日前日或指定时间内的数据质量情况。默认选择今日数据进行即时统计。

  • 还支持您只查看生产环境的数据质量概况。

    说明

    选择只查看生产环境时,开发表校验结果将不会被纳入统计。仅标准模式工作空间有开发和生产的区分,简单模式工作空间所有数据表都是生产表。详情请参见必读:简单模式和标准模式的区别

  • 您还可以通过如下两种视角查看工作空间的数据质量总览。

    • 全部:为您统计当前工作空间所有类型引擎的数据质量概况。

    • 指定数据源(MaxComputeE-MapReduceHologresAnalyticDB PostgreSQLAnalyticDB MySQL):为您统计当前工作空间指定数据源的数据质量概况。

      说明

      暂不支持流式数据的统计。

数据质量重点关注

您可在该区域右侧选择查看规则粒度统计需要重点关注的数据质量概况。重点关注

类别

指标

描述

已配置规则表数

当前工作空间下,截止到您在概览页面右上角指定的日期,已配置质量校验规则的表数量。

质量问题表数

当日质量检测实例运行完成并出现非通过状态的表数,包含质量阈值校验不通过及系统校验异常情况。

已检测表数:当日存在质量检测实例且实例运行已完成的表数量。运行完成包含质量校验通过、校验不通过和系统校验异常状态。

强规则问题表数

当日出现强规则执行完成,且状态为非通过状态的表数,包含质量阈值校验不通过及系统校验异常情况。

红色异常表数:当日存在强规则红色阈值校验不通过的表数。

橙色异常表数:当日存在强规则橙色阈值校验不通过的表数。

弱规则问题表数

当日出现弱规则执行完成,且状态为非通过状态的表数,包含质量阈值校验不通过及系统校验异常情况。

红色异常表数:当日存在弱规则红色阈值校验不通过的表数。

橙色异常表数:当日存在弱规则橙色阈值校验不通过的表数。

规则

总质量规则数

当前工作空间下,截止到当日已创建的规则总数。

问题质量规则数

当日质量检测实例运行完成并出现非通过状态的规则数,包含质量阈值校验不通过及系统校验异常情况。

已检测规则数:当日质量检测实例运行完成的规则数。运行完成包含质量校验通过、校验不通过和系统校验异常状态。

问题强规则数

当日质量检测实例运行完成并出现非通过状态的强规则类型数,包含质量阈值校验不通过及系统校验异常情况。

红色异常规则数:当日质量检测实例运行完成并出现强规则红色阈值校验不通过的规则数。

橙色异常规则数:当日质量检测实例运行完成并出现强规则橙色阈值校验不通过的规则数。

问题弱规则数

当日质量检测实例运行完成并出现非通过状态的弱规则类型数,包含质量阈值校验不通过及系统校验异常情况。

红色异常规则数:当日质量检测实例运行完成并出现弱规则红色阈值校验不通过的规则数。

橙色异常规则数:当日质量检测实例运行完成并出现弱规则橙色阈值校验不通过的规则数。

质量运行监控

为您统计实例运行后,触发的质量规则校验状态的趋势及分布情况。

指标

描述

图示

实例趋势分析

统计实例运行后,触发的质量规则校验状态的趋势,支持按天按小时对运行质量规则的实例数进行统计。您可以选择查看全部或只查看强规则弱规则的实例质量规则校验趋势。

实例趋势分析

实例运行状态

统计实例运行后,触发的质量规则校验状态的分布情况,支持对当日运行质量规则的实例数进行统计。您可以选择查看全部或只查看强规则弱规则的实例质量规则校验状态的分布情况。运行状态包括:

  • 通过:规则校验成功执行,且质量阈值校验符合预期。

  • 强规则红色异常:强规则红色阈值校验不通过

  • 强规则橙色异常:强规则橙色阈值校验不通过。

  • 弱规则红色异常:弱规则红色阈值校验不通过。

  • 弱规则橙色异常:弱规则橙色阈值校验不通过。

  • 校验失败:规则校验未成功执行,系统未正确获取到校验值。

实例运行状态

TOP质量问题概况

根据问题质量规则数排行,为您统计截止到所选时间内的TOP质量问题表质量问题负责人列表,您可以单击右上角的查看更多,进入运行记录界面了解表历史校验记录及校验详情,并及时处理。

说明

质量规则负责人为数据表分区的质量负责人,通常为分区表达式的创建人。

质量配置分析

为您从已配置质量规则表数资产比率未配置质量规则表数未启用质量规则表数关联调度配置缺失表数告警接收对象缺失表数维度展示数据表质量规则的整体覆盖情况。同时,您可以单击各维度下数据表操作列的查看详情查看对应表的规则配置详情。质量配置分析各维度说明如下:

  • 未配置质量规则:数据表一个质量规则都没有配置,将会被纳入统计。

    说明

    目前仅对MaxCompute数据源进行统计。

  • 未启用质量规则:数据表一个质量规则都没有启用,将会被纳入统计。

  • 关联调度配置缺失:数据表存在已配置但没有关联调度任务节点的质量规则,将会被纳入统计。未关联调度节点将导致质量规则只能通过测试运行执行。

  • 告警接收对象缺失:数据表存在没有设置告警接收对象的质量规则,将会被纳入统计。未设置告警接收人时,如果规则运行后出现质量问题,将无法及时获取结果信息。