全部产品
Search
文档中心

大数据开发治理平台 DataWorks:进入数据质量概览(新版)

更新时间:Aug 17, 2023

数据质量概览为您展示当前工作空间下,需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等,帮助质量负责人快速了解工作空间数据质量整体情况,及时处理质量问题提升数据质量。

使用限制

该功能目前在灰度邀测中,如需使用,请联系技术支持人员处理。

进入资产质量概览页面

  1. 登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 单击左上角的图标图标,选择全部产品 > 数据治理 > 数据质量,默认进入概览页面。

使用说明

概览页面为您统计当前工作空间的资产质量情况。

  • 您可以在概览页面右上角,根据您的需求可以选择统计今日昨日前日或指定时间内的资产质量情况。默认选择今日数据进行即时统计。

  • 还支持您只查看生产环境的资产质量概况。

    说明

    选择只查看生产环境时,开发表校验结果将不会被纳入统计。仅标准模式工作空间有开发和生产的区分,简单模式工作空间所有数据表都是生产表。详情请参见必读:简单模式和标准模式的区别

  • 您还可以通过如下两种视角查看工作空间的资产质量总览。

    • 全部:为您统计当前工作空间所有类型引擎的资产质量概况。

    • 指定引擎类型:为您统计当前工作空间指定类型引擎的资产质量概况。

      说明

      暂不支持流式数据的统计。

资产质量重点关注

您可在该区域右侧选择查看规则粒度统计需要重点关注的资产质量概况。重点关注

类别

指标

描述

已配置规则表数

当前工作空间下,截止到当日(您在概览页面右上角指定的日期)已配置质量校验规则的表数量。

质量问题表数

当日质量检测实例运行完成并出现非「通过」状态的表数,包含质量阈值校验不通过及系统校验异常情况。

已检测表数:当日存在质量检测实例且实例运行已完成的表数量。运行完成包含质量校验通过、校验不通过和系统校验异常状态。

强规则问题表数

当日出现强规则执行完成,且状态为非「通过」状态的表数,包含质量阈值校验不通过及系统校验异常情况。

红色阻塞表数:当日存在强规则红色阈值校验不通过的表数。

橙色警告表数:当日存在强规则橙色阈值校验不通过的表数。

弱规则问题表数

当日出现弱规则执行完成,且状态为非「通过」状态的表数,包含质量阈值校验不通过及系统校验异常情况。

红色警告表数:当日存在弱规则红色阈值校验不通过的表数。

橙色提醒表数:当日存在弱规则橙色阈值校验不通过的表数。

规则

总质量规则数

当前工作空间下,截止到当日已创建的规则总数。

问题质量规则数

当日质量检测实例运行完成并出现非「通过」状态的规则数,包含质量阈值校验不通过及系统校验异常情况。

已检测规则数:当日质量检测实例运行完成的规则数。运行完成包含质量校验通过、校验不通过和系统校验异常状态。

问题强规则数

当日质量检测实例运行完成并出现非「通过」状态的强规则类型数,包含质量阈值校验不通过及系统校验异常情况。

红色阻塞规则数:当日质量检测实例运行完成并出现强规则红色阈值校验不通过的规则数。

橙色警告规则数:当日质量检测实例运行完成并出现强规则橙色阈值校验不通过的规则数。

问题弱规则数

当日质量检测实例运行完成并出现非「通过」状态的弱规则类型数,包含质量阈值校验不通过及系统校验异常情况。

红色警告规则数:当日质量检测实例运行完成并出现弱规则红色阈值校验不通过的规则数。

橙色提醒规则数:当日质量检测实例运行完成并出现弱规则橙色阈值校验不通过的规则数。

质量规则校验概况

为您统计实例运行后,触发的质量规则校验状态的趋势及分布情况。

指标

描述

图示

实例趋势分析

统计实例运行后,触发的质量规则校验状态的趋势,支持按天或小时对运行质量规则的实例数进行统计。您可以选择查看全部或只查看强规则弱规则的实例质量规则校验趋势。

实例趋势分析

实例运行状态

统计实例运行后,触发的质量规则校验状态的分布情况,支持对当日运行质量规则的实例数进行统计。您可以选择查看全部或只查看强规则弱规则的实例质量规则校验状态的分布情况。运行状态包括:

  • 通过:规则校验成功执行,且质量阈值校验符合预期。

  • 强规则红色阻塞:强规则红色阈值校验不通过

  • 强规则橙色警告:强规则橙色阈值校验不通过。

  • 弱规则红色警告:弱规则红色阈值校验不通过。

  • 弱规则橙色提醒:弱规则橙色阈值校验不通过。

  • 校验异常:规则校验未成功执行,系统未正确获取到校验值。

实例运行状态

TOP质量问题概况

根据问题质量规则数排行,为您统计截止到所选时间内的TOP10质量问题表及质量问题负责人列表,您可以单击右上角的查看更多,进入任务查询界面了解表历史校验记录及校验详情,并及时处理。

说明

质量规则负责人为数据表分区的质量负责人,通常为分区表达式的创建人。

资产质量配置分析

为您从已配置质量规则表比率未配置质量规则表数未启用质量规则表数关联调度配置缺失表数告警接收对象缺失表数维度展示数据表质量规则的整体覆盖情况。同时,您可以单击各维度下数据表操作列的查看详情查看对应表的规则配置详情。质量配置分析各维度说明如下:

  • 未配置质量规则:表一个质量规则都没有配置,将会被纳入统计。

    说明

    目前仅对MaxCompute数据源进行统计。

  • 未启用质量规则:表一个质量规则都没有启用,将会被纳入统计。

  • 关联调度配置缺失:数据表存在已配置但没有关联调度任务节点的质量规则,将会被纳入统计。未关联调度节点将导致质量规则只能通过试跑执行。

  • 告警接收对象缺失:数据表存在没有设置告警接收对象的质量规则,将会被纳入统计。未设置告警接收人时,如果规则运行后出现质量问题,将无法及时获取结果信息。