DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。

前提条件

您需要购买DataWorks企业版及以上版本,才可以使用规则模板库功能。

背景信息

您可以通过规则模板库监控规则两个页面新建规则模板。新建成功后,即可操作和应用规则模板。

通过规则模板库页面新建规则模板

  1. 进入数据质量页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 单击相应工作空间后的进入数据开发
    4. 单击左上角的图标图标,选择全部产品 > 数据治理 > 数据质量
  2. 在左侧导航栏,单击配置 > 规则模板库
  3. 单击新建,选择新建文件夹
  4. 新建文件夹对话框中,输入名称并选择目标文件夹,单击确认
  5. 右键单击相应的文件夹名称,选择新建规则模板
    您也可以重命名删除相应的文件夹。
  6. 新建规则模板对话框,配置各项参数。
    新建规则模板
    参数 描述
    模板名称 请输入自定义的模板名称。
    规则字段 目前仅支持自定义SQL
    采样方式 目前仅支持自定义SQL
    Set Flag 请输入SQL的前置set语句。
    说明 多条语句之间使用英文逗号(,)分隔,语句末尾无需添加分号(;)。
    校检类型 目前支持数值型波动率型动态阈值型
    注意 您需要购买DataWorks企业版及以上版本,才可以选择动态阈值型
    校检方式 选择不同的校检类型,对应不同的校检方式:
    • 如果选择的校检类型数值型,目前校检方式仅支持与固定值比较

      仅可以返回经过countsum等运算后的一个值,与固定值比较。

    • 如果选择的校检类型波动率型,则校检方式包括7天平均值波动30天平均值波动1天周期比较7天周期比较30天周期比较7天方差波动30天方差波动1,7,30天波动检测上一周期比较
    • 如果选择的校检类型动态阈值型,目前校检方式仅支持动态阈值
    自定义SQL 请输入自定义的SQL语句,您可以使用${tableName}表示表名。
    说明 自定义sql的采集结果需要是一个值(一行一列的形式),这样才能跟固定值做比较。
    目标文件夹 选择该自定义规则模板需要存放的文件夹名称。
  7. 单击确认

通过监控规则页面新建规则模板

  1. 进入数据质量页面。
  2. 在左侧导航栏,单击监控规则
  3. 选择引擎/数据源,单击相应表名Topic名称后的配置监控规则
    说明 本文以MaxCompute表为例。
  4. 选择表的分区表达式,单击自定义规则
    自定义规则
  5. 单击相应自定义规则后的生成模板
  6. 新建规则模板对话框,配置各项参数。
    新建规则模板
    参数 描述
    模板名称 请输入自定义的模板名称。
    规则字段 目前仅支持自定义SQL
    采样方式 目前仅支持自定义SQL
    Set Flag 请输入SQL的前置set语句。
    说明 多条语句之间使用英文逗号(,)分隔,语句末尾无需添加分号(;)。
    校检类型 目前支持数值型波动率型动态阈值型
    注意 您需要购买DataWorks企业版及以上版本,才可以选择动态阈值型
    校检方式 选择不同的校检类型,对应不同的校检方式:
    • 如果选择的校检类型数值型,目前校检方式仅支持与固定值比较

      仅可以返回经过countsum等运算后的一个值,与固定值比较。

    • 如果选择的校检类型波动率型,则校检方式包括7天平均值波动30天平均值波动1天周期比较7天周期比较30天周期比较7天方差波动30天方差波动1,7,30天波动检测上一周期比较
    • 如果选择的校检类型动态阈值型,目前校检方式仅支持动态阈值
    自定义SQL 请输入自定义的SQL语句,您可以使用${tableName}表示表名。
    说明 自定义sql的采集结果需要是一个值(一行一列的形式),这样才能跟固定值做比较。
    目标文件夹 选择该自定义规则模板需要存放的文件夹名称。
  7. 单击确认
  8. 在左侧导航栏,单击配置 > 规则模板库,查看新建的规则模板。

操作规则模板

单击相应规则模板的名称,即可查看编辑删除复制该规则模板。操作规则模板
操作 描述
查看 您可以查看相应规则模板的参数配置、应用列表日志
  • 应用列表页面为您展示已应用该规则模板的数据质量规则。
  • 日志页面为您展示该规则模板的操作者操作时间操作内容
编辑 单击右上角的编辑,在编辑规则模板对话框中修改相应的参数,单击确认
删除 单击右上角的删除,在删除模板对话框中,单击确认
复制 单击右上角的复制,在复制规则模板对话框中,输入模板名称并选择目标文件夹,单击确认

应用规则模板

您可以在添加监控规则时,选择和使用创建的自定义规则模板。

  1. 进入数据质量页面。
  2. 在左侧导航栏,单击监控规则
  3. 选择引擎/数据源,单击相应表名Topic名称后的配置监控规则
    说明 本文以MaxCompute表为例。
  4. 选择表的分区表达式,单击创建规则
  5. 创建规则对话框,单击模板规则 > 添加监控规则
  6. 配置新建规则的参数,其中选择规则来源规则模板库,并选择相应的规则模板,更多参数说明请参见配置监控规则
    创建规则
  7. 单击批量添加