全部产品
Search
文档中心

大数据开发治理平台 DataWorks:创建并管理自定义规则模板

更新时间:Jan 18, 2024

DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。本文将为您介绍如何通过规则模板库页面和监控规则页面新建规则模板,以及如何操作规则模板。

前提条件

您需要购买DataWorks企业版及以上版本,才可以使用规则模板库功能。

背景信息

您可以通过规则模板库监控规则两个页面新建规则模板。新建成功后,即可操作和应用规则模板。

注意事项

自定义规则的变更操作仅对变更后引用该规则的任务生效,不会修改存量(现有)任务的自定义规则设置。

通过规则模板库页面新建规则模板

  1. 进入数据质量页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据质量,在下拉框中选择对应工作空间后单击进入数据质量

  2. 在左侧导航栏,单击配置 > 规则模板库

  3. 单击新建图标,选择新建文件夹

  4. 新建文件夹对话框中,输入名称并选择目标文件夹,单击确定

  5. 在左侧目录右键单击相应的文件夹名称,选择新建规则模板

    您也可以重命名删除相应的文件夹。

  6. 新建规则模板对话框,配置各项参数。

    image.png

    参数

    描述

    模板名称

    请输入自定义的模板名称。

    规则字段

    目前仅支持自定义SQL

    采样方式

    目前仅支持自定义SQL

    Set Flag

    请输入SQL的前置set语句。

    说明

    多条语句之间使用英文逗号(,)分隔,语句末尾无需添加分号(;)。

    校验类型

    目前支持数值型波动率型

    校验方式

    选择不同的校验类型,对应不同的校验方式:

    • 如果选择的校验类型数值型,目前校验方式仅支持与固定值比较

      仅可以返回经过countsum等运算后的一个值,与固定值比较。

    • 如果选择的校验类型波动率型,则校验方式包括7天平均值波动30天平均值波动1天周期比较7天周期比较30天周期比较7天方差波动30天方差波动1,7,30天波动检测上一周期比较

    自定义SQL

    请输入自定义的SQL语句,您可以使用${tableName}表示表名。

    说明

    自定义SQL的采集结果需要是一个值(一行一列的形式),这样才能跟固定值做比较。

    目标文件夹

    选择该自定义规则模板需要存放的文件夹名称。

  7. 单击确定

通过监控规则页面新建规则模板

  1. 进入数据质量页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据质量,在下拉框中选择对应工作空间后单击进入数据质量

  2. 在左侧导航栏,单击规则管理 > 规则列表

  3. 规则列表页面,根据条件筛选所需引擎、数据源、数据库实例,单击相应规则ID,进入该规则的详情页。

    说明

    本文以MaxCompute数据源为例。

  4. 选择表的指定分区表达式,单击自定义规则。在目标自定义规则后单击生成模板

    自定义规则

  5. 生成模板对话框,配置各项参数。

    新建规则模板

    参数

    描述

    模板名称

    请输入自定义的模板名称。

    规则字段

    目前仅支持自定义SQL

    采样方式

    目前仅支持自定义SQL

    Set Flag

    请输入SQL的前置set语句。

    说明

    多条语句之间使用英文逗号(,)分隔,语句末尾无需添加分号(;)。

    校验类型

    目前支持数值型波动率型

    校验方式

    选择不同的校验类型,对应不同的校验方式:

    • 如果选择的校验类型数值型,目前校验方式仅支持与固定值比较

      仅可以返回经过countsum等运算后的一个值,与固定值比较。

    • 如果选择的校验类型波动率型,则校验方式包括7天平均值波动30天平均值波动1天周期比较7天周期比较30天周期比较7天方差波动30天方差波动1,7,30天波动检测上一周期比较

    自定义SQL

    请输入自定义的SQL语句,您可以使用${tableName}表示表名。

    说明

    自定义SQL的采集结果需要是一个值(一行一列的形式),这样才能跟固定值做比较。

    目标文件夹

    选择该自定义规则模板需要存放的文件夹名称。

  6. 单击确定

  7. 在左侧导航栏,单击配置 > 规则模板库,查看新建的规则模板。

操作规则模板

单击相应规则模板的名称,即可查看编辑删除复制该规则模板。操作规则模板

操作

描述

查看

您可以查看相应规则模板的参数配置、应用列表日志

  • 应用列表页面为您展示已应用该规则模板的数据质量规则。

  • 日志页面为您展示该规则模板的操作者操作时间操作内容

编辑

单击右上角的编辑,在编辑规则模板对话框中修改相应的参数,单击确认

删除

单击右上角的删除,在删除模板对话框中,单击确认

复制

单击右上角的复制,在复制规则模板对话框中,输入模板名称并选择目标文件夹,单击确认

应用规则模板

您可以在添加监控规则时,选择和使用创建的自定义规则模板。

  1. 进入数据质量页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据质量,在下拉框中选择对应工作空间后单击进入数据质量

  2. 在左侧导航栏,单击规则管理 > 规则列表

  3. 规则列表页面,根据条件筛选所需引擎、数据源、数据库实例,单击相应规则ID,进入该规则的详情页。

    说明

    本文以MaxCompute数据源为例。

  4. 选择表的指定分区表达式,单击创建规则

  5. 创建规则对话框,单击模板规则 > 添加监控规则

  6. 配置创建规则的各项参数,其中规则来源选择为规则模板库,并选择相应的规则模板,更多参数说明请参见配置监控规则

    创建规则

  7. 单击批量添加