DataWorks提供代码模板功能以便快速标记和管理节点,支持通过开启调度功能配置周期任务的调度属性及重跑规则,并通过安全隔离、代码评审和强制冒烟测试确保任务正确性与安全性。本文将为您介绍这些功能的配置方法。
使用限制
仅空间管理员可进行系统配置,如需操作,可授予用户空间管理员角色权限,详情请参见添加空间成员并管理成员角色权限。
配置模板仅对新建的周期任务生效。
调度设置的默认调度属性仅对新建的周期任务生效。
安全设置与其他仅在当前工作空间生效。
功能入口
进入DataWorks工作空间列表页,在顶部切换至目标地域,找到目标工作空间,单击操作列的快速进入> Data Studio,进入Data Studio。
在左侧导航栏底部单击
> DataStudio 设置,进入设置页面。
配置代码模板
代码模板是在创建节点后,默认展示的内容,包括节点类型、节点的创建用户、节点的创建时间等信息,帮助您快速标记该节点。通常用于业务层进行节点管理。
设置代码模板
在调度设置页签,找到目标代码类型,单击其对应的编辑按钮,即可根据需求修改该类型节点的代码模板。
DataWorks支持修改的节点类型,请参见支持配置模板的节点列表。
编辑完成后,保存并确认修改。
您可以通过新建相应节点来查看代码模板修改后的效果。
模板配置可用变量
在定义代码模板时,您可使用相关变量来记录新建该类型任务时的相关信息,目前支持在模板中定义的变量有:
${author}:记录节点创建人。在创建节点时,该变量会自动填充为当前登录账号。
${createTime}:记录节点创建时间。在创建节点时,该变量会自动填充为当前系统时间。
支持配置模板的节点列表
DataWorks支持配置自定义代码模板的节点类型如下:
引擎类型 | 节点类型 |
MaxCompute | |
Hologres | |
EMR | |
CDH | |
ClickHouse | |
通用 | |
设置周期任务的默认调度配置
若新建的周期任务需周期性运行,需先开启调度功能,任务的调度配置才能生效。您还可以设置默认资源组、重跑属性、重跑次数和时间间隔等信息。
当前设置仅对新建的周期任务生效。
在调度设置页签,单击修改设置调度任务相关功能的默认配置。
功能项
描述
启用调度周期
开启该功能后,当前工作空间下的周期任务才会自动调度运行。
说明关闭调度后,操作当天已生成的任务仍会正常执行,但当晚不会生成第二天待运行的周期实例。
调度时区
DataWorks工作空间所在地域对应的时区即为调度时区(即任务定时调度时间所使用的时区),DataWorks部分地域支持修改调度时区,详情请参见支持修改调度时区的地域、如何切换时区。
定时调度时间
默认定时调度时间在
00:00~00:30随机生成,您可根据业务需求自定义。调度资源组
任务调度运行时默认使用的资源组。
数据集成资源组
数据集成任务运行时默认使用的集成资源组。
重跑属性
周期任务运行时默认的重跑策略。
说明当重跑属性配置为可重跑时,应尽量保证任务的幂等性,避免多次重跑出现数据质量问题。
自动重跑次数
周期任务调度执行失败情况下,默认自动重跑的次数。
重跑次数最少配置为1(即任务出错后自动重跑1次),最多配置为10(即任务出错后会自动重跑10次)。您可以根据业务需求进行修改。
重跑间隔
周期任务重跑时默认的重跑时间间隔。
时间间隔最小支持设置为1分钟,最大支持设置为30分钟。
单击保存配置默认调度配置信息。
调度设置配置完成后,新建的周期任务将会使用相关功能的默认配置。
安全设置与其他
DataWorks提供安全隔离功能,支持代码与日志隔离、强制代码评审及强制冒烟测试,确保任务正确性与代码可靠性,您可根据业务需求在安全设置与其他页签进行灵活配置。
开启安全隔离代码和日志
开启安全隔离代码和日志后,非本工作空间中的成员将无权限查看本工作空间的任务代码及运行日志。如需查看,请联系管理员将您添加为空间成员,详情请参见添加空间成员并管理成员角色权限。
启用任务提交展示基线
开启强制代码评审
在当前工作空间开启强制代码评审后,指定范围内的节点必须经评审人审核通过,才可发布至生产环境。您可以配置评审人、需要强制评审的基线范围及通知方式。
代码评审仅支持DataWorks专业版及以上版本(专业版、企业版)。若未看到强制评审开关,请确认已开通支持该功能的版本。
在安全设置与其他页签的代码评审区域,开启强制评审并配置以下参数。
配置项 | 说明 |
强制评审 | 控制当前工作空间的指定范围内任务在发布至生产环境前是否必须通过代码评审。未开启时,仍可手动发起代码评审,但评审结果不会阻塞发布。 |
项目代码评审人 | 配置提交节点时选择评审人的策略。
仅支持选择当前工作空间下具有开发角色权限的用户。可配置一个或多个评审人;配置多个评审人时,一人通过评审即可。 |
指定强制代码评审基线范围 | 按节点所属基线的优先级选择需要强制评审的任务范围,可选择1级基线任务、3级基线任务、5级基线任务、7级基线任务、8级基线任务及非基线任务,支持多选。选择对应级别的基线任务后,该级别基线上的节点提交时需要评审;选择非基线任务后,当前工作空间中新建的节点需要评审。 |
代码评审通知方式 | 在评审任务分配时通知评审人,在评审状态变更时通知提交人。支持短信、钉钉群机器人webhook、邮件、微信群webhook、飞书webhook及普通webhook,可按需选择。 说明 普通webhook仅支持DataWorks企业版。钉钉群机器人安全配置仅支持关键字方式,关键字必须包含 代码评审产生的报警短信和报警电话会计入报警资源用量。详情请参见查看和设置报警资源。 |
发起和处理代码评审的操作步骤,请参见代码评审。
启用强制冒烟测试
开启该功能后,发布任务时需确保冒烟测试运行通过,任务才能正常发布。更多详情请参见冒烟测试。
启用后,在发布流水线的生产检查器阶段会出现发起冒烟测试按钮并显示黄色警告图标,提示需执行冒烟测试;第三阶段发布到生产环境的确认发布按钮在冒烟测试通过前无法继续操作。
启用依赖检查功能
开启该功能后,发布任务时系统会自动检查当前节点配置的上游依赖是否与代码血缘分析结果一致,只有当两者匹配时,任务才能被成功发布。更多详情请参见调度依赖。