本文以配置任务write_result的调度周期为周调度为例,为您介绍如何设置DataWorks的调度属性和依赖属性。
前提条件
请确保您已创建任务write_result,详情请参见创建同步任务。背景信息
DataWorks具有强大的调度能力,支持根据时间、依赖关系的节点触发机制。DataWorks可以为您保障每日千万级别的任务,根据DAG关系准确、准时运行,并且支持分钟、小时、天、周和月多种调度周期配置,详情请参见时间属性配置说明。配置调度属性
- 进入数据开发页面。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的数据开发。
- 在相应的业务流程下,双击打开离线同步节点write_result的编辑页面。
- 单击编辑页面右侧导航栏的调度配置。说明 手动业务流程中创建的节点需要手动触发,无法通过调度执行。
- 在时间属性区域,配置节点的调度时间属性。
更多时间属性介绍,详情请参见时间属性配置说明。参数 描述 实例生成方式 包括T+1次日生成和发布后即时生成。详情请参见实例生成方式:发布后即时生成实例。 调度类型 - 正常调度:按照调度周期配置的定时时间启动调度,正常执行任务(即会真实跑数据)。
- 暂停调度:按照调度周期配置的定时时间启动调度,但节点状态被置为暂停(即不会真实跑数据)。
- 空跑调度:按照调度周期配置的定时时间启动调度,但该节点为空跑状态(即不会真实跑数据)。
调度周期 节点的运行周期(年、月、周、日、小时和分钟),此处示例设置每周一、周二的 00:00
点启动调度。cron表达式 根据您配置的调度时间默认显示,不可以更改。 超时定义 当任务运行时长超过超时时间,任务将自动终止运行。 - 超时时间对周期实例、补数据实例、测试实例均生效。
- 超时时间默认值为3~7天,系统根据实际负载情况动态调整默认的任务超时时间,范围为3~7天不等。
说明- 如果您使用独享调度资源组运行任务,超时定义最大值可设置为72小时;如果您使用公共调度资源组运行任务,超时定义最大值可设置为168小时。
- 由于任务执行时间过长而导致任务超时终止,仍会收取该任务产生的流量、计算等费用。
重跑属性 包括运行成功或失败后皆可重跑、运行成功后不可重跑,运行失败后可以重跑和运行成功或失败后皆不可重跑。 出错自动重跑 如果重跑属性设置为运行成功或失败后皆可重跑和运行成功后不可重跑,运行失败后可以重跑时,会显示该属性,可以配置任务出错自动重跑。如果设置为运行成功或失败后皆不可重跑,则不会显示该属性,即任务出错不会自动重跑。 重跑次数 当勾选出错自动重跑后,您需要配置重跑次数。 重跑间隔 当勾选出错自动重跑后,您需要配置重跑间隔。默认每次重跑的间隔为30分钟,最小支持设置为1分钟,最大支持设置为30分钟。 生效日期 节点的有效日期,请根据自身需求进行设置。
配置依赖属性
配置离线同步节点的调度属性后,继续配置离线同步节点的依赖属性。
依赖属性中可以配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。
例如,当前节点的实例将在上游insert_data节点的实例运行完毕后,才会触发执行。
说明 从业务维度看,节点依赖关系设置就是下游节点等待上游节点产出表数据后,下游节点再对该表数据进行下一步操作,比如对上游产出的表数据进行进一步清洗,或者将上游清洗的结果表数据回流至其他数据库,但这些都需要等待上游节点执行成功(上游节点产出表数据)后才可以进行的操作,节点依赖关系的设置,保障的就是下游节点执行时,依赖的上游数据已经产出。关于调度依赖的逻辑说明详情,您可以参考文档:调度依赖逻辑说明。
在调度系统中,每一个工作空间中默认会创建一个工作空间名称_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。
提交并发布节点
- 在write_result节点的编辑页面,单击工具栏中的
图标。
- 提交节点。重要 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。
- 单击工具栏中的
图标。
- 在提交新版本对话框中,输入备注。
- 单击确认。
如果您使用的是标准模式的工作空间,提交成功后,开发环境便有了该节点,但如果您需要将节点发布至生产环境进行周期性调度,请单击右上角的任务发布,在此界面将节点发布至生产环境。具体操作请参见发布任务。节点只有提交至调度系统中,才会从第二天开始,自动根据调度属性配置的周期,在各时间点生成实例,并定时运行。说明 如果是23:30以后提交的节点,则调度系统从第3天开始,才会自动周期生成实例并定时运行。 - 单击工具栏中的
后续步骤
现在,您已经学习了如何设置离线同步节点的调度属性和依赖关系,您可以继续下一个教程。在该教程中,您将学习如何对提交的节点进行周期运维,并查看日志排错。详情请参见运行及排错。