周期任务是指调度系统按照调度配置自动定时运行的任务。您可以通过列表及DAG图的方式,快速查看任务的详细信息并执行相关操作。

背景信息

周期任务页面默认展示当前登录账号下的业务流程。
注意 请勿操作 projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。
实例生成方式包括 T+1次日生成发布后即时生成
  • T+1次日生成
    • 23:30之前提交发布的任务,第二天实例生效。
    • 23:30之后提交发布的任务,第三天实例生效。
  • 发布后即时生成:23:30之后发布的实时转实例功能不生效。详情请参见配置时间属性:发布后即时生成实例
如果您无法找到任务实例,则请参见 找不到任务实例如何处理处理。
周期任务页面通过列表和DAG图的方式,为您展示已提交的周期任务的详细内容。
  • 周期任务列表

    您可以通过条件筛选,展示该条件下目标任务的基本信息,并对该任务进行测试、补数据等相关操作,详情请参见查看周期任务列表

  • DAG图

    DAG图为您直观的呈现了目标周期任务的上下游节点任务概况,支持查看节点详情、血缘关系,测试节点任务等功能。同时,为您提供了节点聚合、上游分析、下游分析功能,方便您按照工作空间、责任人、优先级等维度,对图中的节点进行聚合,查看目标维度节点的总数量。您还可以对指定节点进行上下游分析,快速定位阻塞当前节点运行的上游节点,并查看当前节点的下游节点数量,掌握任务的运行情况。详情请参见查看周期任务DAG图

使用限制

DAG图的功能限制如下:
  • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。
  • DataWorks基础版和标准版用户可以免费试用节点聚合、上游分析、下游分析功能至2021年5月31日,到期后,必须升级DataWorks至专业版才可以继续使用该功能。升级DataWorks版本,详情请参见DataWorks增值版本
  • 当前仅华南1(深圳)地域支持使用DAG图的节点聚合、上游分析、下游分析功能。

进入周期任务页面

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
  2. 单击左上方的周期任务图标,选择全部产品 > 任务运维 > 运维中心(工作流)
  3. 在左侧导航栏,单击周期任务运维 > 周期任务。进入周期任务页面,查看周期任务列表或DAG图。

查看周期任务列表

单击页面中间的 箭头图标,展开周期任务列表。 周期任务列表
操作 描述
筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。
您可以根据 节点名称节点ID解决方案业务流程节点类型责任人Region调度资源组引擎类型引擎实例基线我的节点今日修改的节点暂停(冻结)节点孤立节点过期节点等条件进行精确筛选。
说明 任务名搜索的结果会受到其它筛选条件的影响,只有同时满足所有筛选条件的结果才可以展示。
DAG图 单击操作栏中的DAG图,即可打开该节点的DAG图。您可以在DAG图中查看节点的属性、操作日志、代码等信息。
测试 单击操作栏中的测试,即可对当前节点进行测试,详情请参见测试实例
补数据 单击操作栏中的补数据,即可对当前节点进行补数据,详情请参见补数据实例
更多 单击操作栏中的更多,可以进行暂停、恢复、查看实例等更多操作:
  • 单击暂停(冻结),即可将当前节点置为暂停(冻结)状态。暂停后,正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。
  • 单击恢复(解冻),即可将当前节点置为恢复(解冻)状态。恢复后,当前任务生成的实例及下游依赖实例正常调度。
  • 单击查看实例,即可查看此节点的周期实例。
  • 单击添加报警,即可为节点配置报警。
  • 单击修改责任人,即可修改节点责任人。
  • 单击添加到基线,即可将当前节点添加到基线。
  • 如果工作空间存在多个调度资源组,请单击修改调度资源组。在修改调度资源组对话框中,选择资源组,单击确定
  • 单击配置质量监控,即可配置数据质量,对数据进行校验。
  • 单击查看血缘,即可查看节点的血缘关系图。
  • 单击上下游,即可跳转至节点基本信息页面,查看节点的上游列表下游列表
批量操作 在上图的模块③区域,您可以批量选择任务,进行修改责任人修改调度资源组修改数据集成资源组暂停(冻结)恢复(解冻)添加报警添加到基线下线节点等操作。

查看周期任务DAG图

单击相应任务后的 DAG图,打开该任务的DAG图。您可以在DAG图中进行如下操作: DAG功能
  • 节点聚合
    当周期任务的节点数量或层级过多时,您可以按照工作空间、责任人、优先级等维度进行节点任务聚合,查看指定目标维度的节点数量。方便您了解各个维度节点任务的数量,合理分配并执行节点任务。以下示例为您展示,周期任务节点 不聚合按优先级聚合的显示情况。
    • 周期任务节点不聚合时,显示如下图所示。不聚合
    • 周期任务节点按照优先级聚合时,显示如下图所示。您可以快速了解到当前周期任务的子节点共有6个优先级为1的节点任务。按优先级聚合节点任务
  • 上游节点分析
    周期任务通常存在上下游依赖关系,如果目标节点长时间未运行,则您可以对其进行上游节点分析,在DAG图中查看阻塞当前节点运行的上游节点,快速定位并及时处理相关运行报错,提升任务的执行效率。
    说明 仅支持对未运行的节点执行 上游分析操作。
    示例 2_节点任务长时间未运行,则您可以选中该节点,单击左上角的 上游分析 目标节点未运行分析结果得出,导致阻塞当前节点运行的上游节点任务为 数据表同步指标统计,如下图所示。通过该分析结果,您可以快速定位阻塞节点,并及时处理相关报错。 上游分析结果。
  • 下游节点分析
    当周期任务的节点数量或层级过多时,您可以进行下游节点分析,通过工作空间、责任人、优先级等维度进行筛选,统计不同层级目标维度的节点数量,或统计所有层级目标维度的节点总数量。
    说明
    • 下游节点默认按照责任人聚合,统计所有层级该维度的节点总数量。
    • 下游分析使用分层展示下游节点分析结果时,最多展示6层。如果您希望展示更多层级,请单击左上角的继续分析
    示例对 tag节点进行 下游分析,结果如下:
    • 使用分层方式,并按照所属工作空间聚合,在不同层级展示不同工作空间的节点数量。分层展示下游分析结果
    • 使用合并方式,并按照所属工作空间聚合,将所有下游节点合并至同一层,展示所属不同工作空间的节点数量。使用合并方式展示下游分析结果
  • 选择DAG图的显示样式。

    您可以根据实际需要,单击DAG图所在界面右上角的功能图标,调整DAG图的显示样式。例如,全屏展示适配屏幕展示等。

    示例对 0_2节点的下游节点,展示 拆分组成组的DAG图。
    • 拆分组的DAG图如下所示。通过该方式,您可以直观的了解到所有节点的上下游关系。未拆分组展示下游节点
    • 成组的DAG图如下所示。通过该方式,以每行呈现5个节点任务,有序的为您展示下游节点,方便您快速获取下游节点的总数量。成组展示下游节点
  • 右键单击目标节点,执行相关操作。 DAG图
    操作 描述
    展开父节点 当一个业务流程有3个及以上节点时,运维中心展示任务时会自动隐藏节点。您可以通过展开父子层级查看更多的节点依赖关系。层级越大,展示越全面。
    展开子节点
    节点详情 单击后,即可跳转至节点基本信息页面,查看当前节点的输入表、输出表、上游列表和下游列表等信息。
    查看代码 查看当前节点的代码。
    编辑节点 单击后,即可跳转至数据开发页面,对当前节点的内容进行修改。
    查看实例 查看当前节点的周期实例。
    查看血缘 查看当前节点的血缘关系图。
    测试 单击后,您需要在冒烟测试对话框中,输入冒烟测试名称选择业务日期,单击确定,进入测试实例页面。
    补数据 包括当前节点当前节点及下游节点海量节点模式
    暂停(冻结) 将当前节点置为暂停(冻结)状态,并停止调度。
    恢复(解冻) 恢复暂停(冻结)的节点的调度。
    配置质量监控 配置当前节点的数据质量,对数据进行校验。