本文为您介绍补数据实例DAG图的相关功能。

背景信息

周期任务开发完成并提交发布后,任务会按照调度配置定时运行。如果您希望重新同步该周期任务历史时间段内的数据,则可以使用补数据功能,补计算该周期任务的历史数据。执行补数据操作后,会生成相应的补数据实例,该实例任务将按照指定的业务日期运行。DataWorks周期任务的补数据操作,详情请参见执行补数据并管理补数据实例,其支持的补数据模式如下:
  • 当前节点:用于为当前选择的目标周期任务节点执行补数据操作。
  • 当前节点及下游节点:用于为当前选择的目标周期任务节点及其下游节点的部分或全部节点任务(包含当前目标周期任务节点)执行补数据操作。
  • 海量节点模式:用于为当前所在地域,所选的目标工作空间中所有节点执行补数据操作。您可以配置该补数据操作的节点白名单或黑名单,选中或过滤无需执行补数据的节点。
  • 高级模式:用于批量为节点之间不存在依赖关系的多个节点进行补数据。您可以通过如下两种方式为补数据任务添加目标节点:
    • 您可以在当前周期任务的DAG图中,结合DAG的聚合功能,按照工作空间、所属责任人或优先级等维度将节点划分为组,直接勾选该节点组,快速添加目标类别的节点为补数据节点。
    • 您可以在周期任务界面,通过目标条件进行筛选过滤,在左侧任务列表中,勾选符合条件的节点为需要补数据的节点。

使用限制

DAG图的功能限制如下:
  • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。
  • DataWorks基础版和标准版用户可以免费试用节点聚合、上游分析、下游分析功能至2021年5月31日,到期后,必须升级DataWorks至专业版才可以继续使用该功能。升级DataWorks版本,详情请参见DataWorks增值版本
  • 当前仅华南1(深圳)地域支持使用DAG图的节点聚合、上游分析、下游分析功能。

实例DAG图

单击相应任务后的DAG图,打开该任务的DAG图。您可以在DAG图中进行如下操作:DAG
  • 节点聚合
    当周期实例任务的节点数量或层级过多时,您可以按照任务状态、工作空间、责任人、优先级等维度进行节点任务聚合,查看指定目标维度的节点数量。方便您了解各个维度节点任务的数量,合理分配并执行节点任务。以下示例为您展示,周期任务节点不聚合按优先级聚合的显示情况。
    • 周期任务节点不聚合时,显示如下图所示。不聚合
    • 周期任务节点按照优先级聚合时,显示如下图所示。您可以快速了解到当前周期任务的子节点共有6个优先级为1的节点任务。按优先级聚合节点任务
  • 上游节点分析
    周期任务通常存在上下游依赖关系,如果目标节点长时间未运行,则您可以对其进行上游节点分析,在DAG图中查看阻塞当前节点运行的上游节点,快速定位并及时处理相关运行报错,提升任务的执行效率。
    说明 仅支持对未运行的节点执行上游分析操作。
    示例2_节点任务长时间未运行,则您可以选中该节点,单击左上角的上游分析目标节点未运行分析结果得出,导致阻塞当前节点运行的上游节点任务为数据表同步指标统计,如下图所示。通过该分析结果,您可以快速定位阻塞节点,并及时处理相关报错。上游分析结果。
  • 下游节点分析
    当周期任务的节点数量或层级过多时,您可以进行下游节点分析,通过任务状态、工作空间、责任人、优先级等维度进行筛选,统计不同层级目标维度的节点数量,或统计所有层级目标维度的节点总数量。
    说明
    • 下游节点默认按照责任人聚合,统计所有层级该维度的节点总数量。
    • 下游分析使用分层展示下游节点分析结果时,最多展示6层。如果您希望展示更多层级,请单击左上角的继续分析
    示例对tag节点进行下游分析,结果如下:
    • 使用分层方式,并按照所属工作空间聚合,在不同层级展示不同工作空间的节点数量。分层展示下游分析结果
    • 使用合并方式,并按照所属工作空间聚合,将所有下游节点合并至同一层,展示所属不同工作空间的节点数量。使用合并方式展示下游分析结果
  • 选择DAG图的显示样式。

    您可以根据实际需要,单击DAG图所在界面右上角的功能图标,调整DAG图的显示样式。例如,全屏展示适配屏幕展示等。

    示例对0_2节点的下游节点,展示拆分组成组的DAG图。
    • 拆分组的DAG图如下所示。通过该方式,您可以直观的了解到所有节点的上下游关系。未拆分组展示下游节点
    • 成组的DAG图如下所示。通过该方式,以每行呈现5个节点任务,有序的为您展示下游节点,方便您快速获取下游节点的总数量。成组展示下游节点
  • 右键单击目标节点,执行相关操作。DAG图
    说明 单击右上角的刷新图标,只能刷新实例的DAG状态,不能刷新实例的运行日志。
    操作 描述
    展开父节点/子节点 当一个业务流程有3个及以上节点时,运维中心展示任务时会自动隐藏节点。您可以通过展开父子层级查看全部节点的内容。
    查看运行日志 查看当前实例正在运行、成功、失败等状态的运行日志。
    查看代码 查看当前实例的代码。
    编辑节点 单击后,即可跳转至数据开发页面,对当前节点的内容进行修改。
    查看血缘 查看当前实例的血缘关系。
    终止运行 仅支持对状态为等待运行运行中的实例进行终止运行操作,进行此操作后,该实例的状态被置为失败
    重跑 失败的任务或状态异常的任务重跑实例。
    重跑下游 当前节点的下游重跑实例,如果存在多个下游实例,会将这些实例全部重跑。
    置成功 修改当前实例的状态为成功,并运行下游未运行状态的任务。常用于处理出错节点。
    说明 仅支持置成功状态为失败的任务,不能置成功业务流程。
    紧急操作 当前实例在非常紧急的情况下的操作,紧急操作只对当前节点本次有效。

    选择去除依赖,即可解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,启动此节点。

    暂停(冻结) 将当前实例置为暂停(冻结)状态,并停止调度。
    恢复(解冻) 恢复暂停(冻结)的节点的调度。