补数据实例是对周期任务进行补数据时产生的实例,可以对补数据任务实例进行运维管理。例如查看运行状态,对任务实例进行终止、重跑和解冻等操作。

使用限制

  • 如果是补一个区间的数据任务,在第一天有一个任务实例失败了,则当天的补数据实例会被置为失败,第二天的任务实例也不会开始运行(只有当天的全部任务实例都成功,第二天的任务实例才会开始运行)。
  • 自依赖的周期任务补数据,如果补数据第一个实例前一天的周期实例没有运行,则该补数据任务也无法触发运行。如果补数据的第一个实例前一天没有周期实例,则补数据直接触发运行。
  • 目前仅周期实例支持在任务失败时产生报警。
  • 如果当前任务的周期实例正在运行中,补数据和测试实例必须等周期实例完成才能开始运行。
  • 如果周期实例和补数据实例同时都在运行,为了保证周期实例的正常运行,需要终止补数据实例的运行。

补数据

  1. 登录DataWorks控制台
  2. 在左侧导航栏,单击工作空间列表
  3. 单击相应工作空间后的进入数据开发
  4. 单击左上角的图标图标,选择全部产品 > 运维中心
  5. 在左侧导航栏,单击周期任务运维 > 周期任务
  6. 单击页面中间的箭头展开任务列表后,单击相应周期实例后的补数据,选择相应的补数据模式。
    您也可以打开DAG图,右键单击实例名称,鼠标悬停至补数据,选择相应的补数据模式。补数据

当前节点补数据

  1. 单击相应实例后的补数据 > 当前节点
  2. 配置补数据对话框中的参数。
    参数 描述
    补数据名称 通常会根据的您的节点自动生成一个补数据名称,您可以进行修改。
    选择业务日期 选择补数据任务的业务日期。
    当前任务 需要进行补数据的节点名称,不可修改。
    是否并行 您可以通过选择是否并行,控制同时生成多少个补数据实例来进行补数据:
    • 选择不并行,只有一个补数据实例,一个补数据实例下的多个业务日期串行执行。
    • 选择并行,您可以设置同时使用2组3组4组5组等多个补数据实例进行补数据。
      即多个补数据实例下有多个业务日期并行执行:
      • 如果业务日期的跨度时间少于选择的并行组数,则并行执行。例如业务日期是1月11日~1月13日,并行组数选择的是4组,则只会生成三个补数据实例(每个补数据实例对应一个业务日期),三个实例同时并发执行。
      • 如果业务日期的跨度大于选择的并行组数,则可能兼有串行和并行。例如业务日期是1月11日~1月13日,并行组数选择是2组,则会生成两个补数据实例(其中一个补数据实例会有两个业务日期,这两个业务日期对应的任务串行执行),两个补数据实例并行执行。
  3. 单击确定

当前节点及下游节点补数据

  1. 单击相应实例后的补数据 > 当前节点及下游节点
  2. 补数据对话框中,配置各项参数,并选择需要补数据的节点
    参数 描述
    补数据名称 通常会根据的您的节点自动生成一个补数据名称,您可以进行修改。
    选择业务日期 选择补数据任务的业务日期。
    是否并行 您可以通过选择是否并行,控制同时生成多少个补数据实例来进行补数据:
    • 选择不并行,只有一个补数据实例。
    • 选择并行,您可以设置同时使用2组3组4组5组等多个补数据实例进行补数据。
    选择需要补数据的节点 您可以根据任务名称任务类型筛选需要补数据的节点并进行选择。
  3. 单击确定

海量补数据

  1. 单击相应实例后的补数据 > 海量节点模式
  2. 补数据对话框中,配置各项参数。补数据
    参数 描述
    补数据名称 通常会根据的您的节点自动生成一个补数据名称,您可以进行修改。
    选择业务日期 选择补数据任务的业务日期。
    说明 建议不要补太长时间的数据,以免出现任务需要等待资源的情况。
    是否并行 您可以通过选择是否并行,控制同时生成多少个补数据实例来进行补数据:
    • 选择不并行,只有一个补数据实例。
    • 选择并行,您可以设置同时使用2组3组4组5组等多个补数据实例进行补数据。
    选择需要补数据的节点
    • 如果选择包含当前节点,则补的是当前节点及下游的数据。
    • 如果没有选择包含当前节点,则当前节点为空跑,补当前节点的下游数据。
    选择工作空间 通常展示您的所有项目补数据的项目,可以通过刷新选择相关的项目(此处支持模糊查询),然后将其加入补数据项目列表。
    节点白名单 添加选中项目外仍需要进行补数据的节点。
    说明 目前仅支持搜索节点ID。
    节点黑名单 添加选中项目中不需要进行补数据的节点。
    说明 目前仅支持搜索节点ID。
  3. 单击确定

为组合节点中的特定节点补数据

您在DataWorks V1.0中使用的工作流,在您升级DataWorks V2.0后会在运维中心自动转换为组合节点。如果您需要为组合节点中的特定节点进行补数据,需要进行以下操作:
  1. 运维中心页面,单击左侧导航栏中的周期任务运维 > 周期任务,打开相应任务的DAG图。
  2. 右键单击组合节点,选择查看内部节点查看内部节点
  3. 选择跳转页面中需要补数据的节点的上游节点,单击右下角节点ID后的复制图标。查看ID
  4. 返回周期任务页面,输入获取的内部节点ID进行搜索。
  5. 打开搜索结果的DAG图,右键单击节点名称,选择补数据 > 当前节点及下游节点
  6. 选择您需要补数据的组合节点内的特定节点。选择特定节点
说明 当前支持从组合节点查找到内部节点,但是不支持从内部节点查找组合节点。

实例列表

实例列表
操作 描述
筛选 在上图的模块1区域,您可以通过筛选条件过滤需要查询的实例。

您可以根据节点名称节点ID补数据名称节点类型责任人运行日期业务日期Region引擎类型引擎实例基线我的节点等条件进行精确筛选。

说明 默认筛选的业务日期是当前时间的前一天。
DAG图 可以打开当前节点的DAG图,查看实例运行的结果。
终止运行 仅支持对状态为等待运行运行中的实例进行终止运行操作,进行此操作后,该实例的状态被置为失败
重跑 重新调度此实例。
重跑下游 重跑当前节点的下游任务。
暂停(冻结) 将当前节点置为暂停(冻结)状态,并停止调度。
恢复(解冻) 将暂停(冻结)的节点恢复调度。
查看血缘 查看节点的血缘关系图。

实例DAG图

单击实例名称或操作栏中的DAG图,即可打开该实例的DAG图。您可以在DAG图中,右键单击实例进行相关操作。DAG图
说明 单击右上角的刷新图标,只能刷新实例的DAG状态,不能刷新实例的运行日志。
操作 描述
展开父节点/子节点 当一个业务流程有3个及以上节点时,运维中心展示任务时会自动隐藏节点。您可以通过展开父子层级查看全部节点的内容。
查看运行日志 查看当前实例正在运行、成功、失败等状态的运行日志。
查看代码 查看当前实例的代码。
编辑节点 单击后,即可跳转至数据开发页面,对当前节点的内容进行修改。
查看血缘 查看当前实例的血缘关系。
终止运行 仅支持对状态为等待运行运行中的实例进行终止运行操作,进行此操作后,该实例的状态被置为失败
重跑 失败的任务或状态异常的任务重跑实例。
重跑下游 当前节点的下游重跑实例,如果存在多个下游实例,会将这些实例全部重跑。
置成功 修改当前实例的状态为成功,并运行下游未运行状态的任务。常用于处理出错节点。
说明 仅支持置成功状态为失败的任务,不能置成功业务流程。
紧急操作 当前实例在非常紧急的情况下的操作,紧急操作只对当前节点本次有效。

选择去除依赖,即可解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,启动此节点。

暂停(冻结) 将当前实例置为暂停(冻结)状态,并停止调度。
恢复(解冻) 恢复暂停(冻结)的节点的调度。

实例状态说明

序号 状态类型 状态标识
1 运行成功状态 1
2 未运行状态 2
3 运行失败状态 3
4 正在运行状态 4
5 等待状态 5
6 冻结状态 6