周期实例是周期任务达到启用调度所配置的周期性运行时间时,被自动调度的实例快照。您可以通过列表及DAG图的方式,快速查看实例的详细信息并执行相关操作。

相关概念

正常任务:即真实执行代码逻辑的任务,不包括空跑(调度属性为空跑的任务、调度任务在非调度时间范围内产生的实例、分支节点分支未被选中的空跑任务、实时转实例产生的过期任务等)与被冻结的任务。

使用限制

  • 版本要求:
    • 仅DataWorks专业版及以上版本用户才可以使用运行诊断功能,目前支持您免费体验,但建议升级至专业版以获取更多产品能力。详情请参见智能诊断
    • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。详情请参见DataWorks版本服务计费说明
  • 权限管控:

    部分功能仅支持有运维权限的用户进行操作,如果功能入口置灰或者没有功能入口,请单击右上角工作空间管理 > 成员管理,进入成员管理页面检查目标用户是否有运维权限。详情请参见:空间级模块权限管控

  • 功能使用限制:
    • 不支持手动删除周期实例,实例在过期后(30天左右)平台将自动删除。如果任务不需要再运行,可以选择冻结实例。
    • 公共调度资源组上执行的任务,其实例保留一个月(30天)、日志保留一周(7天)。
    • 独享调度资源组上执行的任务,其实例、日志保留一个月(30天)。
    • 完成状态的实例日志大于3M时,每天会定时进行清理。

注意事项

  • 周期任务定时生成周期实例,实例会按最新的代码运行任务。如果您的任务在实例生成后修改了代码并重新提交发布,则未运行的实例会拉取最新的代码运行任务。
  • 如果您需要监控任务的执行情况,需要先对该任务设置相应的监控规则,详情请参见:智能监控概述。对于配置了监控报警的任务,如果运行失败但您未收到报警信息,请检查是否已在报警联系人页面配置了您的手机号码与邮箱地址,详情请参见:报警信息
  • 首次生成周期实例的时间与您选择的实例生成方式有关,实例生成方式包括T+1次日生成发布后即时生成,详情请参见:实例生成方式
    说明 手动重跑任务不会触发自定义规则报警。

任务运行与问题定位

调度任务运行需要满足上游任务运行成功、当前任务定时时间已到、调度资源充足、当前任务未冻结等条件,详情请参见:任务运行条件

如果任务为未运行状态,建议您先通过DAG面板中的上游分析功能,快速定位阻塞当前任务运行的关键上游任务,再通过运行诊断功能,诊断关键实例未运行的原因或存在的问题,当任务依赖复杂时,您可以通过该功能快速定位问题,提升运维效率。

周期实例视角

周期任务页面顶部单击实例视角进入周期实例视角运维界面。

查看周期实例列表

周期实例
功能 描述
筛选 在上图的模块1区域,您可以通过筛选条件过滤出需要查询的实例。
说明
  • 默认筛选的业务日期是当前时间的前一天。
  • 支持通过实例ID进行过滤,节点ID与实例ID的关系如下:
    • 查看某小时或分钟任务当天产生的小时或分钟调度的实例,您可基于节点ID进行过滤。
    • 查看某小时或分钟任务当天指定的小时或分钟实例,您可通过实例ID进行精准过滤。
  • 对于配置了监控报警的实例,您可以勾选过去24h产生告警的节点,过滤当前时间点24小时内产生了报警的实例列表。过去24小时内产生过报警的实例,可通过单击该实例DAG图中的告警图标查看报警详情。DAG图查看实例报警详情请参见:智能监控概述
任务列表 在上图的模块2区域,以列表方式展示满足过滤条件的周期实例。
操作 在上图的模块3区域,您可以对任务进行相关操作:
  • DAG图:DAG图为您展示周期实例的上下游依赖关系,您可以在DAG图中进行相关操作。详情请参见:附录:DAG图功能介绍
  • 去诊断(运行诊断):用于对任务进行全链路分析,当任务运行不符合预期时,您可以使用该功能定位问题。详情请参见智能诊断
  • 重跑:用于对运行成功或运行失败的任务进行重跑操作,当任务执行成功后可以触发下游未运行状态任务的调度。常用于处理出错节点和漏跑节点。
    说明 仅支持重跑成功失败状态的任务。
  • 更多
    • 重跑下游:用于对运行成功或运行失败的任务进行重跑下游节点的操作,您可以自行选择需要重跑的下游任务,任务执行成功后可以触发下游未运行状态任务的调度。常用于处理数据修复。
      说明 仅支持重跑成功失败状态的任务,如果勾选了其它状态的任务,页面会提示已选节点中包含不符合运行条件的节点,并禁止提交运行。
    • 置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。
    • 终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。
      说明 仅支持对状态为等待时间等待资源运行中的实例进行终止运行操作。
    • 暂停(冻结):当前实例及其下游实例都不需要执行的时候,可选择使用此功能。周期实例中的冻结只针对当前实例,且正在运行中的实例。冻结的周期实例不自动调度运行(不会真实跑数据),并且会阻塞它的下游节点执行(下游任务都不会自动调度)。
      说明 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。
    • 恢复(解冻):用于将冻结状态的实例解冻。
      • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。
      • 如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。
      说明 解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。
    • 查看血缘:查看当前实例的血缘信息。
    • 查看节点详情:查看当前实例的基本信息。
    • 查看运行日志:查看当前实例的运行日志。

查看周期实例DAG

周期实例
说明 DAG图中同周期依赖的节点以实线的形式展示,跨周期依赖的节点都会以虚线的形式展示。详情请参见依赖关系
功能 描述
DAG面板功能 单击相应任务后的DAG图,打开该任务的DAG图。您可以在上图的模块1、2、3区域进行节点聚合上游分析下游分析等操作,详情请参见:DAG图功能介绍
单个实例操作 您可以右键单击目标节点,执行相关操作。
  • 展开父节点:用于查看当前节点的上游任务,可通过该功能知道哪些节点将影响当前节点的数据产出。支持按照层级展开父节点,最多支持一次展开6级。
  • 展开子节点:用于查看当前节点的下游任务,可通过该功能知道哪当前节点将哪影响哪些节点的数据产出。支持按照层级展开子节点,最多支持一次展开6级。
  • 查看代码:用于确认生产环境当前节点的代码。若不符合预期,请确认节点最新版本是否已经发布成功。
  • 编辑节点:单击后即可跳转至数据开发页面打开当前节点。
  • 续跑:用于续跑失败状态的任务,续跑将从任务执行失败的位置继续运行,即当任务中存在多段sql的情况下,续跑可从具体失败的sql处重新运行该任务。
    说明
    • 仅MaxCompute的SQL任务支持此操作。
    • 2021年1月之后购买的独享调度资源组,如果需要升级您可以单击申请链接或扫描下方二维码加入DataWorks钉钉交流群进行售前售后咨询,咨询可直接@智能机器人,值班时间段内也可直接联系值班人员。DataWorks钉钉交流群二维码如下。技术支持二维码
  • 紧急操作:紧急操作只对当前节点本次有效。
    • 去除依赖:用于对指定任务进行紧急去依赖的操作,可通过该功能解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,紧急去除任务的上游依赖,使当前任务运行起来。
      说明 需要根据任务代码、任务血缘确认该操作是否会对数据造成影响。
    • 强制重跑:可用于强制重跑当前节点,支持对运行成功、运行失败、未运行的周期实例进行此操作,常用于数据修复。
    • 强制重跑下游:可用于重刷业务日期昨天和前天的数据,仅支持对运行成功、运行失败的周期实例进行此操作,常用于数据修复。详情请参见:附录:强制重跑下游
      说明 仅工作空间管理员、租户管理员、阿里云主账号可以发起强制重跑下游的操作。
单个实例详情 在上图的模块4区域。您可以进行如下操作:
  • 查看日志:用于查看任务详细执行过程。
  • 展开详情:用于查看当前任务属性、上下文参数、运行日志、操作日志、代码等。详情请参见:查看实例详情

业务流程视角

周期任务页面顶部单击业务流程视角进入业务流程视角运维界面。
说明 业务流程视角下,仅展示业务流程内的依赖,如果存在跨业务流程、工作空间的依赖,您需要切换至周期实例视角进行查看。

查看业务流程列表

业务流程视角
功能 描述
业务流程运行状态概览
业务流程列通过可视化图标为您展示业务流程的运行状态,列表模式中统计正常任务,即不包括空跑类型和冻结类型的任务,DAG面板中将会展示所有类型的任务。
  • 运行中:当前业务流程下,运行中状态的实例个数。
  • 成功:当前业务流程下,运行成功的实例个数。
  • 失败:当前业务流程下,运行失败的实例个数。
  • 其他:当前业务流程下,非上述状态的实例个数。
业务流程运维操作 您可以对业务流程进行如下操作:
  • DAG图:用于查看该业务流程DAG图。业务流程视角下,将默认对该业务流程下的小时分钟任务进行成组展示,业务流程视角下单个实例的操作与周期实例视角的操作一致。详情请参见周期实例DAG小时分钟
  • 重跑:用于重跑当前业务流程下所有任务或指定任务。
  • 终止运行:用于终止当前运行中的业务流程。
  • 冻结:用于冻结当前业务流程的运行,冻结后该业务流程下的实例将不会执行。
  • 解冻:用于对冻结状态的业务流程进行解冻操作,解冻后将默认业务流程为失败状态,您可重跑该业务流程。
  • 置成功:用于置成功当前业务流程,置成功后业务流程下的节点将显示为成功状态。

查看实例详情

查看实例详情
功能 描述
属性 您可以在此页签查看任务在生产环境的调度属性。界面参数详情请参见:调度配置
  • 节点ID和实例ID的关系:

    对于小时或分钟调度的节点任务,您可基于节点ID定位该节点当天生成的所有小时或分钟实例,若要定位到某个具体的小时或分钟实例,您可通过实例ID进行精准定位。

  • 任务状态解读:任务状态与任务运行有关,若任务处于未运行、等待时间、等待资源、冻结等状态时,您可以通过运行诊断来快速定位问题。
  • 等待资源耗时:当任务出现长时间等待资源的情况,您可以使用运行诊断功能定位当前任务运行时,哪些任务在占用资源,快速找到异常任务进行排查。
  • 运行时长过长:当任务运行时间与历史运行情况相比明显变长,您可参考以下场景进行处理。
  • 规则监控:您可以查看当前实例关联的监控规则情况,支持您单击右侧的新建快速创建任务运行状态监控规则,详情请参见规则管理
    说明 此处仅支持查看监控任务运行状态的规则关联详情,不支持查看数据质量监控规则。
  • 基线监控:您可以查看当前实例关联的基线情况,支持您单击右侧的新建快速创建基线,详情请参见基线管理
上下文 为您展示当前任务的所有输入参数和输出参数,详情请参见:配置节点上下文
运行日志 用于查看任务详细执行过程。
操作日志 用于查看任务或实例的操作记录(时间、操作人、具体操作)。
代码 用于查看生产环境当前任务的最新代码。若不符合预期,请确认任务最新版本是否已经发布成功。详情请参见:发布任务

常见问题