本文为您汇总补数据的相关问题。

补数据功能说明

补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据可以选择补数据功能,节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。使用示例如下:将Mysql增量数据写入MaxCompute对应的时间分区中。增量同步

为什么小时分钟任务补数据选择了并行但实际不生效?

补数据是否并行控制的是补一段天维度业务日期区间的数据时,是否几天的实例同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行,当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自依赖使用说明请参见:场景2:依赖上一周期的结果时,如何配置调度依赖

  1. 选择不并行,一个补数据实例下的多个业务日期串行执行。

    即上一个业务日期的补数据实例执行完,下一个业务日期的补数据实例才会执行。

  2. 选择并行,您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据。

    即多个补数据实例下有多个业务日期并行执行。

实时场景:假设小时、分钟节点选择补一个星期数据。
  • 如果小时、分钟节点设置了自依赖,那么小时、分钟节点每天的实例会一个一个执行。
  • 如果小时节点任务没有设置自依赖,那么小时、分钟节点每天的实例一块执行。

为什么补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间?

如果您补数据选择的业务日期实例,其定时时间为未来时间时,会出现等待时间的情况,您可以选择是否立即执行该时未来时间的数据。并行运行定时时间立即运行定时时间大于此刻的补数据实例。
  • 如果您补数据选择的业务时间(实例定时时间)为未来时间,当不勾选此选框时,实例会出现等待时间的情况(实例显示黄色,实例状态为等待时间)
  • 如果您补数据选的业务时间(实例定时时间)为未来时间,当勾选此选框时,实例会马上执行。

为什么补数据选择业务时间昨天和今天,也会出现等待时间的情况?

平台维度来看,业务时间昨天的数据,今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。
说明 如果您需要过滤今天的周期实例,您需要在周期实例面板选择过滤业务时间昨天的实例,实例的定时时间为今天。今天的周期实例

为什么补数据选择补0点~1点生成了多个实例?

补数据生成多少个实例与您节点配置的定时时间有关。

  • 假设小时任务设置0:00开始至23:59分每小时调度一次。如果选择补数据区间为00:00~1:00,那么将产生两个实例,实例定时时间分别为0:00,1:00。
  • 假设分钟任务设置0:00开始至23:59分每30分钟调度一次。如果选择补数据区间为00:00~1:00,那么将产生3个实例,实例定时时间分别为0:00,00:30,1:00

为什么进行大量补数据操作时,会出现等待资源情况(实例显示黄色,实例状态为等待资源)?

资源组可执行任务最大并发数有上限,如果当前任务执行并发数超过资源组所支持的最大并发数时,将会出现等待资源的情况。等待资源排查详情可参见:等待资源

为什么补数据报错调起的节点运行时间不在所选业务时间范围内?

小时分钟任务需要选择具体的调度时间区间才可以正常生成补数据实例并执行。选择小时区间

为什么有节点选择了补数据,但是没有生成补数据实例?

不在生效日期范围内的节点不生成实例,请检查需要补数据的节点生效时间是否在有效期内。调度配置