本文为您汇总介绍等待资源的相关问题。

为什么会出现等待资源?

调度将任务下发到对应执行引擎上,此过程可能会出现以下等待资源问题
  • 等待调度资源组
  • 数据集成任务等待数据集成资源
  • odps任务等待计算资源
说明 无论是任务调度的调度资源,数据集成任务执行资源,还是odps任务执行资源,对于资源组下可用资源是有限的,如果有任务长时间执行未释放资源必定会阻塞其他任务执行。

为什么任务一直在等待gateway调度资源?

出现原因:当前任务执行资源组并发达到上限。

解决方案:需要等待运行中的任务执行完成释放资源,或者对独享调度资源组进行扩容。

  • 使用公共调度资源组,您可以在运维大屏处查看公共资源组使用率。

    每天0点~9点是DataWorks的任务高峰期,公共调度资源紧张,可能出现任务等待资源的情况。 您可以错峰运行调度任务或者 前往控制台

  • 使用独享调度资源组,您可以使用在控制台查看该资源组当前执行的任务列表及资源水位。

    不同规格的独享调度资源组支持同时跑的最大实例数不同,详情请参考独享调度资源组的性能指标和计费标准

    单击 控制台> 资源组列表 > 使用率 使用率 资源使用率
  • 查看当前任务在等待调度资源时哪些任务在跑。
    通过智能诊断找出当前任务等待资源时哪些任务在占用资源,找到等待资源的实例右键选择 运行诊断 > 调度资源诊断资源
    智能诊断能看到当前任务执行资源组任务执行、排队情况,以及当前任务等待资源时,哪些任务在占用资源。 资源运行情况

为什么数据集成任务一直显示wait?

出现原因:

调度已经下发任务但是日志显示wait,当前数据集成资源组上执行的任务超过了机器支持的并发上限,任务在等待数据集成执行资源。请检查当前数据集成资源组上执行的任务超过了机器支持的并发上限。

注意 不同规格的独享数据集成资源组支持同时跑的最大并发数不同,详情请参考 独享数据集成资源组的性能指标和计费标准
  • 是否存在任务并发设置过大,检查日志(任务配置)中concurrent参数值。
  • 如果单个任务并发设置超过了机器支持的最大并发数,请将这些大并发任务全都停掉,修改任务并发数后再去执行。

解决方案:

需要等待运行中的任务执行完成释放资源,或者对独享使用资源组进行扩容。

查看当前资源组运行中的数据集成任务并发
  • 运维大屏 > 数据集成下拉查看同步任务执行详情 同步任务执行详情同步任务执行详情

控制台查看资源使用率

控制台>资源组列表 > 使用率单击进去

使用率
注意
  • 任务并发配置需要结合机器支持的最大并发数,以及需要同时运行的任务数及并发和来分配单个任务并发数配置。
  • 若重保任务较多,可选择扩容独享数据集成资源组。