本文为您介绍等待资源的相关问题。

为什么会出现等待资源?

  • 问题现象
    调度将任务下发到对应执行引擎上,此过程可能会出现以下等待资源问题:
    • 等待调度资源组。
    • 数据集成任务等待数据集成资源。
    • 计算任务等待引擎计算资源。
  • 产生原因

    资源组下可用资源是有限的,如果有任务长时间执行未释放资源必定会阻塞其他任务执行,关于任务下发机制,详情请参见:DataWorks资源组概述

  • 解决措施
    您可进入运维中心 > 智能诊断,输入实例ID,对任务进行全链路分析,查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用了资源。快速定位长期占用资源,阻塞链路执行的任务。详情请参见智能诊断智能诊断
    等待资源的实例节点,右键选择运行诊断 > 调度资源,查看当前任务运行状态等待资源时,仍在运行的任务。诊断资源

为什么任务一直在等待gateway调度资源?

  • 问题现象

    任务日志中显示等待gateway调度资源。

  • 产生原因

    当前资源组里的任务并发数达到上限。

  • 解决措施
    需要等待运行中的任务执行完成释放资源,或者对独享调度资源组进行扩容。您可以通过以下方式查看资源信息。
    • 使用公共调度资源组
      • 通过智能诊断查看
        您可进入运维中心 > 智能诊断,输入实例ID,对任务进行全链路分析,查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用了资源。快速定位长期占用资源,阻塞链路执行的任务。详情请参见智能诊断智能诊断
        等待资源的实例节点,右键选择运行诊断 > 调度资源,查看当前任务运行状态等待资源时,仍在运行的任务。诊断资源
      • 通过运维大屏查看
        您可在运维中心运维大屏页面,查看公共资源组使用率。
        说明 每天0点~9点是DataWorks的任务高峰期,公共调度资源紧张,可能出现任务等待资源的情况。 您可以错峰运行调度任务或者在DataWorks控制台添加独享调度资源组缓解资源紧张情况。
    • 使用独享调度资源组,您可以通过DataWorks控制台或者运维中心查看该资源组当前执行的任务列表及资源水位。
      • 通过智能诊断查看
        您可进入运维中心 > 智能诊断,输入实例ID,对任务进行全链路分析,查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用了资源。快速定位长期占用资源,阻塞链路执行的任务。详情请参见智能诊断智能诊断
        等待资源的实例节点,右键选择运行诊断 > 调度资源,查看当前任务运行状态等待资源时,仍在运行的任务。诊断资源
      • 通过DataWorks控制台查看
        DataWorks控制台的左侧导航栏,单击资源组列表,在资源组列表页面查看资源使用率,单击使用率查看资源组信息资源使用率等。使用率
      • 通过资源运维查看
        运维中心页面的左侧导航栏,单击资源运维,查看资源的使用率等信息。资源运维
        说明 不同规格的独享调度资源组支持同时跑的最大实例数不同,详情请参考独享调度资源组计费说明:包年包月

为什么数据集成任务一直显示wait?

  • 问题现象

    数据集成任务日志中显示wait。

  • 产生原因
    当前数据集成资源组上执行的任务超过了机器支持的并发上限,任务在等待数据集成执行资源。
    说明 如果资源使用率高但实际无任务执行或资源组上可执行任务数未达资源组上限但仍无法执行任务,
  • 解决措施:
    • 检查日志(任务配置)中concurrent参数值,如果并发任务设置过大,需根据机器支持的最大并发数与当前同时消耗的并发数配置任务并发。
    • 如果单个任务并发设置超过了机器支持的最大并发数,请将这些并发任务全部停掉,修改任务并发数后再去执行。
      运维中心页面左侧导航栏,单击运维大屏,在运维大屏页面的数据集成页签,查看同步任务执行详情同步任务执行详情同步任务执行详情
      说明
      • 任务并发配置需要结合机器支持的最大并发数、同时执行的任务数据、以及每个任务设置的并发和来分配单个任务并发数配置。
      • 一个数据集成任务将占用一个调度资源,若任务长时间未运行成功,可能将阻塞其他任务运行。
    • 等待运行中的任务执行完成释放资源,或者对独享数据集成资源组进行扩容。您可以通过以下方式查看资源信息。
      说明 数据集成任务等待资源组,可参考离线同步任务调优进行处理。
      • 通过智能诊断查看
        您可进入运维中心 > 智能诊断,输入实例ID,对任务进行全链路分析,查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用了资源。快速定位长期占用资源,阻塞链路执行的任务。详情请参见智能诊断智能诊断
        等待资源的实例节点,右键选择运行诊断 > 调度资源,查看当前任务运行状态等待资源时,仍在运行的任务。诊断资源
      • 通过DataWorks控制台查看
        DataWorks控制台的左侧导航栏,单击资源组列表,在资源组列表页面查看资源使用率,单击使用率查看资源组信息资源使用率等。使用率
      • 通过资源运维查看
        运维中心页面的左侧导航栏,单击资源运维,查看资源的使用率和运行中的任务等信息。资源运维
        说明 不同规格的独享数据集成资源组支持同时跑的最大实例数不同,详情请参考:独享数据集成资源组计费说明:包年包月