在DataWorks实例任务中,E-MapReduce计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。

使用限制

  • DataWorks目前仅支持对E-MapReduce计算引擎进行运维,并且您需要升级E-MapReduce执行包的版本后才能正常获取运维数据。如果您当前需要使用引擎运维功能请提交工单升级E-MapReduce执行包的版本。
  • 如果您的DataWorks项目空间没有添加E-MapReduce引擎,则运维中心左侧导航栏不会显示引擎运维
  • 目前仅华南1(深圳)地域支持使用DataWorks的引擎运维功能。

进入引擎运维

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
  2. 单击左上方的周期任务图标,选择全部产品 > 任务运维 > 运维中心(工作流)
  3. 在左侧导航栏,选择引擎运维 > E-MapReduce,进入E-MapReduce引擎运维页面。

查看引擎作业

E-MapReduce引擎运维页面,为您展示了当前地域,与所选DataWorks项目空间绑定的E-MapReduce引擎,在DataWorks中下发的E-MapReduce作业的详细信息,您可以根据需求执行如下操作:引擎运维界面
  • 筛选目标E-MapReduce作业。
    您可以在E-MapReduce引擎运维页面的顶部菜单栏,根据不同维度进行筛选,快速查看目标作业。
    类别 描述
    实例ID 您可以通过E-MapReduce的作业ID查找目标作业,或通过DataWorks的实例ID,查找该实例任务下的所有EMR作业。
    说明
    • 引擎运维页面默认为您展示最近三天的引擎实例数据。
    • 通过E-MapReduce的作业ID或DataWorks的实例ID搜索时,仅支持展示最近30天的引擎实例数据。
    状态
    • NEW:表示E-MapReduce作业刚创建。
    • NEW_SAVING:表示正在保存E-MapReduce作业。
    • SUBMITTED:表示E-MapReduce作业已提交执行申请。
    • ACCEPTED:表示调度程序已接受E-MapReduce作业的执行申请。
    • RUNNING:表示E-MapReduce作业正在运行。
      说明 如果目标作业长期处于运行状态,您可以手动终止运行目标作业所在的DataWorks实例任务,防止运行有误的作业长期占用资源,阻塞下游任务,详细内容请参见下文终止运行DataWorks实例任务
    • FINISHED:表示E-MapReduce作业已运行结束。
    • SUCCESSED:表示E-MapReduce作业运行成功。
    • FAILED:表示E-MapReduce作业运行失败。如果作业呈现该运行状态,则您需要及时识别并处理相关报错,以免阻塞下游作业,影响任务的正常运行。
    • KILLED:表示由作业的执行者或管理员终止了E-MapReduce作业的运行。
    EMR作业类型 当前仅支持查看MAPREDUCESPARK类型的作业。
  • 查看目标作业的详细信息。
    • 您可以查看E-MapReduce作业的基本信息,包括作业ID、作业状态、开始运行时间、结束运行时间、所属DataWorks实例及实例ID等。
      说明 不同E-MapReduce作业所属的DataWorks实例名称可能相同,但如果不同E-MapReduce作业的运行开始时间不同时,则被认为属于不同的DataWorks实例任务。您可以通过作业所属的DataWorks实例ID判断任务是否属于同一个DataWorks实例任务。
    • 通过作业的运行状态,识别运行出错的作业(例如,状态为FAILED的作业为运行失败的作业),单击作业ID所属DataWorks实例名称,进入相应任务详情界面,确认并处理报错。
    • 您可以对开始时间结束时间,进行升序或降序排列,直观的查看作业的运行先后顺序及运行时长,了解目标作业的运行情况。
  • 终止运行DataWorks实例任务。
    如果E-MapReduce作业长期处于运行状态,即作业状态显示为RUNNING,则您可以勾选目标作业,单击引擎运维页面左下角的终止运行对应的DataWorks实例,终止运行目标作业所在的DataWorks实例任务。该类作业往往是由于运行内部出错,导致作业不能自动终止,防止该作业长时间占用资源,阻塞并影响其他作业的运行,则需要手动将其停止,及时处理相关报错。
    注意
    • 当多个E-MapReduce作业属于同一个DataWorks实例任务时,当终止运行任意E-MapReduce作业时,都会导致DataWorks实例任务的运行状态置为失败。
    • 当前仅支持对运行中的DataWorks实例任务进行终止运行操作。
    • 执行终止运行操作后,目标实例任务的状态将被置为失败。置为失败状态后,当前实例任务会阻塞该任务的下游节点运行。请知悉风险并谨慎操作。