全部产品
Search
文档中心

大数据开发治理平台 DataWorks:引擎运维

更新时间:Dec 19, 2023

在DataWorks实例任务中,E-MapReduce计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。

使用限制

  • DataWorks目前仅支持对E-MapReduce计算引擎进行运维,并且您需要升级E-MapReduce执行包的版本后才能正常获取运维数据。如果您当前需要使用引擎运维功能请提交工单升级E-MapReduce执行包的版本。

  • 如果您的DataWorks项目空间没有添加E-MapReduce引擎,则运维中心左侧导航栏不会显示引擎运维

进入引擎运维

  1. 登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 在左侧导航栏,选择引擎运维 > E-MapReduce,进入E-MapReduce引擎运维页面。

查看引擎作业

E-MapReduce引擎运维页面,为您展示了当前地域,与所选DataWorks项目空间绑定的E-MapReduce引擎,在DataWorks中下发的E-MapReduce作业的详细信息,您可以根据需求执行如下操作:引擎运维界面

  • 筛选目标E-MapReduce作业。

    您可以在E-MapReduce引擎运维页面的顶部菜单栏,根据不同维度进行筛选,快速查看目标作业。

    类别

    描述

    实例ID

    您可以通过E-MapReduce的作业ID查找目标作业,或通过DataWorks的实例ID,查找该实例任务下的所有EMR作业。

    说明
    • 引擎运维页面默认为您展示最近三天的引擎实例数据。

    • 通过E-MapReduce的作业ID或DataWorks的实例ID搜索时,仅支持展示最近30天的引擎实例数据。

    状态

    • NEW:表示E-MapReduce作业刚创建。

    • NEW_SAVING:表示正在保存E-MapReduce作业。

    • SUBMITTED:表示E-MapReduce作业已提交执行申请。

    • ACCEPTED:表示调度程序已接受E-MapReduce作业的执行申请。

    • RUNNING:表示E-MapReduce作业正在运行。

      说明

      如果目标作业长期处于运行状态,您可以手动终止运行目标作业所在的DataWorks实例任务,防止运行有误的作业长期占用资源,阻塞下游任务,详细内容请参见下文《终止运行DataWorks实例任务》

    • FINISHED:表示E-MapReduce作业已运行结束。

    • SUCCESSED:表示E-MapReduce作业运行成功。

    • FAILED:表示E-MapReduce作业运行失败。如果作业呈现该运行状态,则您需要及时识别并处理相关报错,以免阻塞下游作业,影响任务的正常运行。

    • KILLED:表示由作业的执行者或管理员终止了E-MapReduce作业的运行。

    EMR作业类型

    当前仅支持查看MAPREDUCESPARK类型的作业。

  • 查看目标作业的详细信息。

    • 您可以查看E-MapReduce作业的基本信息,包括作业ID、作业状态、开始运行时间、结束运行时间、所属DataWorks实例及实例ID等。

      说明

      不同E-MapReduce作业所属的DataWorks实例名称可能相同,但如果不同E-MapReduce作业的运行开始时间不同时,则被认为属于不同的DataWorks实例任务。您可以通过作业所属的DataWorks实例ID判断任务是否属于同一个DataWorks实例任务。

    • 通过作业的运行状态,识别运行出错的作业(例如,状态为FAILED的作业为运行失败的作业),单击作业ID所属DataWorks实例名称,进入相应任务详情界面,确认并处理报错。

    • 您可以对开始时间结束时间,进行升序或降序排列,直观地查看作业的运行先后顺序及运行时长,了解目标作业的运行情况。

  • 终止运行DataWorks实例任务。

    如果E-MapReduce作业长期处于运行状态,即作业状态显示为RUNNING,则您可以勾选目标作业,单击引擎运维页面左下角的终止运行对应的DataWorks实例,终止运行目标作业所在的DataWorks实例任务。该类作业往往是由于运行内部出错,导致作业不能自动终止,防止该作业长时间占用资源,阻塞并影响其他作业的运行,则需要手动将其停止,及时处理相关报错。

    重要
    • 当多个E-MapReduce作业属于同一个DataWorks实例任务时,当终止运行任意E-MapReduce作业时,都会导致DataWorks实例任务的运行状态置为失败。

    • 当前仅支持对运行中的DataWorks实例任务进行终止运行操作。

    • 执行终止运行操作后,目标实例任务的状态将被置为失败。置为失败状态后,当前实例任务会阻塞该任务的下游节点运行。请知悉风险并谨慎操作。