全部产品
Search
文档中心

大数据开发治理平台 DataWorks:实时计算任务运行与管理

更新时间:Jan 16, 2024

DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情,方便您查看目标任务的运行情况。同时,您还可以为目标任务设置监控报警,在任务运行出错时及时发现并处理异常。

使用限制

DataWorks当前仅支持对EMR Spark Streaming及EMR Streaming SQL类型的节点提交的任务进行运维。

进入实时计算任务页面

  1. 登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 在左侧导航栏,单击实时任务运维 > 实时计算任务,进入实时计算任务页面。

查看实时计算任务列表

运维中心的实时计算任务页面为您展示了生产环境的实时计算任务列表,您可以在该页面查看任务的基本信息,执行启动、终止、下线等运维操作,并设置任务出错监控。实时计算任务

区域

描述

1

在该区域,您可以通过任务ID任务名称状态任务类型引擎类型引擎实例责任人等筛选条件过滤出需要查询的实时计算任务。

说明
  • 任务ID任务名称搜索的结果会受到其它筛选条件的影响。只有同时满足所有筛选条件时,才会显示相应的查询结果。

  • 任务名称搜索支持模糊匹配,输入关键词后,即可显示包含关键词的所有实时计算任务。

2

在该区域,您可以查看目标任务的基本信息及运行情况。

  • 任务名称:为您展示任务的名称。单击任务名称,即可进入目标任务的详情页面。

  • 任务ID:为您展示任务的ID。

  • 运行状态:任务的运行状态,包括未运行生成中等待资源启动中运行中已停止已失败重启中以及下线中等状态。

  • 开始运行:任务的开始运行时间。

  • 结束运行:任务的结束运行时间。

  • 运行时长:任务的运行时长,单位为秒。

  • 任务类型:任务的类型。

    说明

    DataWorks当前仅支持对EMR Spark Streaming及EMR Streaming SQL类型的节点提交的任务进行运维。

  • 引擎类型:任务所使用的引擎类型。DataWorks当前仅支持对E-MapReduce引擎的实时计算任务进行运维。

  • 引擎实例:任务所绑定的E-MapReduce引擎名称。

  • 发布时间:任务的发布时间,格式为yyyy-MM-dd HH:mm:ss。

  • 责任人:任务所在工作空间的责任人。

说明

您可以根据任务的开始运行结束运行以及运行时长,按照时间的升序或降序对目标任务进行排序。

3

在该区域,您可以对目标任务进行如下操作。

  • 启动:启动未运行的实时计算任务。

  • 终止:终止运行中的实时计算任务。

  • 下线:下线已提交发布的实时计算任务。

  • 设置监控:用于监控目标实时计算任务的运行情况。当任务运行出错时,会根据您设置的短信邮件电话钉钉群机器人WebHook等方式发送报警至相应的报警接收人。

    配置报警接收人所使用的邮件电话信息,详情请参见设置报警接收人的手机或邮箱信息,配置钉钉群机器人及获取Webhook地址,详情请参见场景实践:发送报警消息至钉钉群

4

您可以勾选多个目标任务后,在该区域批量启动终止下线目标任务,或为目标任务设置监控报警。

查看实时计算任务详情

在任务列表单击目标任务实例名称,即可进入任务的详情页面。您可以在任务的详情页面查看任务的详细信息运行日志操作日志以及任务的运行代码,方便您快速定位对目标任务执行的相关操作记录及操作内容,及时获取任务运行出错的报错详情并跟进处理。实时计算任务详情页面