全部产品
Search
文档中心

云原生大数据计算服务 MaxCompute:作业实例详情

更新时间:Dec 26, 2023

本文为您介绍如何查看作业实例详情。

查看作业实例详情

MaxCompute Studio支持2种方式查看MaxCompute作业实例详情。

  • 通过Logview URL或本地的Logview离线文件以只读方式打开作业详情。

    使用Logview查看作业的详细信息是比较常用的方式。使用Logview还可以查看其他用户在其他项目空间中提交的任务状态。MaxCompute Studio支持通过输入一个有效的Logview URL打开任意一个作业详情。

    在IntelliJ IDEA顶部菜单栏中,单击MaxCompute > 打开Logview,选择导出本地的Logview离线文件或者将有效Logview URL复制到Open job detail by logview对话框中。

  • 双击作业列表下的作业,可以查看该实例的详细信息。

作业详情视图

作业详情页面包括顶部的工具栏,左半部分的基本属性栏以及右半部分详细视图页,其中详细视图页主要包含如下视图:

  • 执行图:以DAG图的方式显示作业整体信息,可查看子任务间的依赖关系以及各个子任务的详细执行计划。

  • 分析:以时序图、散点图、数据倾斜图、长尾图展示作业运行详情。

  • 历史:展示作业运行各阶段耗时信息。

  • 脚本:显示该作业提交时所对应的SQL语句以及提交作业的参数配置信息。

  • 详情:以表视图的方式展示作业详细信息,包括子任务列表、各子任务的Worker列表、Worker处理数据量、执行时间及状态信息等。

  • 概要:以JSON格式显示作业运行详细信息。

  • 结果:显示该作业运行结果。

  • 计划:展示作业运行计划信息。

**

工具栏

  • :页面左右折叠。用来收起或完全展开左右侧视图,允许您最大化某一个视图进行查看。

  • :停止作业。用来中断正在执行的作业,需要具有响应权限才能停止作业(项目所有者或管理员)。

  • :刷新详情。对于运行中作业的基本信息,例如状态、Quota等会自动刷新。但右侧各个详情视图不会自动刷新,需要您手动刷新。

  • :拷贝Logview。

  • :在浏览器打开作业详情。即生成Logview URL,并通过浏览器打开。

  • :将作业详情信息保存为本地文件。

  • :是否开启自动刷新。对于运行中作业,开启自动刷新后,MaxCompute Studio会对作业执行全量定时刷新。

基本信息页面

基本信息页面展示了作业的基本信息,包括ID、创建人、状态、起止时间、计算资源用量、输入项(作业的输入表)、输出项(作业的输出表)等。运行中作业的基本信息会自动定时刷新。

双击表名即可查看对应表的基本信息页面。

执行图

执行图作为日常主要使用工具,以可视化的方式展示Fuxi Job、Fuxi Task以及Operation的依赖关系,同时提供一系列辅助工具,例如作业回放、进度图和热度图等,为排查问题提供帮助。

上图中各序号对应说明如下。

序号

说明

可单击跳转其他层次。

缩放辅助工具。

依赖表。

Fuxi Task节点。

鹰眼。

展示。

默认打开Fuxi Task层依赖。

执行图可展示三个维度的作业依赖关系:Fuxi Job层、Fuxi Task层、Operation层。可单击向上箭头进行维度切换,默认会展示Fuxi Task层依赖关系。

  • Fuxi Job层

    单击MaxCompute job打开Fuxi Job层。Fuxi Job层节点内包含Fuxi Task名称、起止时间等。

  • Fuxi Task层

    双击任一Fuxi Job节点即可进入Fuxi Task层。

    当有多个Fuxi Job时,默认打开最后一个Fuxi Job的Fuxi Task层。该层可展示Fuxi Task的依赖关系,输入输出表及分区等信息。当作业结束后单击工具栏中的进度图,可以选择输入热度图(Record)输出热度图(Record)输入热度图(Byte)输出热度图(Byte)Task时间热度图Instance热度图。进度图表示节点的完成进度,热度图通过颜色区分节点热度。

    Fuxi Task节点内容如下:

    • Instance Count:表示为a/b/c,指某一时刻正在运行的子任务实例个数为a,已结束任务实例个数b,总任务实例个数c。

    • I/O Records:同理为某一时刻的输入记录量和输出记录量。

    • 百分比与橙色进度条:表示该任务运行情况,该比例根据子任务运行实例分析得出。

    • 子任务间连线:显示输出的记录数量。箭头表示数据流动方向。

  • Operation层

    双击任一Fuxi Task即可打开Operation层。

    Operation层揭示了Fuxi Task内在的运行方式,单击任一节点即可显示Operation完整信息。

说明

非SQL类型作业,仅能展示Fuxi Job和Fuxi Task层作业,不展示Operation层。

详情页

主要针对SQL DML类作业,展示作业在计算集群上的Fuxi Task列表、计算节点列表等。通常一个作业对应一个或多个Fuxi Job,每个Fuxi Job拆分成多个Fuxi Task(阶段),每个Fuxi Task包含多个Fuxi Instance(Worker)。右键单击Fuxi Instance可以查看作业运行的标准输出、标准错误和Debug Info。详情页

对应的序号说明如下:

  1. Fuxi Job Tab。

  2. Fuxi Task列表。

  3. 每个Fuxi Task详细信息及计算节点列表。

作业回放

MaxCompute Studio支持作业回放功能,作业回放就像播放媒体文件一样,可在12s内回顾该作业执行的历史轨迹。该功能主要用于帮助用户了解MaxCompute实例在不同时刻运行状态,快速判断子任务级运行顺序及消耗时间,掌握作业执行关键路径,从而针对运行较慢的子任务进行优化。

单击 > 按钮即可开始播放,再次单击则暂停。您也可以手动拖动进度条。

说明

回放功能仅通过时间估算某一个时刻IO数据量,从而确定完成进度,并不能代表该时刻真实IO数据量。Running状态作业不支持回放功能。

时序图

以甘特图的方式展示作业分布式执行的详细数据,可以调整展示粒度,将每一个计算节点都在甘特图中展示。可以通过甘特图直观地看出作业运行的时间瓶颈和长尾节点等。同时提供多种过滤器,能够直接筛选出作业执行的关键路径、最大数据节点和最长时间节点等。

分析页

分析页展示作业的长尾节点(Worker)、数据倾斜节点(Worker)。展示节点散点图、柱状图和辅助作业执行瓶颈诊断。散点图和柱状图支持从图中节点的详情页查看Fuxi Instance详情。

结果页

结果页会根据作业类型及提交作业时的参数设置展示不同页面。

  • SELECT语句并且设置odps.sql.select.output.format = HumanReadable,结果以文本方式展示。

  • SELECT语句并且未设置output format参数,结果以TABLE方式展示。

  • 对于数据输出到表的脚本,展示输出表名及表详情页的链接。

  • 对于异常作业,结果页显示异常详情。