DataWorks为您提供资源分析功能,便于数据开发者及数据管理者查看和分析个人或工作空间内的表、任务的运行状态、资源占用情况,为合理使用整体资源做辅助判断。

前提条件

您已开通了专业版及以上版本的DataWorks。

注意事项

  • 登录进入资源分析页面的账号不同,所拥有的账号角色权限有可能不同,能查看资源分析的表和任务的页面可能不同。工作空间资源明细仅空间管理员可查看。
  • 当前支持查看MaxCompute数据表的资源占用情况,支持查看MaxCompute任务和数据集成任务的任务运行及资源占用情况。

操作步骤

  1. 登录DataWorks控制台
  2. 在左侧导航栏,单击工作空间列表
  3. 单击相应工作空间后的进入数据开发
  4. 单击左上方的图标图标,选择全部产品 > 数据治理 > 资源优化

    进入资源优化页面。

  5. 在左侧导航栏选择资源分析,在资源分析页面查看个人或项目空间下的表和任务运行情况与资源使用情况。
    您可根据您的资源优化需求,选择查看个人资源明细或者工作空间明细
    • 个人资源明细页面为您展示当前登录账号名下的表和任务情况。
    • 工作空间明细为您展示当前选择的工作空间下所有表和任务的情况。仅空间管理员账号可查看工作空间明细页面,如果您的页面没有此页面页签,说明您当前登录的账号非空间管理员账号。
    以下为您介绍表和任务的主要资源分析维度,您可进入对应的资源明细列表中查看具体信息。
    • 业务类型为:表表的主要分析维度中:
      • 总存储量:指表一共占用的内存资源数。
      • 每日新增存储量:指查看资源分析结果的前一天,相较于查看资源分析结果的前两天,占用内存资源量新增的量。
      • 表下游数:读取此表的下游表数目。
      • 产出任务:生成此表的任务ID,此项可用于辅助判断此表是否有任务稳定产出数据。
        • 如果产出任务列为空,则说明此表非DataWorks的任务生成的表,这类表可能为临时表或更新需求较少的维度表,通常手动维护即可。
        • 如果产出任务列有数据,说明此表为某个任务生成的表,这类表可能为需要定期更新的表。
      您可根据界面上各维度的分析结果,结合业务情况,规划需对对应表进行的优化操作。例如,对于生命周期很长、存储量占用很大,但是没有下游表、最近访问时间久远、没有产出任务的表,可查看表的详情,如果是无用表,可考虑修改生命周期短一些,或删除无用表。
      资源分析页面为您提供便捷的表优化操作,包括查看详情更改生命周期删除
      说明 更改生命周期和删除操作执行后会立即生效,且无法恢复,请谨慎规划表优化策略再执行操作。
    • 业务类型为:任务
      说明 任务的资源分析结果均为当前查看日期前一天的运行和资源占用分析结果。
      目前可查看MaxCompute任务和数据集成任务。以查看Max Compute任务为例:任务任务的主要资源分析中:
      • 任务直接下游数:本任务的一级下游任务数目,此项是辅助判断任务上下游依赖的重要分析维度。如果直接下游数不为0,说明有下游任务依赖本任务,需谨慎进行本任务的优化操作,避免对下游任务造成影响。
      • 输出表名:本任务有数据输出到MaxCompute中的表时,此列展示这些表的名称。如果输出表名为空,说明此任务没有数据写入MaxCompute的表中。
      您可根据界面上各维度的分析结果,结合业务情况,规划需对对应任务进行的优化操作。例如,对于任务运行失败、任务直接下游数为0、无输出表、资源消耗大的任务,可查看任务详情,如果是无用任务,可考虑暂停任务节点。
      资源分析页面为您提供便捷的表优化操作,包括查看详情暂停节点
      说明 暂停节点操作执行后,已生成的任务实例将不受影响,新生成的实例会直接变为暂停状态。暂停节点后,请一并考虑优化节点的输出表。