DLA提供了Spark虚拟集群的性能监控功能,本文介绍如何通过DLA管理控制台查看资源监控。

前提条件

  • 您已经成功购买DLA虚拟集群。
  • 如果您是RAM用户,请确认已具备AliyunARMSFullAccess权限。

查看集群监控

  1. 登录Data Lake Analytics管理控制台
  2. 单击左侧导航栏中的虚拟集群管理
  3. 单击目标虚拟集群详情虚拟集群管理
  4. 在左侧导航栏单击监控报警,选择标准监控集群监控
说明 集群监控的监控项详情请参见监控项说明

查看作业监控

您可以通过作业列表或者作业尝试列表查看作业监控。

  • 作业列表查看作业监控。
    1. 登录Data Lake Analytics管理控制台
    2. 单击Serverless Spark > 作业管理
    3. 作业列表中,单击目标作业操作,选择监控作业列表作业监控
      说明 作业监控的监控项详情请参见监控项说明
  • 作业尝试列表查看作业监控。
    1. 登录Data Lake Analytics管理控制台
    2. 单击Serverless Spark > 作业管理
    3. 作业尝试列表中,单击目标作业操作,选择监控作业尝试列表作业监控
      说明 作业监控的监控项详情请参见监控项说明

监控项说明

标准监控页面选择集群监控或者作业监控,具体监控项说明如下。
类别 监控项 说明
集群监控 VC CPU Quota 虚拟集群的CPU Core上限(cpu-cores-hards)和当前用量(cpu-core-used)。
VC Memory Quota 虚拟集群的CPU内存上限(memory-hards)和当前用量(memory-used)
作业监控 CPU Usage 当前作业Driver和Executor节点的CPU使用率。
Memory Usage 当前作业Driver和Executor节点的内存使用率。
Network I/O 当前作业Driver和Executor节点的网络传输速度。
Minor GC(GC time/1 min) 当前作业Driver和Executor节点每分钟 Minor GC花费时间。
Full GC(GC time/1 min) 当前作业Driver和Executor节点每分钟Full GC花费时间。
Streaming Processing Rate/Min 当前Streaming作业每分钟处理Records的速率。
Streaming Processing Delay 当前Streaming作业Batch的处理延时。
Streaming Scheduling Delay 当前Streaming作业Batch的调度延时。
Structured Streaming Latency 当前Structured Streaming的作业延时。
Structured Streaming Processing Rate 当前Structured Streaming每秒的处理速率。
Structured Streaming Input Rate 当前Structured Streaming每秒的Input速率。