实时同步任务对接云监控 - 大数据开发治理平台 DataWorks

功能概述

DataWorks 数据集成解决方案的实时同步任务现已接入阿里云云监控。您可以在云监控产品中查看实时同步任务的各项运行指标，包括资源利用率、业务延迟、同步条数、同步速率以及 DML 操作统计等。通过这些指标，您可以全面了解任务的运行状态，及时发现并定位性能瓶颈或异常情况。

接入方式采用 DataWorks → 云监控 方案，您只需开通云监控服务即可免费查看相关指标面板并配置告警规则，无需额外购买 Prometheus 实例。

在使用 DataWorks 数据集成实时同步指标前，请确保满足以下条件：

进入数据集成任务监控页面后，在页面顶部的筛选框中，选择DataWorks工作空间所在的地域。随即在工作空间列表中，点击工作空间名称，进入监控详情。

DataWorks 数据集成解决方案实时同步任务在云监控中提供以下四大类指标，涵盖基础指标、资源利用率指标、任务维度DML指标和表维度DML指标。

指标名称	指标含义	单位
业务延迟 DIJobDelayTime	数据从源端到目标端的同步延迟	ms
读端同步条数 DIJobTotalRecordsRead	源端读取的数据总条数	条
写端同步条数 DIJobTotalRecordsWrite	目标端写入的数据总条数	条
读端同步速率 DIJobSpeedRecordsRead	源端读取数据的速率	条/秒
写端同步速率 DIJobSpeedRecordsWrite	目标端写入数据的速率	条/秒

功能说明：用于监控实时同步任务运行节点的资源消耗情况，帮助您判断是否需要扩容或优化资源配置。
查看维度：
- 在二级筛选中选择解决方案任务 ID + 子任务 ID。对于源端数据源类型为分库分表的解决方案存在子任务ID，需精确到子任务ID。
- Worker 相关指标支持按Worker ID区分不同曲线，便于对比各 Worker 节点的资源消耗差异。

指标名称	指标含义	单位
Master CPU 利用率 DIJobMasterCpuUtilization	任务 Master 节点的 CPU 使用率	%
Master 内存利用率 DIJobMasterMemUtilization	任务 Master 节点的堆内存使用率	%
Master 资源利用率 DIJobMasterResourceUtilization	Master 节点 CPU 和内存利用率的较大值	%
Worker CPU 利用率 DIJobWorkerCpuUtilization	各 Worker 节点的 CPU 使用率	%
Worker 内存利用率 DIJobWorkerMemUtilization	各 Worker 节点的内存使用率	%
Worker 资源利用率 DIJobWorkerResourceUtilization	各 Worker 节点 CPU 和内存利用率的较大值	%

功能说明：用于监控实时同步任务中各类 DML（Insert / Update / Delete）操作的执行情况。统计整个任务级别（或子任务级别）的 DML 操作总量。
查看维度：在二级筛选中选择解决方案任务 ID + 子任务 ID。对于源端数据源类型为分库分表的解决方案存在子任务ID，需精确到子任务ID。

指标名称	指标含义	单位
任务级别读端 Insert DIJobTotalDmlInsertRead	任务从源端读取的 Insert 操作条数	条
任务级别读端 Update DIJobTotalDmlUpdateRead	任务从源端读取的 Update 操作条数	条
任务级别读端 Delete DIJobTotalDmlDeleteRead	任务从源端读取的 Delete 操作条数	条
任务级别写端 Insert DIJobTotalDmlInsertWrite	任务向目标端写入的 Insert 操作条数	条
任务级别写端 Update DIJobTotalDmlUpdateWrite	任务向目标端写入的 Update 操作条数	条
任务级别写端 Delete DIJobTotalDmlDeleteWrite	任务向目标端写入的 Delete 操作条数	条

功能说明：用于监控实时同步任务中各类 DML（Insert / Update / Delete）操作的执行情况。统计表维度任务级别（或子任务级别）的 DML 操作总量。
查看维度：
- 在二级筛选中选择解决方案任务 ID + 子任务 ID + 数据库名 + Schema名 + 表名。对于源端数据源类型为分库分表的解决方案存在子任务ID，需精确到子任务ID。
- 必须精确到具体的表名才能查看对应数据。读取指标选择源端数据库名、Schema名、表名，写入指标选择目标端数据库名、Schema名、表名。

指标名称	指标含义	单位
表级别读端 Insert DIJobTableDmlInsertRead	指定表从源端读取的 Insert 操作条数	条
表级别读端 Update DIJobTableDmlUpdateRead	指定表从源端读取的 Update 操作条数	条
表级别读端 Delete DIJobTableDmlDeleteRead	指定表从源端读取的 Delete 操作条数	条

指标名称	指标含义	单位
表级别写端 Insert DIJobTableDmlInsertWrite	指定表向目标端写入的 Insert 操作条数	条
表级别写端 Update DIJobTableDmlUpdateWrite	指定表向目标端写入的 Update 操作条数	条
表级别写端 Delete DIJobTableDmlDeleteWrite	指定表向目标端写入的 Delete 操作条数	条

报警规则配置方法可参考云监控文档：创建报警规则。

Q：为什么我在云监控中看不到 DataWorks 数据集成的指标？
A：请检查以下事项：
- 云监控服务是否已开通。
- DataWorks 项目中是否存在正在运行的实时同步任务，指标上报依赖最新引擎版本，您可能需要重启任务以采用最新版本。
- 一级筛选中是否选择了正确的地域和 DataWorks 项目。
Q：分库分表任务的子任务指标如何查看？
A：在二级筛选中，除了选择解决方案任务 ID 外，还需要选择对应的子任务 ID（如 mysql 分库分表场景下的各分表子任务）。子任务 ID 来源于指标埋点维度，可在下拉框中搜索筛选。
Q：表维度的 DML 指标为什么有时没有数据？
A：表维度 DML 指标需要精确选择数据库名、Schema 名和表名。如果该表在选定时间范围内没有发生对应的 DML 操作（如该时间段内无 Delete 操作），则对应指标会显示为空或零值。