当您在DataStudio中完成任务开发,并发布至生产环境后,您可以进入运维中心运行实时同步任务,同时,您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。

前提条件

已完成实时同步任务的创建、发布。详情请参见:配置单表增量数据实时同步任务配置整库增量数据实时同步任务

运行与管理实时同步任务

任务配置完成后,您可以在 运维中心 > 实时任务运维 > 实时同步任务面板 启动暂停下线对应同步任务,详情请参见 实时同步任务运行与管理
说明 启动任务运行时,支持您设置同步位点和FailOver次数。
  • 位点设置:支持断点续传或从指定同步起始位置开始同步。
  • FailOver:为避免FailOver导致频繁启动任务占用系统资源,您可配置指定时间段内FailOver出现次数超过指定次数时,任务自动结束运行。如果您不配置Failover次数,将根据5分钟内,Failover次数超过100来自动结束任务。

任务运行状态监控

为避免任务出错导致业务数据产出延迟,您可以进入 运维中心 > 实时任务运维 > 实时同步任务页面,找到对应同步任务,单击 操作列的 报警设置。详情请参见: 实时同步任务运行与管理
  • 报警条件:支持对任务状态业务延迟FailoverDDL不支持设置监控报警。
    说明 DDL不支持:数据写入不同目的端时,对源端DDL操作的支持情况不同,当源端存在不支持的DDL操作时,会报此类错误。DDL支持情况详情请参见: 支持的DML及DDL操作
  • 报警通知方式:支持通过邮件短信钉钉等方式将报警信息发送给报警接收人。
  • 疲劳度控制:为了避免短时间内产生大量报警,数据集成实时同步还支持疲劳度控制,即为DataWorks支持您设置当前规则在指定时间间隔内只发送一次报警信息。

查看任务运行指标

您可以在运维中心 > 实时任务运维 > 实时同步任务界面,单击任务名称查看任务的运行信息日志任务配置Failover记录DDL记录等详情。详情请参见:实时同步任务运行与管理

修改实时同步任务

您可进入DataStudio界面重新编辑实时同步任务,但若要此次变更操作生效,您需要先停止线上实时同步任务,变更操作完成后重新提交、发布任务,然后进入运维中心启动任务运行。

修改DDL规则

您可以在启动同步任务前,进入DataStudio界面,重新定义该任务对源端DDL消息的处理策略。详情请参见: 配置整库增量数据实时同步任务
说明 DataStudio界面的变更操作,若要生效,都需要先停止线上实时同步任务,在操作完成后重新提交、发布任务,然后进入 运维中心启动任务运行。

常见问题

为什么实时同步任务延迟较大?