全部产品
Search
文档中心

大数据开发治理平台 DataWorks:实时同步任务运行与管理

更新时间:Jan 16, 2024

实时同步任务页面为您展示实时同步任务提交至调度系统后,经过调度系统运行后产生的实时同步任务实例。

进入实时任务运维页面

  1. 登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 在左侧列表,单击实时任务运维后的图标图标。

  3. 在下拉列表下单击实时同步任务,即可查看所有实时同步任务实例信息。

查看实时任务列表

实时任务实例页面以列表形式对被调度的实时同步任务进行运维和管理,包括查看实时同步任务基本信息、检查运行信息和基本属性配置以及启动和下线实例等功能。11

区域

描述

1

在该区域,您可以通过筛选条件过滤出需要查询的实例。

您可以根据任务节点名称任务状态责任人来源数据源类型来源数据源名称最近操作人去向数据源类型去向数据源名称数据集成资源组等条件进行精确筛选。

说明

任务名搜索的结果会受到其它筛选条件的影响,只有同时满足所有筛选条件的结果才可以展示。

2

在该区域,您可以查看任务实例信息,包括:

  • ID:为您展示任务实例的ID。

  • 任务名称:为您展示任务实例名称。单击任务名称,即可进入任务实例详情页面。

  • 运行状态:包括运行中、未运行、等待资源、异常、停止五种状态。

  • 描述:对实例的简单描述。

  • 业务延迟:当前时间距离同步位点的时间间隔。

  • 当前同步位点:当前消费到增量数据的时间。

  • 最近操作时间:最后操作实例的时间点。

  • 最近操作人:最后对实例操作的用户。

  • 来源数据源类型:来源数据源的类型。

  • 来源数据源:数据同步的来源数据源。

  • 去向数据源类型:去向数据源的类型。

  • 去向数据源:数据同步的去向数据源。

  • 责任人:实时任务所在的工作空间责任人。

  • 当前起始位点:目前开始消费增量数据的时间点。

  • 数据读取速度(BPS):数据同步读取数据的速度。

  • 记录速度:写入日志的数据同步读取数据速度。

  • 数据集成资源组:任务实例运行使用的数据集成资源组。

3

在该区域,您可以对所选择的任务实例进行如下操作。

  • 启动:启动未运行的同步任务。

  • 停止:停止运行中的同步任务。

  • 下线:下线未运行、异常及停止的同步任务。

  • 新增告警:勾选对应同步任务后,单击新增告警,即可进行同步任务设置告警规则。

  • 操作告警:勾选对应同步任务后,单击操作告警,即可对同步任务告警进行删除、启用和停止操作,同时支持通过选择告警指标类型来批量修改所有对应的告警规则。

  • 修改责任人:支持实时同步任务修改责任人,您可以单击修改责任人选择新的责任人,方便根据责任人进行搜索和管理。

实时任务详情页面

在任务列表单击实例名称,即可进入任务详情页面。在页面上方可以切换至不同子页面,任务详情页面可以查看任务的运行信息日志基本属性任务配置Failover记录DDL记录任务详情页面

同步任务相关操作

  • 启动同步任务

    操作区域单击启动,即可进入任务的启动页面。设置好相关参数,单击确定,即可启动运行该任务。

    当勾选重置位点选项时,启动时间点位时区为必填参数。

  • 停止同步任务

    单击停止,在弹出的对话框中选择单击停止,即可停止运行中的任务。

  • 下线同步任务

    单击下线,在弹出的对话框中选择单击下线,即可下线当前任务。

  • 报警设置

    • 报警事件页面,设置发生时间范围、报警级别规则查看报警事件。

    • 报警规则页面,显示当前同步任务实例已创建的报警规则。您可以在报警规则列表查看已创建规则的指标和状态等信息,也可以在操作区域对规则进行编辑、暂停、删除和模拟测试等操作。如果需要新创建规则,请单击右侧的新建规则22

      参数

      描述

      是否必选

      名称

      填写新建的规则名称。

      描述

      对新建的规则进行简单描述,便于快速排查定位。

      指标

      设置描述规则的维度指标类型,指标类型和阈值需配合设置。指标类型包括:任务状态、业务延迟、Failover和DDL不支持。

      阈值

      触发报警的阈值需要和指标类型配合设置。

      • 当指标类型为任务状态时,设置触发报警规则的最短时间间隔。

      • 当指标类型为业务延迟时,设置业务延迟大于等于特定时间后的报警持续时间。

      • 当指标类型为DDL不支持时,仅需选择报警级别。

      • 对于非分布式运行的任务,设置特定的时间段内Failover超过多少次触发报警;对于分布式运行的任务,设置指定的时间段内单个子任务Failover超过多少次触发报警。

      报警间隔

      设置两次报警之间最小时间间隔,默认为5分钟,最短时间间隔可设置1分钟。

      WARNING

      设置WARNING级别报警通知方式,包括邮件短信钉钉

      说明
      • 以邮件方式接收告警:若子账号接收告警需要由主账号在用户信息中为子账号完善个人邮箱信息

      • 以短信方式接收告警:若子账号接收告警需要由主账号在用户信息中为子账号完善个人手机号信息。

      • 以自定义钉钉机器人接收告警:要求是普通群,且自定义机器人需要添加关键字“DataWorks”。

      CRITICAL

      设置CRITICAL级别报警通知方式,包括邮件短信钉钉

      接收人(非钉钉)

      设置发送报警的联系人。