完成数据源、网络、资源的准备配置后,您可以创建并执行整库实时同步任务,开始进行数据同步。本文为您介绍如何创建整库实时同步任务,先将指定数据库中的部分或全部表的数据离线同步至DataHub中,再将后续新增的数据实时同步至DataHub中,并在创建完成后查看任务运行情况。

背景信息

DataWorks为您提供了整库实时同步数据至DataHub的解决方案,轻松助力企业实现同步整库数据至DataHub后,再将持续新增的数据实时同步至DataHub中。同时,您可以实时查看创建的同步任务详情,监控任务的运行状况及业务库数据的更新情况,用于后续做数据检索、数据分析或数据开发。

整库实时同步数据的优势如下:
  • 整库级别同步。

    无需逐个创建表级别的数据同步任务,支持直接创建库级别的同步任务,选择目标库的部分或全部表数据进行同步。

  • 同步规则配置灵活。
    • 您可以根据业务需求灵活配置不同DDL消息的处理规则。例如,针对来源端删除表的DDL消息,如果您将同步数据的处理方式配置为忽略,则进行实时同步时,DataWorks收到相关删除表的DDL消息时,会忽略该类消息,目标端的对应表则不会被删除。
    • 您可以编辑已经配置运行的同步任务,为该任务快速添加表或删除已有同步表。
    • 您可以根据业务需求,配置目标索引的同步规则,选择是否添加同步源表的实时新增字段至目标索引。添加字段至目标索引后,该字段后续可被搜索。
  • 配置操作简单。

    您无需进行创建同步任务、创建数据库、创建表、创建相互依赖以及执行参数对齐等复杂操作,通过简单的产品配置向导,即可完成对应功能的配置。

  • 实现海量数据的实时更新,自动化运维管理效率较高。

适用场景

适用于需要实时监测业务库数据的更新情况,便于上层应用对实时数据进行检索分析或数据开发的场景。

使用限制

  • 目前仅支持整库实时同步MySQL、PolarDB、Oracle类型的数据库至DataHub。

  • 整库实时同步解决方案仅支持使用独享资源组。

创建整库实时同步任务

  1. 登录并进入数据集成页面,单击同步解决方案 > 任务列表,进入同步解决方案页面。
    操作详情可参见选择同步解决方案
  2. 解决方案任务列表页面,单击右上方的新建任务
  3. 新建同步解决方案对话框中,单击一键实时同步至DataHub
  4. 完成方案名称等基本信息配置。
    基本配置区域,配置各项参数。基本配置
    参数 描述
    方案名称 同步解决方案的名称,最多支持50个字符。
    描述 对当前方案进行简单描述,最多支持50个字符。
    目标任务存放位置 默认创建一个新的业务流程,所有任务均以clone_database_源端数据源名称+to+目标数据源名称的命名方式存放至数据集成目录下。

    您也可以取消自动建立工作流程,在选择位置下拉列表中指定存放目标任务的路径。

  5. 选择来源数据源并配置同步规则。
    1. 数据来源区域,选择类型数据源
      说明

      目前仅支持整库实时同步MySQL、PolarDB、Oracle类型的数据库至DataHub。

    2. 选择同步的源表区域,选中需要同步的源表,单击图标图标,将其移动至已选源表
      选择来源数据源表

      该区域会为您展示所选数据源下所有的表,您可以选择同步目标数据源的部分或全部表。

    3. 设置表名到Topic的映射规则区域,单击添加规则,选择相应的规则进行添加。
      同步规则包括源表名和目标Topic转换规则目标索引名规则
      • 源表名和目标Topic转换规则:转换表名为目标Topic,进行字符串替换。
      • 目标Topic规则:支持对转换后的Topic添加前缀和后缀。
    4. 单击下一步
  6. 选择目标数据源并配置目标Topic。
    1. 设置目标Topic页签,选择目标DataHub数据源
    2. 单击刷新源表和DataHub Topic映射,创建需要同步的源表和目标DataHub Topic的映射关系。
    3. 查看任务的执行进度和表来源。
      进度
      序号 描述
      显示映射关系的创建进度。
      说明 如果同步的表数量较多,会导致执行进度较慢,请耐心等待。
      • 如果来源库有主键,则同步数据时会直接使用该主键进行去重。
      • 如果来源库没有主键,则您需要单击编辑图标,自定义主键,即使用其他非主键的一个或几个字段的联合,代替主键进行同步数据时进行去重判断。
      选择的Topic建立方式,取值如下:
      • Topic建立方式选择自动建Topic时,DataHub Topic列显示自动创建的DataHub Topic名称。您可以单击Topic名称,修改建立Topic的相关配置。
      • Topic建立方式选择使用已有Topic时,请在DataHub Topic列对应的下拉列表中,选择需要使用的Topic。
      Topic建立方式选择自动建Topic时,您可以单击创建的DataHub Topic名称,根据业务需求修改目标Topic的相关参数。配置目标索引参数
      • 同时创建生产环境Topic:用于同时创建生产环境Topic。标准模式下显示该选项,且默认为选中状态。
      • 生命周期:用于设置Topic的生命周期。默认为7天。
      • 数据字段结构:用于设置映射的目标Topic中字段的类型及扩展属性。
      说明 当创建了目标Topic后,如果不修改相关参数,则系统会按照默认值的相应规则进行数据同步。
    4. 单击下一步
  7. 运行资源设置。
    运行资源设置页签,配置各项参数。运行资源设置
    • 离线全量同步
      参数 描述
      离线任务名称规则 全量同步时的离线任务名称。创建解决方案后,会先生成一个离线任务用于同步全量数据,再生成实时任务实时同步增量数据。
      全量离线任务资源组

      选择全量离线任务使用的独享数据集成资源组。

      目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 离线全量调度
      参数 描述
      选择调度资源组

      选择运行任务时使用的调度资源组。

      目前解决方案仅支持使用独享调度资源组,此处可配置为准备操作中已购买并配置的独享调度资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 实时增量同步
      参数 描述
      选择实时任务独享资源组

      选择运行实时任务时需要使用的独享数据集成资源组。

      目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 通道设置
      参数 描述
      来源端读取支持最大连接数 读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为15
  8. 单击完成配置,完成整库实时同步任务的创建。
    说明
    • 如果同步的表数量较多,会导致执行进度较慢,请耐心等待。
    • 实时同步任务仅支持运行在独享数据集成资源组上,详情请参见新增和使用独享数据集成资源组

执行整库实时同步任务

解决方案任务列表页面,单击相应任务后的提交执行,运行创建的整库实时同步任务。

查看任务运行状态及结果

  • 解决方案任务列表页面,选择已运行任务后的更多 > 执行详情,查看当前解决方案整库实时同步任务过程中,各子任务节点的运行详情。任务状态
  • 单击子任务节点后的执行详情,可以单击对话框中的任务链接,进入子节点的数据开发页面。

管理整库实时同步任务

  • 查看任务。

    解决方案任务列表页面,单击相应任务后的更多 > 查看配置,可查看任务的配置信息。

  • 编辑任务。

    解决方案任务列表页面,单击相应任务后的更多 > 修改配置,可编辑任务的配置信息。

    对于已运行成功的实时同步任务,您可以单击相应任务后的更多 > 修改配置,快速添加或删除同步表。方法如下:

    设置同步来源和规则页签的选择同步的源表区域,选择添加或删除目标同步表。修改配置后,保存并运行同步任务,则可以快速添加新表或删除已有同步表。

  • 修改任务优先级。
    单击相应任务后的更多 > 修改优先级。在修改优先级对话框中,输入需要配置的优先级数值,单击确定。优先级取值范围为1~8,数值越大优先级越高。
    说明 优先级相同的任务,按照提交时间的先后顺序执行。
  • 删除任务。
    单击相应任务后的更多 > 删除。在删除对话框中,单击确认
    说明 仅删除当前任务的配置记录,已经生成的表和任务不受影响。