实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步,您可以根据数据源的支持情况,配置实时同步任务,本文为您介绍单表实时同步及整库实时同步支持的数据源情况。

背景信息

使用DataWorks的实时数据同步的操作流程一般包含以下几个流程:
  1. 数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见支持的数据源与读写能力
    说明 数据源相关能力介绍详情请参见:数据源概述
  2. 购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组
  3. 独享数据集成资源组与数据源网络打通。详情请参见:配置资源组与网络连通
  4. 数据源环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述
  5. 实时同步任务配置:配置单表增量数据实时同步配置整库增量数据实时同步
说明 在DataWorks标准模式下,实时同步不支持开发环境,所以配置任务仅支持使用生产态数据源。

单表实时同步支持的数据源

单表实时同步支持输入、输出和转换三种类型的插件,单表实时同步任务配置详情请参见单表增量数据实时同步
说明 单表实时同步支持如下转换插件,您可以根据业务需求,对输入数据源进行数据过滤、字符串替换和数据脱敏处理后,再将数据输出至目标数据库。
数据源单表实时读(输入)单表实时写(输出)
AnalyticDB for MySQL 3.0-配置AnalyticDB MySQL输出
DataHubDataHub输入配置DataHub输出

Elasticsearch

-配置Elasticsearch输出

Hologres

-Hologres输出
KafkaKafka输入配置Kafka输出
LogHub(SLS) LogHub(SLS)输入-
MaxCompute-MaxCompute输出
MySQLMySQL Binlog输入-
PolarDBPolarDB MySQL输入-

整库实时同步支持的数据源

说明 避免同步过程由于数据库环境(权限)导致同步任务失败退出,建议您先进行数据库环境准备。
目标端输出源端输入数据库环境准备
整库同步至MaxCompute
整库同步至Hologres
整库同步至AnalyticDB MySQL 3.0
整库实时至DataHub
整库同步至Kafka