数据同步功能旨在帮助用户实现两个数据源之间的数据实时同步。数据同步功能可应用于异地多活、数据异地灾备、本地数据灾备、数据异地多活、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。

支持的同步拓扑

数据同步源实例 数据同步目标实例 支持的同步拓扑
  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL
  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL
  • 单向同步
  • 双向同步
  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL

MaxCompute实例(原ODPS)

单向同步

  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL

AnalyticDB实例

单向同步

  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL

Datahub实例

单向同步

  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL

Elasticsearch实例

单向同步

DRDS实例

DRDS实例

单向同步

DRDS实例

AnalyticDB实例

单向同步

DRDS实例

Datahub实例

单向同步

  • ECS上的自建Redis
  • 通过专线/VPN网关/智能网关接入阿里云的自建Redis
  • Redis实例
  • ECS上的自建Redis
  • 通过专线/VPN网关/智能网关接入阿里云的自建Redis

单向同步

  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL
  • ECS上自建的Kafka
  • 通过专线/VPN网关/智能网关接入阿里云的自建Kafka

单向同步

  • RDS For MySQL实例
  • ECS上的自建MySQL
  • 通过专线/VPN网关/智能网关接入阿里云的自建MySQL
  • RDS for PostgreSQL
AnalyticDB for PostgreSQL实例

单向同步

支持的数据源版本

源数据库 目标数据库 源库版本 目标库版本
MySQL MySQL 5.1、5.5、5.6、5.7、8.0 5.1、5.5、5.6、5.7、8.0
MySQL Elasticsearch 5.1、5.5、5.6、5.7、8.0 所有版本的Elasticsearch
MySQL ADS 5.1、5.5、5.6、5.7、8.0 所有版本的ADS
MySQL MaxCompute 5.1、5.5、5.6、5.7、8.0 所有版本的MaxCompute
MySQL Datahub 5.1、5.5、5.6、5.7、8.0 所有版本的Datahub
DRDS DRDS 所有版本的DRDS 所有版本的DRDS
DRDS ADS 所有版本的DRDS 所有版本的ADS
DRDS Datahub 所有版本的DRDS 所有版本的Datahub
Redis Redis 2.8、3.0、3.2、4.0
说明 当源库为阿里云Redis实例时,数据库版本需为4.0版本。
2.8、3.0、3.2、4.0
MySQL Kafka 5.1、5.5、5.6、5.7、8.0 0.10、1.0
RDS for PostgreSQL AnalyticDB for PostgreSQL 9.4、10 不涉及

数据同步对象

同步对象的选择粒度可以为:库、表、列,您可以根据需要选择同步的对象。

数据同步支持库、表、列名映射,您可以进行不同库名之间的数据,或两个不同表名之间的数据同步。

数据同步支持列选择,您可以根据业务需求,只同步表中的某几列数据。

同步作业状态说明

同步作业是数据实时同步的基本单元。如果要进行两个实例间的数据同步,必须在数据传输控制台创建同步作业。

同步作业在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示。

作业状态 状态说明 可进行操作
预检中 同步作业正在进行启动前的预检查。
  • 查看同步配置
  • 删除同步
  • 复制同步配置
  • 配置监控报警
预检查失败 同步作业预检查没有通过。
  • 预检查
  • 查看同步配置
  • 修改同步对象
  • 修改同步速度
  • 删除同步
  • 复制同步配置
  • 配置监控报警
未启动 迁移任务已经通过迁移之前的预检查,但是尚未启动。
  • 预检查
  • 开始同步
  • 修改同步对象
  • 修改同步速度
  • 删除同步
  • 复制同步配置
  • 配置监控报警
同步初始化中 同步作业正在进行同步初始化。
  • 查看同步配置
  • 删除同步
  • 复制同步配置
  • 配置监控报警
同步初始化失败 同步作业在初始化过程中,同步失败。
  • 查看同步配置
  • 修改同步对象
  • 修改同步速度
  • 删除同步
  • 复制同步配置
  • 配置监控报警
同步中 同步作业正常同步中。
  • 查看同步配置
  • 修改同步对象
  • 修改同步速度
  • 删除同步
  • 复制同步配置
  • 配置监控报警
同步失败 同步作业同步异常。
  • 查看同步配置
  • 修改同步对象
  • 修改同步速度
  • 删除同步
  • 复制同步配置
  • 配置监控报警
暂停中 同步作业执行了暂停,处于暂停状态。
  • 查看同步配置
  • 修改同步对象
  • 修改同步速度
  • 删除同步
  • 复制同步配置
  • 配置监控报警

当任务处于同步失败同步初始化失败的状态时,7天之内这个同步实例会被后台启动恢复。如要停止同步,您需要手动暂停或结束处于同步失败同步初始化失败的任务。

高级特性

数据同步支持以下高级特性,简化产品的使用难度。

  • 动态增减同步对象。

    在数据同步过程中,用户可以随时增加或减少需要同步的对象。

  • 完善性能查询体系。

    数据同步提供同步延迟、同步性能(RPS、流量) 趋势图,用户可以方便查看同步链路的性能趋势。

  • 完善监控体系。

    数据同步提供同步作业状态、同步延迟的报警监控功能。用户可以根据业务敏感度,自定义同步延迟报警阈值。

  • 支持多种ETL特性。
    • 支持库表列三级对象名映射,可以实现对源跟目标实例的库名、表名或列名不同的两个对象之间进行数据同步。
    • 支持迁移数据过滤,可以对待同步的表设置某种SQL条件过滤要所需同步的数据。