資料同步功能協助您實現資料來源之間的資料即時同步,適用於資料異地多活、資料異地災備、本機資料災備、跨境資料同步、雲BI及即時資料倉庫等多種業務情境。本文將介紹資料同步功能支援的資料庫、同步類型和同步拓撲。
背景資訊
同步類型說明
同步類型 | 說明 |
庫表結構同步 | DTS將源庫中待同步對象的結構定義資訊(例如表、視圖、觸發器、預存程序、索引等)同步至目標庫。 重要 如果不支援庫表結構同步,在配置資料同步任務之前,您需要根據源庫中待同步對象的結構定義,在目標庫中建立資料庫、資料表。 |
全量資料同步 | DTS將源庫中待同步對象的存量資料,全部同步到目標庫中,作為後續增量同步處理資料的基準資料。 為簡化資料同步的操作,建議在配置資料同步任務時,同時勾選庫表結構同步和全量同步。 |
增量資料同步 | 同步任務固定支援增量資料同步,DTS將會擷取源庫中待同步對象的增量變更動作陳述式(例如從MySQL資料庫中的Binlog擷取增量變更語句),並根據目標庫的類型進行轉換,然後在目標庫中執行該語句,從而實現將增量資料即時同步至目標庫。 |
同步拓撲說明
支援單向同步和雙向同步。更多資訊,請參見資料同步拓撲介紹。
雙向同步執行個體包含正向和反向同步任務,在配置或重設雙向同步執行個體時,若其中一個任務的目標對象是另一個任務待同步的對象:
僅允許其中一個任務同步庫表結構、全量資料和增量資料,另一個任務僅支援同步增量資料。
若您需要重設正向同步任務並重新設定,建議您同時重設正向和反向任務,然後重新設定任務。否則,在正向任務的全量資料和庫表結構同步階段,系統將自動移除反向任務已配置的同步對象,從而導致雙向同步執行個體的結果不符合預期。
當前任務的來源資料僅支援同步到當前任務的目標端,同步過來的資料不會作為另一個任務的來源資料繼續同步。
資料同步與資料移轉的區別
資料同步在某些情境下可實現部分資料移轉的功能,且網路穩定性更好、功能更豐富。更多區別,請參見資料移轉和資料同步的區別是什麼。
跨帳號資料同步
是否支援建立跨阿里雲帳號的同步任務(源庫或目標庫執行個體有是否跨阿里雲帳號配置項,且選擇為跨帳號)取決於資料庫的類型和接入方式。更多資訊,請參見配置跨阿里雲帳號的任務。
資料庫限制
源庫的網路頻寬節流設定和業務要求如下表所示,更多限制,請參見具體的配置文檔。
限制項 | 說明 |
網路頻寬 |
|
業務要求 |
|
常見問題
DTS是否支援RDS MySQL Serverless執行個體?
支援。
DTS是否支援PolarDB MySQL版 Serverless叢集?
支援。
DTS是否支援RDS PostgreSQL Serverless執行個體?
當前僅目標庫支援,源庫不支援。
DTS是否支援專屬叢集MyBase中的執行個體?
支援。通過雲資料庫專屬叢集MyBase建立的資料庫執行個體,可以通過雲執行個體的接入方式被DTS正常讀取,您可以參考下表中的相應資料庫鏈路文檔進行配置。
說明例如,您可以參考自建MySQL同步至RDS MySQL配置從自建MySQL同步至雲資料庫專屬叢集MyBase中的MySQL執行個體。
什麼是自建資料庫?
配置DTS執行個體時,接入方式不是雲執行個體的資料庫執行個體。自建資料庫包含第三方雲的資料庫執行個體、部署在您本地的資料庫、部署在ECS執行個體的資料庫。
同步方案概覽
您可以根據業務需求,在頁面右側的本頁導讀中,單擊相應的源庫同步方案,以快速定位到對應地區,來查看支援的版本、同步類型和配置步驟。
源為自建MySQL或RDS MySQL的同步方案
PolarDB-X 1.0中的資料庫須基於RDS MySQL建立,DTS暫不支援基於PolarDB MySQL版建立的資料庫。
PolarDB-X 1.0為目標時不支援結構同步以及結構初始化,PolarDB-X 2.0為目標時均支援。
建議PolarDB-X 2.0執行個體的版本為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
Oracle(RAC或非RAC架構) 版本為9i、10g、11g、12c、18c、19c | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 1.0 | 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 2.0、3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫ClickHouse叢集 20.8及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫Tair(相容Redis)執行個體(叢集架構、標準架構或讀寫分離架構) 4.0、5.0、6.0、7.0版本 | 全量資料同步 增量資料同步 | 單向同步 | ||
Table Store(Tablestore) | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Function ComputeFC 2.0版本 | 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫SelectDB版 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲原生多模資料庫Lindorm | 全量資料同步 增量資料同步 | 單向同步 | ||
Doris 1.2及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲訊息佇列 RocketMQ 版 4.x和5.x系列 | 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB MySQL版的同步方案
PolarDB-X 1.0中的資料庫須基於RDS MySQL建立,DTS暫不支援基於PolarDB MySQL版建立的資料庫。
PolarDB-X 1.0為目標時不支援結構同步以及結構初始化,PolarDB-X 2.0為目標時均支援。
建議PolarDB-X 2.0執行個體的版本為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB MySQL版 所有版本 | PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
PolarDB-X 1.0 | 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 2.0、3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫ClickHouse叢集 20.8及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Oracle(RAC或非RAC架構) 版本為9i、10g、11g、12c、18c、19c | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫SelectDB版 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Doris 1.2及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲原生多模資料庫Lindorm | 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB PostgreSQL版的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB PostgreSQL版 11、14、15、16、17版本 |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
PolarDB PostgreSQL版 11、14、15、16、17版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫SelectDB版 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB-X的同步方案
PolarDB-X 1.0中的資料庫須基於RDS MySQL建立,DTS暫不支援基於PolarDB MySQL版建立的資料庫。
PolarDB-X 1.0為目標時不支援結構同步以及結構初始化,PolarDB-X 2.0為目標時均支援。
建議PolarDB-X 2.0執行個體的版本為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB-X 1.0 | PolarDB-X 1.0 | 全量資料同步 增量資料同步 | 單向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Oracle(RAC或非RAC架構) 版本為9i、10g、11g、12c、18c、19c | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Table Store(Tablestore) | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 1.0 | 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫SelectDB版 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB PostgreSQL版(相容Oracle)的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB PostgreSQL版(相容Oracle) 所有版本 | PolarDB PostgreSQL版(相容Oracle) 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | PolarDB PostgreSQL版(相容Oracle)叢集同步至雲原生資料倉儲 AnalyticDB MySQL 版 3.0 |
源為Oracle的同步方案
僅支援在新版控制台配置。
建議目標PolarDB-X 2.0執行個體的版本為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
自建Oracle(RAC或非RAC架構) 9i、10g、11g、12c、18c、19c版本 | AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
DataHub | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB PostgreSQL版(相容Oracle) 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
阿里雲訊息佇列Kafka版 0.10.1.0~2.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為自建PostgreSQL或RDS PostgreSQL的同步方案
源庫暫不支援RDS PostgreSQL Serverless執行個體,目標庫支援。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
PolarDB PostgreSQL版 11、14、15、16、17版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB PostgreSQL版(相容Oracle) 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫SelectDB版 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為自建SQL Server或RDS SQL Server的同步方案
源庫支援的自建SQL Server需為Enterprise、Developer、Enterprise Evaluation、Standard、Web版本。
目標庫支援的自建SQL Server需為Enterprise、Developer、Enterprise Evaluation、Standard、Web版本。
已支援SQL Server Cluster或SQL Server AlwaysOn High Availability Group。
Azure SQL Database作為源庫時,SQLServer增量同步處理模式需選擇輪詢查詢CDC執行個體做增量同步處理。
源庫不支援自建SQL Server為2005版本或源RDS SQL Server為2008、2008 R2版本。
在混合式日誌解析模式下(即SQLServer增量同步處理模式為非堆表用日誌解析增量同步處理,堆表用CDC增量同步處理的執行個體),支援的源庫(包含RDS SQL Server和自建SQL Server)有:
Enterprise或Enterprise Evaluation版:2012、2014、2016、2019或2022版本。
Standard版:2016、2019或2022版本。
Web版本的SQL Server為源庫時,SQLServer增量同步處理模式僅支援解析源庫日誌做增量同步處理(不支援堆表)。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
RDS PostgreSQL 9.4、10、11、12、13、14、15、16、17版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 增量資料同步 | 單向同步 |
源為MariaDB的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
RDS MySQL | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
RDS PostgreSQL 9.4、10、11、12、13、14、15、16、17版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為自建MongoDB或ApsaraDB for MongoDB的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
複本集架構
| 複本集或分區叢集架構
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ApsaraDB for MongoDB(複本集架構)同步至ApsaraDB for MongoDB(複本集架構或分區叢集架構) |
分區叢集架構
| 複本集或分區叢集架構
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ApsaraDB for MongoDB(分區叢集架構)同步至ApsaraDB for MongoDB(複本集架構或分區叢集架構) |
ApsaraDB for MongoDB(分區叢集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | ApsaraDB for MongoDB(分區叢集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 雙向同步 | |
ApsaraDB for MongoDB(複本集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | ApsaraDB for MongoDB(複本集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 雙向同步 | |
複本集或分區叢集架構
| Function ComputeFC 2.0版本 | 增量資料同步 | 單向同步 | |
雲原生多模資料庫Lindorm | 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0 | 全量資料同步 增量資料同步 | 單向同步 | ||
雲原生資料倉儲AnalyticDB MySQL版 3.0 | 全量資料同步 增量資料同步 | 單向同步 | ||
| 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 全量資料同步 增量資料同步 | 單向同步 | ||
| 全量資料同步 增量資料同步 | 單向同步 |
源為自建Redis或雲資料庫Tair(相容Redis)的同步方案
Redis屬於NoSQL資料庫,無需庫表結構同步。
僅支援Tair(企業版)執行個體間的雙向同步。
源庫為自建Redis或雲資料庫Tair(相容Redis)執行個體時,支援全量資料同步和增量資料同步,合并顯示為增量同步處理。
最高支援11版本的RDB(對應於Redis 7.2)。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 全量資料同步 增量資料同步 | 單向同步 | |
雲資料庫Tair(相容Redis)企業版/Tair執行個體(叢集架構、標準架構或讀寫分離架構) | 雲資料庫Tair(相容Redis)企業版/Tair執行個體(叢集架構、標準架構或讀寫分離架構) | 全量資料同步 增量資料同步 | 雙向同步 |
源為TiDB的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
TiDB | AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | 文檔準備中 |
源為Db2 for LUW的同步方案
Db2 for LUW在控制台顯示為DB2 LUW。
建議目標PolarDB-X 2.0執行個體的版本為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
Db2 for LUW 9.5、9.7、10.1、10.5、11.1、11.5版本 |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為Db2 for i(AS/400)的同步方案
Db2 for i在控制台顯示為DB2 iSeries(AS/400)。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
Db2 for i 7.3、7.4版本 |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | 文檔準備中 |
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | 文檔準備中 |
源為AnalyticDB MySQL 3.0的同步方案
源AnalyticDB MySQL版 3.0叢集的核心版本需為3.2.1.0或以上版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
AnalyticDB for MySQL 3.0版本 | AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為AnalyticDB PostgreSQL版的同步方案
源AnalyticDB PostgreSQL版執行個體的核心版本需為7.2.1.4或以上版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
AnalyticDB PostgreSQL版 7.0版本 | AnalyticDB PostgreSQL版 7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為Data Management邏輯庫的同步方案
DMS邏輯庫需基於多個PolarDB MySQL版執行個體的分庫建立。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
Data Management邏輯庫 | AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為AWS平台資料庫的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
AWS平台資料庫 | 以控制台為準 | |||