进行同步任务配置时,您可以先根据需要同步的来源与去向数据源,及DataWorks各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。本文以数据源维度为您展示数据集成各模块支持的产品能力。
支持的数据源及同步方案
数据集成包括离线同步、实时同步和全增量同步任务三个功能模块,您可以根据各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。
- DataWorks离线同步为您提供数据读取(Reader)和写入插件(Writer)实现对数据源的读写操作。
- DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。
- DataWorks还为您提供多种数据源之间进行不同数据同步场景(整库离线同步、全增量实时同步)的同步。
说明
- 实时同步场景下,各数据源支持的DDL与DML处理策略,详情请参见:支持的DML及DDL操作。
- 具体任务配置与实现您可进入离线同步、实时同步、同步解决方案模块进行操作。
数据源 | 离线同步 | 实时同步 | 全增量同步任务 | |||||||
---|---|---|---|---|---|---|---|---|---|---|
单表读 | 单表写 | 单表增量读 | 单表增量写 | 整库增量读 | 整库增量写 | 整库离线读 | 整库离线写 | 单表/整库全增量实时读 | 单表/整库全增量实时写 | |
Amazon S3数据源 | ![]() | - | - | - | - | - | - | - | - | - |
AnalyticDB for MySQL 2.0数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | - | - |
AnalyticDB for MySQL 3.0数据源 | ![]() | ![]() | - | ![]() | - | ![]() | ![]() | - | - | ![]() |
AnalyticDB for PostgreSQL数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | - | - |
ApsaraDB For Oceanbase | ![]() | ![]() | - | - | ![]() | - | - | - | ![]() | - |
ClickHouse数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
DataHub数据源 | ![]() | ![]() | ![]() | ![]() | - | ![]() | - | - | - | ![]() |
DB2数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | - | - |
Doris数据源 | - | ![]() | - | - | - | - | - | - | - | - |
DM(达梦)数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | - | - |
DRDS(polardb-x)数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | ![]() | - |
Elasticsearch | ![]() | ![]() | - | ![]() | - | - | - | ![]() | - | ![]() |
FTP数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
GBase8a | - | - | - | - | - | - | - | - | ||
HBase |
|
| - | - | - | - | - | - | - | - |
HDFS数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
Hive | ![]() | ![]() | - | - | - | - | ![]() | - | - | - |
Hologres | - | ![]() | - | ![]() | - | - | - | ![]() | ||
HybridDB for MySQL数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | - | - |
Kafka数据源 | ![]() | ![]() | ![]() | ![]() | - | ![]() | - | - | - | ![]() |
KingbaseES(人大金仓)数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
Lindorm数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
LogHub(SLS)数据源 | ![]() | ![]() | ![]() | - | - | - | - | - | - | - |
MaxCompute数据源 | ![]() | ![]() | - | ![]() | - | ![]() | - | ![]() | - | ![]() |
Maxgraph数据源 | - | ![]() | - | - | - | - | - | - | - | - |
Memcache(OCS)数据源 | - | ![]() | - | - | - | - | - | - | - | - |
MetaQ数据源 | ![]() | - | - | - | - | - | - | - | - | - |
MongoDB数据源 | ![]() | ![]() | - | - | ![]() | - | - | - | ![]() | - |
MySQL数据源 | ![]() | ![]() | ![]() | - | ![]() | - | ![]() | - | ![]() | - |
OpenSearch数据源 | - | ![]() | - | - | - | - | - | - | - | - |
Oracle数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | ![]() | - |
OSS数据源 | ![]() | ![]() | - | - | - | - | - | ![]() | - | - |
OTSStream数据源 | ![]() | - | - | - | - | - | - | - | - | - |
PolarDB数据源 | ![]() | ![]() | ![]() | - | ![]() | - | ![]() | - | ![]() | - |
PostgreSQL数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | ![]() | - |
Redis数据源 | - | ![]() | - | - | - | - | - | - | - | - |
RestAPI(HTTP形式)数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
SAP HANA数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
StarRocks数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
Stream数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
SQL Server数据源 | ![]() | ![]() | - | - | - | - | ![]() | - | - | - |
Tablestore(OTS)数据源 | ![]() | ![]() | - | - | - | - | - | - | - | - |
TSDB数据源 | - | ![]() | - | - | - | - | - | - | - | - |
Vertica | ![]() | ![]() | - | - | - | - | - | - | - | - |