全部产品
Search
文档中心

大数据开发治理平台 DataWorks:支持的数据源及同步方案

更新时间:Feb 28, 2024

在配置同步任务前,您需要在数据源管理页面配置好需要同步的数据源。数据集成目前支持MySQL、MaxCompute、Hologres、OSS、Kafka等几十种数据源,各数据源支持的同步方案及读写插件不同,您可以根据实际需求,在配置同步任务中的源端和目标端时选择合适的数据源。

支持的数据源及同步方案

数据集成包括离线同步、实时同步和全增量同步任务三个功能模块,您可以根据各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。

  • DataWorks离线同步为您提供数据读取(Reader)和写入插件(Writer)实现对数据源的读写操作。

  • DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。

  • DataWorks还为您提供多种数据源之间进行不同数据同步场景(整库离线同步、全增量实时同步)的同步。

说明

数据源

离线同步

实时同步

全增量同步任务

单表读

单表写

单表增量读

单表增量写

整库增量读

整库增量写

整库离线读

整库离线写

单表/整库全增量实时读

单表/整库全增量实时写

Amazon S3数据源

支持

-

-

-

-

-

-

-

-

-

Amazon Redshift数据源

支持

支持

-

-

-

-

-

-

-

-

AnalyticDB for MySQL 2.0数据源

支持

支持

-

-

-

-

支持

-

-

-

AnalyticDB for MySQL 3.0数据源

支持

支持

-

支持

-

支持

支持

-

-

支持

AnalyticDB for PostgreSQL数据源

支持

支持

-

-

-

-

支持

-

-

-

ApsaraDB For OceanBase数据源

支持

支持

-

-

支持

-

-

-

支持

-

BigQuery数据源

支持

-

-

-

-

-

-

-

-

-

ClickHouse数据源

支持

支持

-

-

-

-

-

-

-

-

DataHub数据源

支持

支持

支持

支持

-

支持

-

-

-

支持

DB2数据源

支持

支持

-

-

-

-

支持

-

-

-

Doris数据源

-

支持

-

-

-

-

-

-

-

-

DM(达梦)数据源

支持

支持

-

-

-

-

支持

-

-

-

DRDS(PolarDB-X)数据源

支持

支持

-

-

-

-

支持

-

支持

-

Elasticsearch

支持

支持

-

支持

-

-

-

支持

-

支持

FTP数据源

支持

支持

-

-

-

-

-

-

-

-

GBase8a

支持

支持

-

-

-

-

-

-

-

-

HBase

  • HBase Reader:支持

  • HBase20xsql Reader:支持

  • HBase Writer:支持

  • HBase 11xsql Writer:支持

-

-

-

-

-

-

-

-

HDFS数据源

支持

支持

-

-

-

-

-

-

-

-

Hive

支持

支持

-

-

-

-

支持

-

-

-

Hologres

支持

支持

-

支持

-

支持

-

-

-

支持

HybridDB for MySQL数据源

支持

支持

-

-

-

-

支持

-

-

-

Kafka数据源

支持

支持

支持

支持

-

支持

-

-

-

支持

KingbaseES(人大金仓)数据源

支持

支持

-

-

-

-

-

-

-

-

Lindorm数据源

支持

支持

-

-

-

-

-

-

-

-

LogHub(SLS)数据源

支持

支持

支持

-

-

-

-

-

-

-

MaxCompute数据源

支持

支持

-

支持

-

支持

-

支持

-

支持

MariaDB数据源

支持

支持

-

-

-

-

-

-

-

-

Maxgraph数据源

-

支持

-

-

-

-

-

-

-

-

Memcache(OCS)数据源

-

支持

-

-

-

-

-

-

-

-

MetaQ数据源

支持

-

-

-

-

-

-

-

-

-

MongoDB数据源

支持

支持

-

-

支持

-

-

-

支持

-

MySQL数据源

支持

支持

支持

-

支持

-

支持

-

支持

-

OpenSearch数据源

-

支持

-

-

-

-

-

-

-

-

Oracle数据源

支持

支持

-

-

-

-

支持

-

支持

-

OSS数据源

支持

支持

-

-

-

-

-

支持

-

-

OSS-HDFS数据源

支持

支持

-

-

-

-

-

-

-

-

PolarDB数据源

支持

支持

支持

-

支持

-

支持

-

支持

-

PostgreSQL数据源

支持

支持

-

-

-

-

支持

-

支持

-

Redis数据源

-

支持

-

-

-

-

-

-

-

-

RestAPI(HTTP形式)数据源

支持

支持

-

-

-

-

-

-

-

-

Salesforce数据源

支持

-

-

-

-

-

-

-

-

-

SAP HANA数据源

支持

支持

-

-

-

-

-

-

-

-

StarRocks数据源

支持

支持

-

-

-

-

-

-

-

-

SQL Server数据源

支持

支持

-

-

-

-

支持

-

-

-

Tablestore数据源

支持

支持

-

-

-

-

-

-

-

-

Tablestore Stream数据源

支持

-

-

-

-

-

-

-

-

-

TSDB数据源

-

支持

-

-

-

-

-

-

-

-

Vertica

支持

支持

-

-

-

-

-

-

-

-