数据集成是稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(MaxCompute、AnalyticDB for PostgreSQL和Hologres等)提供离线、批量数据的进出通道。

重要
  • 在网络可达的情况下,支持通过独享数据集成资源组实现跨账号、跨地域及同步本地IDC数据。例如跨账号同步将A账号下的MySQL数据库的数据可以同步至B账号的MongoDB等数据库中。
  • 数据源需要在连通网络的前提下进行数据同步,详情请参见配置资源组与网络连通
  • 数据集成支持向导模式脚本模式配置离线任务,但以下场景仅支持使用脚本模式配置任务:
    • 无法通过DataWorks数据集成新建数据源。
    • 数据源本身不支持使用向导模式配置任务,可直接通过脚本模式配置任务。
    • 部分插件的参数仅支持使用脚本模式配置任务。

单表离线同步支持的数据源

DataWorks支持您在数据开发(DataStudio)界面配置单表离线同步。

数据源类型抽取(Reader)导入(Writer)
Amazon S3Amazon S3 Reader不支持
AnalyticDB for MySQL 2.0AnalyticDB for MySQL 2.0 ReaderAnalyticDB for MySQL 2.0 Writer
AnalyticDB for MySQL 3.0AnalyticDB for MySQL 3.0 ReaderAnalyticDB for MySQL 3.0 Writer
AnalyticDB for PostgreSQLAnalyticDB for PostgreSQL ReaderAnalyticDB for PostgreSQL Writer

ApsaraDB For Oceanbase

说明 目前该数据源仅支持使用独享数据集成资源组
ApsaraDB For Oceanbase ReaderApsaraDB For Oceanbase Writer
ClickHouse
说明 目前该数据源仅支持使用独享数据集成资源组
ClickHouse ReaderClickHouse Writer
DataHubDataHub ReaderDataHub Writer
DB2
说明 目前该数据源仅支持使用独享数据集成资源组
DB2 ReaderDB2 Writer
DM(达梦)
说明 目前该数据源仅支持使用独享数据集成资源组
DM ReaderDM Writer
DRDSDRDS ReaderDRDS Writer

Elasticsearch

说明 当前该数据源的6.x及以上版本仅支持使用独享数据集成资源组
Elasticsearch ReaderElasticsearch Writer
FTPFTP ReaderFTP Writer

GBase8a

说明 目前该数据源仅支持使用独享数据集成资源组

支持

支持

HBase

说明 目前该数据源仅支持使用独享数据集成资源组
HDFS
说明 目前该数据源仅支持使用独享数据集成资源组
HDFS ReaderHDFS Writer

Hive

说明 目前该数据源仅支持使用独享数据集成资源组
Hive ReaderHive Writer

Hologres

说明 目前该数据源仅支持使用独享数据集成资源组

支持

支持

HybridDB for MySQLHybridDB for MySQL ReaderHybridDB for MySQL Writer
Kafka
说明 目前该数据源仅支持使用独享数据集成资源组
Kafka ReaderKafka Writer
KingbaseES(人大金仓)
说明 目前该数据源仅支持使用独享数据集成资源组
KingbaseES ReaderKingbaseES Writer
Lindorm
说明 目前该数据源仅支持使用独享数据集成资源组
Lindorm ReaderLindorm Writer
LogHub(SLS)LogHub(SLS) ReaderLogHub(SLS) Writer
MaxComputeMaxCompute ReaderMaxCompute Writer
MaxGraph不支持Maxgraph Writer
Memcache不支持Memcache Writer
MetaQ
说明 目前该数据源仅支持使用独享数据集成资源组
MetaQ Reader不支持
MongoDBMongoDB ReaderMongoDB Writer
MySQLMySQL ReaderMySQL Writer
OpenSearch
说明 目前该数据源仅支持使用独享数据集成资源组
不支持OpenSearch Writer
OracleOracle ReaderOracle Writer
OSSOSS ReaderOSS Writer
OTSStreamOTSStream Reader不支持
PolarDBPolarDB ReaderPolarDB Writer
PostgreSQLPostgreSQL ReaderPostgreSQL Writer
Redis不支持Redis Writer
RestAPI(HTTP形式)
说明 目前该数据源仅支持使用独享数据集成资源组
RestAPI ReaderRestAPI Writer
SAP HANA
说明 目前该数据源仅支持使用独享数据集成资源组
SAP HANA ReaderSAP HANA WRITER
StarRocks
说明 目前该数据源仅支持使用独享数据集成资源组
StarRocks ReaderStarRocks Writer
StreamStream ReaderStream Writer
SQL ServerSQL Server ReaderSQL Server Writer
Table Store(OTS)Table Store(OTS)ReaderTable Store(OTS)Writer
TSDB
说明 目前该数据源仅支持使用独享数据集成资源组
不支持TSDB Writer

Vertica

说明 目前该数据源仅支持使用独享数据集成资源组
Vertica ReaderVertica Writer

整库离线同步支持的数据源

DataWorks支持您在数据集成主站新建整库离线同步方案,快速将来源数据源内所有表上传至目标数据源,帮助您节省大量初始化数据上云的批量任务创建时间。

当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、Elasticsearch等,支持的数据源类型和操作指导链接如下。

去向数据源来源数据源操作指导链接
MaxCompute整库离线同步至MaxCompute
OSS整库离线同步至OSS
Elasticsearch整库离线同步至Elasticsearch