資料來源Dataphin支援哪些資料來源 - Dataphin

在使用Dataphin前，您需要選擇符合業務情境需求的資料庫或資料倉儲作為資料來源，用於讀取未經處理資料和寫入資料建設過程中的資料。Dataphin整合了豐富的資料引擎，支援接入MaxCompute、Hive等資料倉儲，也支援對接企業傳統資料庫，如MySQL、Oracle等。

背景資訊

Dataphin支援對接的資料來源包括巨量資料儲存型資料來源、檔案資料來源、訊息佇列資料來源、關係型資料來源和NoSQL資料來源，各模組支援對接的資料來源類型說明如下：

如果您需要在Dataphin中串連某資料來源，則需要先在資料來源管理中建立該資料來源。
Dataphin添加資料來源時支援添加生產資料來源和開發資料來源。Basic專案及Dev-Prod專案的Prod環境，讀寫生產資料來源；Dev-Prod專案的Dev環境，讀寫開發資料來源。資料服務中Basic模式和Dev-Prod模式的Prod環境讀取生產資料來源，Dev-Prod模式的Dev環境讀取開發資料來源。同步任務不支援生產開發雙環境，產品中的資料來源讀寫的都是生產資料來源。
說明
在內建的資料來源類型中，未有所需接入的資料來源類型時，您可自訂離線或即時資料源類型，並將自訂的資料來源對接到Dataphin，以滿足不同的資料來源接入需求。具體操作，請參見：
- 建立離線自訂來源類型
- 建立即時自訂來源類型

資料來源說明

應用情境	描述	相關文檔
離線整合	離線整合支援多種組件，包括輸入、輸出與轉換組件等，通過在畫布上簡單的拖拽、配置並組裝的方式，產生離線整合單條管道。離線整合也支援指令碼模式，支援更多個人化配置。同時，使用者建立的自訂RDBMS資料來源的輸入與輸出組件也會自動在建立在組件庫中，滿足多樣化的資料同步需求。	離線整合
即時整合	Dataphin支援即時整合功能，可將來源端資料來源中整庫或全部表的資料變化即時整合至目標端資料來源中，實現來源端資料來源與目標端資料來源即時的保持資料同步。	即時整合
離線研發-資料庫SQL	資料來源接入Dataphin中後，支援在Dataphin建立資料庫SQL任務進行開發。	建立資料庫SQL任務
中繼資料採集	中繼資料中心負責從各業務系統中抽取、加工、集中儲存和管理中繼資料，以支援資料治理，並加強組織內部資料的組織、檢索和分析能力。	中繼資料中心
即時研發	接入的資料來源支援用於建立即時元表建立與即時任務的開發。	Flink_SQL任務開發方式
資料品質	資產品質是基於Dataphin平台，為資料的開發及使用提供全套的資料品質解決方案。您可根據資料來源建立全域表品質規則或資料來源品質規則。資料來源品質規則支援選擇Dataphin內所有資料來源建立品質監控規則，支援的資料來源均可進行連通性測試，其中，僅部分資料來源支援配置表結構異動監測品質規則，詳情請參見下方表格資料來源品質-表結構異動性列。	資產品質概述
資料服務	資料服務（OneService）是基於Dataphin建設資料中台的最後一步。資料服務作為統一的資料服務出口，實現了資料的統一市場化管理，有效地降低資料開放門檻的同時，保障了資料開放的安全。	資料服務
標籤工廠	標籤工廠是通過標籤建立到服務全鏈路的構建，為企業資料研發團隊以及開發工程師提供一站式標籤開發以及服務平台，適合多種情境（如風控、營銷），提供離線、即時、服務標籤的開發、管理、探索以及服務能力，賦能上層各端業務應用，為企業沉澱標籤資產，使標籤開發高效、好找、好用、好管理。	標籤工廠概述

本文僅列舉了支援接入Dataphin的資料來源及在Dataphin中支援的應用情境。若需要查看資料來源在各情境中具體支援的功能詳情，請參見：

巨量資料儲存型資料來源

資料來源類型	離線整合	即時整合	離線研發-資料庫SQL	中繼資料採集	即時研發	全域表品質	資料來源品質-表結構異動性	資料服務	標籤工廠	建立指導
MaxCompute	支援	支援	不支援	不支援	支援	支援	支援	支援	支援	建立MaxCompute資料來源
Hive	支援	支援	不支援	支援	支援	支援	支援	支援	不支援	建立Hive資料來源
Hologres	支援	支援	支援	支援	支援	支援	支援	支援	支援	建立Hologres資料來源
Impala	支援	不支援	不支援	不支援	不支援	不支援	支援	支援	不支援	建立Impala資料來源
TDH Inceptor	支援	不支援	不支援	不支援	支援	支援	支援	支援	不支援	建立TDH Inceptor資料來源
Kudu	支援	不支援	不支援	不支援	不支援	不支援	支援	不支援	不支援	建立Kudu資料來源
StarRocks	支援	支援	支援	支援	支援	支援	支援	支援	不支援	建立StarRocks資料來源
Hudi	不支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	建立Hudi資料來源
Doris	支援	不支援	支援	支援	支援	支援	支援	支援	不支援	建立Doris資料來源
GreenPlum	支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	支援	建立GreenPlum資料來源
TDengine	支援	不支援	支援	不支援	不支援	不支援	不支援	支援	不支援	建立TDengine資料來源
ArgoDB	支援	不支援	不支援	不支援	不支援	支援	支援	不支援	不支援	建立ArgoDB資料來源
SelectDB	支援	不支援	支援	支援	不支援	支援	支援	支援	不支援	建立SelectDB資料來源
Databricks	支援	支援	不支援	不支援	不支援	支援	支援	支援	不支援	建立Databricks資料來源
Amazon Redshift	支援	不支援	不支援	支援	不支援	支援	支援	支援	不支援	建立Amazon Redshift資料來源
DolphinDB	支援	不支援	不支援	支援	不支援	不支援	不支援	支援	不支援	建立DolphinDB資料來源
Snowflake	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立Snowflake資料來源
Data Lake Formation	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立Data Lake Formation資料來源

檔案資料來源

資料來源類型	離線整合	即時整合	離線研發-資料庫SQL	中繼資料採集	即時研發	全域表品質	資料來源品質-表結構異動性	資料服務	標籤工廠	建立指導
HDFS	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立HDFS資料來源
FTP	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立FTP資料來源
OSS	支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	建立OSS資料來源
Amazon S3	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立Amazon S3資料來源

訊息佇列資料來源

資料來源類型	離線整合	即時整合	離線研發-資料庫SQL	中繼資料採集	即時研發	全域表品質	資料來源品質-表結構異動性	資料服務	標籤工廠	建立指導
Log Service	支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	建立Log Service資料來源
Kafka	支援	支援	不支援	不支援	支援	不支援	不支援	不支援	支援	建立Kafka資料來源
DataHub	支援	支援	不支援	不支援	支援	不支援	不支援	不支援	支援	建立DataHub資料來源
RabbitMQ	不支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	建立RabbitMQ資料來源

關係型資料來源

資料來源類型	離線整合	即時整合	離線研發-資料庫SQL	中繼資料採集	即時研發	全域表品質	資料來源品質-表結構異動性	資料服務	標籤工廠	非結構化資料集	建立指導
PolarDB	支援	不支援	不支援	不支援	支援	支援	支援	不支援	不支援	不支援	建立PolarDB資料來源
PolarDB-X（原DRDS）	支援	不支援	不支援	支援	支援	支援	支援	不支援	不支援	不支援	建立PolarDB-X資料來源
PolarDB-X 2.0	支援	不支援	支援	不支援	不支援	支援	支援	支援	不支援	不支援	建立PolarDB-X2.0資料來源
MySQL	支援	支援	支援	支援	支援	支援	支援	支援	支援	不支援	建立MySQL資料來源
SAP HANA	支援	不支援	不支援	支援	支援	支援	支援	支援	不支援	不支援	建立SAP HANA資料來源
Microsoft SQL Server	支援	支援	支援	支援	支援	支援	支援	支援	不支援	不支援	建立Microsoft SQL Server資料來源
PostgreSQL	支援	支援	支援	支援	支援	支援	支援	支援	支援	支援	建立PostgreSQL資料來源
AnalyticDB for MySQL 2.0	支援	不支援	支援	不支援	支援	不支援	支援	支援	不支援	不支援	建立AnalyticDB for MySQL 2.0資料來源
AnalyticDB for MySQL 3.0	支援	不支援	支援	支援	支援	不支援	支援	支援	不支援	不支援	建立AnalyticDB for MySQL 3.0資料來源
AnalyticDB for PostgreSQL	支援	不支援	支援	不支援	支援	支援	支援	支援	支援	不支援	建立AnalyticDB for PostgreSQL資料來源
OceanBase	支援	不支援	支援	支援	支援	不支援	支援	支援	不支援	不支援	建立OceanBase資料來源
Oracle	支援	支援	支援	支援	支援	支援	支援	支援	支援	不支援	建立Oracle資料來源
Vertica	支援	不支援	不支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	建立Vertica資料來源
IBM DB2	支援	支援	不支援	支援	不支援	支援	支援	不支援	不支援	不支援	建立IBM DB2資料來源
Teradata	支援	不支援	不支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	建立Teradata資料來源
ClickHouse	支援	不支援	支援	支援	支援	支援	支援	支援	不支援	不支援	建立ClickHouse資料來源
DM（達夢）	支援	不支援	支援	支援	不支援	支援	支援	支援	不支援	不支援	建立達夢（DM）資料來源
GBase 8a	支援	不支援	支援	不支援	不支援	不支援	不支援	支援	不支援	不支援	建立GBase 8a資料來源
KingbaseES	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立KingbaseES資料來源
TiDB	支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	不支援	建立TiDB資料來源
GoldenDB	支援	不支援	不支援	不支援	不支援	支援	支援	不支援	不支援	不支援	建立GoldenDB資料來源
OpenGauss	支援	不支援	支援	支援	不支援	不支援	不支援	不支援	支援	不支援	建立OpenGauss資料來源
GaussDB（DWS）	支援	不支援	支援	不支援	支援	支援	支援	支援	不支援	不支援	建立GaussDB（DWS）資料來源
Amazon RDS for MySQL	支援	不支援	不支援	支援	不支援	支援	支援	支援	不支援	不支援	建立Amazon RDS for MySQL資料來源
Amazon RDS for PostgreSQL	支援	不支援	不支援	支援	不支援	支援	支援	支援	不支援	不支援	建立Amazon RDS for PostgreSQL資料來源
Amazon RDS for SQL Server	支援	不支援	不支援	支援	不支援	支援	支援	支援	不支援	不支援	建立Amazon RDS for SQL Server資料來源
Amazon RDS for Oracle	支援	不支援	不支援	支援	不支援	支援	支援	支援	不支援	不支援	建立Amazon RDS for Oracle資料來源
Amazon RDS for DB2	支援	不支援	不支援	支援	不支援	支援	支援	不支援	不支援	不支援	建立Amazon RDS for DB2資料來源
TDSQL for MySQL	支援	不支援	支援	支援	不支援	支援	支援	支援	不支援	不支援	建立TDSQL for MySQL
GBase 8c	支援	不支援	不支援	不支援	不支援	不支援	不支援	支援	不支援	不支援	建立GBase 8c資料來源
TDSQL for PostgreSQL	支援	不支援	支援	不支援	不支援	支援	不支援	支援	不支援	不支援	建立TDSQL for PostgreSQL資料來源
OushuDB	支援	支援	支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	建立OushuDB資料來源

NoSQL資料來源

資料來源類型	離線整合	即時整合	離線研發-資料庫SQL	中繼資料採集	即時研發	全域表品質	資料來源品質-表結構異動性	資料服務	標籤工廠	知識圖譜	建立指導
HBase0.9.4	支援	不支援	不支援	不支援	支援	不支援	不支援	支援	支援	不支援	建立HBase資料來源
HBase1.1x	支援	不支援	不支援	不支援	支援	不支援	不支援	支援	支援	不支援	建立HBase資料來源
HBase2.0	支援	不支援	不支援	不支援	支援	不支援	不支援	支援	支援	不支援	建立HBase資料來源
Elasticsearch	支援	不支援	不支援	支援	支援	不支援	不支援	支援	支援	不支援	建立Elasticsearch資料來源
MongoDB	支援	不支援	不支援	不支援	支援	不支援	不支援	支援	不支援	不支援	建立MongoDB資料來源
Tablestore	支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	支援	不支援	建立Tablestore資料來源
Aliyun HBase	不支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	不支援	建立Aliyun HBase資料來源
Redis	支援	不支援	不支援	不支援	支援	不支援	不支援	不支援	不支援	不支援	建立Redis資料來源
Presto	不支援	不支援	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立Presto資料來源
Easysearch	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立Easysearch資料來源
Trino	不支援	不支援	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立Trino資料來源
OpenSearch	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立OpenSearch資料來源
InfluxDB	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立InfluxDB資料來源
Lindorm	支援	不支援	支援（不包含連線類型為寬表引擎-HBase的資料來源）	不支援	不支援	不支援	不支援	支援	支援（僅支援連線類型為寬表引擎-HBase的資料來源）	支援	建立Lindorm資料來源

半結構化儲存資料來源

資料來源類型	離線整合	即時整合	離線研發-資料庫SQL	中繼資料採集	即時研發	全域表品質	資料來源品質-表結構異動性	資料服務	標籤工廠	知識圖譜	建立指導
API	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	支援	不支援	建立API資料來源
SAP Table	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立SAP Table資料來源
Salesforce	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立Salesforce資料來源
飛書多維表格式資料源	支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	建立飛書多維表格式資料源
Neo4j	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	不支援	支援	建立Neo4j資料來源

向量型資料庫

資料來源類型

離線整合

即時整合

離線研發-資料庫SQL

中繼資料採集

即時研發

全域表品質

資料來源品質-表結構異動性

資料服務

標籤工廠

知識圖譜

非結構化資料集

建立指導

Milvus

支援

不支援

支援

建立Milvus資料來源