AnalyticDB for MySQL支援的資料來源及匯入方案 - AnalyticDB

AnalyticDB for MySQL支援匯入RDS MySQL、MongoDB、OSS、MaxCompute、Kafka等多種資料來源至資料倉儲或資料湖中，各資料來源支援的匯入方案也不同，您可以參考本文檔，選擇合適的匯入方案。

概述

資料入倉和資料入湖的區別如下：

資料入倉：
- 資料經過預先處理後會匯入資料倉儲。
- 資料倉儲採用AnalyticDB for MySQL自研的玄武分析型儲存引擎作為儲存引擎，玄武分析型儲存引擎為使用者提供高可靠、高可用、高效能、低成本的企業級資料存放區能力，是AnalyticDB for MySQL實現高吞吐即時寫入、高效能即時查詢的基礎支撐。
- 資料入倉適用於對後續資料分析效能有較高要求的業務情境。
資料入湖：
- 將未經處理資料以開源的Iceberg、Paimon等表格式匯入至資料湖中。
- 資料湖可以是AnalyticDB for MySQL提供的湖儲存，也可以是您自有的OSS Bucket。資料湖具有開源開放的特點，資料格式為Iceberg、Paimon等開源表格式。資料湖中的資料除了可被AnalyticDB for MySQL的Spark、XIHE引擎訪問外，還可被外部引擎（例如：MaxCompute）直接存取。
- 資料入湖適用於有開源開放需求且對分析效能要求不嚴格的業務情境。若對資料湖訪問效能有要求，可以開通湖儲存加速（LakeCache）來獲得相對OSS更高的頻寬和更低的延遲。

資料入倉

類別	資料來源	匯入方式	產品系列	文檔連結
資料庫	RDS MySQL	外表	數倉版、企業版、基礎版或湖倉版	通過外表匯入RDS MySQL資料
		DTS	數倉版、企業版、基礎版或湖倉版	通過DTS匯入資料
		DataWorks	數倉版、企業版、基礎版或湖倉版	通過DataWorks匯入資料
		無感整合	數倉版、企業版、基礎版或湖倉版	通過無感整合（Zero-ETL）同步資料
	RDS SQL Server	DTS	數倉版、企業版、基礎版或湖倉版	通過DTS匯入資料
	RDS SQL Server	DataWorks	數倉版、企業版、基礎版或湖倉版	通過DataWorks匯入資料
	PolarDB分布式版（原DRDS）	DTS	數倉版、企業版、基礎版或湖倉版	通過DTS匯入資料
		DataWorks	數倉版、企業版、基礎版或湖倉版	通過DataWorks匯入資料
		一站式同步	企業版、基礎版或湖倉版	自動同步PolarDB-X中繼資料
	PolarDB MySQL	聯邦分析	企業版、基礎版或湖倉版	通過聯邦分析功能同步資料
		DTS	數倉版、企業版、基礎版或湖倉版	通過DTS匯入資料
		無感整合	數倉版、企業版、基礎版或湖倉版	通過無感整合（Zero-ETL）同步資料
	MongoDB	外表	企業版、基礎版或湖倉版	通過外表匯入MongoDB資料
	MongoDB	無感整合	數倉版、企業版、基礎版或湖倉版	通過無感整合（Zero-ETL）同步資料
	Lindorm	無感整合	數倉版、企業版、基礎版或湖倉版	Lindorm資料匯入
	Oracle	DataWorks	數倉版、企業版、基礎版或湖倉版	Oracle資料匯入
	自建MySQL	外表	數倉版	自建MySQL資料匯入
	自建HBase	DTS	數倉版	自建HBase資料匯入
儲存	OSS	外表	數倉版、企業版、基礎版或湖倉版	通過外表匯入OSS資料
	OSS	DataWorks	數倉版、企業版、基礎版或湖倉版	通過DataWorks匯入資料
	Table Store（Tablestore）	外表	企業版、基礎版或湖倉版	查詢並匯入Tablestore資料
	HDFS	外表	數倉版、企業版、基礎版或湖倉版	通過外表匯入HDFS資料
	HDFS	DataWorks	數倉版、企業版、基礎版或湖倉版	通過DataWorks匯入
巨量資料	MaxCompute	外表	數倉版、企業版、基礎版或湖倉版	通過外表匯入MaxCompute資料
	MaxCompute	DataWorks	數倉版、企業版、基礎版或湖倉版	通過DataWorks匯入
	Flink	Flink	數倉版	Flink資料匯入
訊息佇列	Kafka	DataWorks	數倉版、企業版、基礎版或湖倉版	通過DataWorks匯入資料
訊息佇列	Kafka	Logstash外掛程式	數倉版	通過Logstash匯入數倉版
日誌類資料	日誌資料	資料同步	數倉版、企業版、基礎版或湖倉版	通過資料同步功能同步SLS資料至數倉版
日誌類資料	日誌資料	Logstash外掛程式	數倉版	通過Logstash匯入數倉版
本機資料		SQLAlchemy	數倉版、企業版、基礎版或湖倉版	通過SQLAlchemy匯入DataFrame資料
		LOAD DATA	數倉版	通過LOAD DATA匯入至數倉版
		匯入工具	數倉版	通過匯入工具匯入至數倉版
		Kettle	數倉版	通過Kettle匯入至數倉版

資料入湖

重要

僅適用於企業版、基礎版或湖倉版叢集。

類別	資料來源	匯入方式	文檔連結
訊息佇列	Kafka	資料同步	通過資料同步功能同步Kafka資料（推薦）
日誌類資料	Log Service（SLS）	資料同步	通過資料同步功能同步SLS資料（推薦）
巨量資料	Hive	資料移轉	Hive資料匯入
儲存	OSS	中繼資料發現	通過中繼資料發現匯入資料

AnalyticDB：支援的資料來源

概述

資料入倉

資料入湖

相關文檔