Sumber data yang didukung dan metode impor untuk AnalyticDB for MySQL - AnalyticDB

AnalyticDB for MySQL mendukung pengimporan data dari berbagai sumber data, seperti RDS, MongoDB, OSS, MaxCompute, dan Kafka, ke dalam gudang data atau data lake. Metode impor bervariasi tergantung pada sumber datanya. Gunakan dokumen ini untuk memilih metode impor yang sesuai.

Ikhtisar

Perbedaan antara mengonsumsi data ke dalam gudang data dan data lake adalah sebagai berikut:

Konsumsi data ke dalam gudang data:
- Data diproses terlebih dahulu sebelum diimpor ke dalam gudang data.
- Gudang data menggunakan mesin penyimpanan analitik Xuanwu milik sendiri yang dikembangkan oleh AnalyticDB for MySQL. Mesin penyimpanan ini menyediakan penyimpanan data tingkat perusahaan yang sangat andal, sangat tersedia, berkinerja tinggi, dan hemat biaya, serta memungkinkan AnalyticDB for MySQL mendukung penulisan real-time ber-throughput tinggi dan kueri real-time berkinerja tinggi.
- Mengonsumsi data ke dalam gudang data cocok untuk skenario bisnis yang memerlukan kinerja tinggi dalam analitik data.
Konsumsi data ke dalam data lake:
- Data mentah diimpor ke dalam data lake dalam format tabel open source, seperti Iceberg dan Paimon.
- Anda dapat menggunakan penyimpanan lake yang disediakan oleh AnalyticDB for MySQL atau bucket OSS Anda sendiri sebagai penyimpanan data lake. Karena data lake bersifat open source dan menyimpan data dalam format terbuka seperti Iceberg dan Paimon, data tersebut dapat diakses baik oleh mesin Spark dan XIHE milik AnalyticDB for MySQL maupun mesin eksternal seperti MaxCompute.
- Mengonsumsi data ke dalam data lake cocok untuk skenario bisnis yang memerlukan solusi open source dan tidak memiliki persyaratan ketat terhadap kinerja analitik. Jika Anda memerlukan kinerja akses yang tinggi untuk data lake Anda, Anda dapat mengaktifkan LakeCache untuk mencapai bandwidth lebih tinggi dan latensi lebih rendah dibandingkan OSS.

Konsumsi data ke dalam gudang data

Kategori	Sumber data	Metode impor	Edisi produk	Dokumentasi
Database	RDS MySQL	Appearance	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data dari RDS MySQL menggunakan tabel eksternal
		DTS	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DTS
		DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DataWorks
		Seamless integration	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Sinkronisasi data menggunakan integrasi tanpa hambatan (Zero-ETL)
	RDS SQL Server	DTS	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DTS
	RDS SQL Server	DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DataWorks
	PolarDB Distributed Edition (formerly DRDS)	DTS	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DTS
		DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DataWorks
		Sinkronisasi satu atap	Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Sinkronisasi otomatis metadata PolarDB-X
	PolarDB for MySQL	Analitik federasi	Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Sinkronisasi data menggunakan fitur federated analytics
		DTS	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DTS
		Seamless integration	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Sinkronisasi data menggunakan integrasi tanpa hambatan (Zero-ETL)
	MongoDB	Appearance	Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data dari MongoDB menggunakan tabel eksternal
	MongoDB	Seamless integration	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Sinkronisasi data menggunakan integrasi tanpa hambatan (Zero-ETL)
	Lindorm	Seamless integration	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data dari Lindorm
	Oracle	DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data dari Oracle
	Self-managed MySQL	Appearance	Data Warehouse Edition	Impor data dari database MySQL yang dikelola sendiri
	Self-managed HBase	DTS	Data Warehouse Edition	Impor data dari kluster HBase yang dikelola sendiri
Penyimpanan	OSS	Appearance	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data dari OSS menggunakan tabel eksternal
	OSS	DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DataWorks
	Tablestore	Appearance	Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Kueri dan impor data dari Tablestore
	HDFS	Appearance	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data dari HDFS menggunakan tabel eksternal
	HDFS	DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DataWorks
Big data	MaxCompute	Appearance	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data dari MaxCompute menggunakan tabel eksternal
	MaxCompute	DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DataWorks
	Flink	Flink	Data Warehouse Edition	Impor data dari Flink
Antrian pesan	Kafka	DataWorks	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data menggunakan DataWorks
Antrian pesan	Kafka	Logstash plugin	Data Warehouse Edition	Impor data ke Data Warehouse Edition menggunakan Logstash
Log data	Log data	Sinkronisasi data	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Sinkronisasi data SLS ke Data Warehouse Edition menggunakan fitur sinkronisasi data
Log data	Log data	Logstash plugin	Data Warehouse Edition	Impor data ke Data Warehouse Edition menggunakan Logstash
Data lokal		SQLAlchemy	Data Warehouse Edition, Enterprise Edition, Basic Edition, or Data Lakehouse Edition	Impor data DataFrame menggunakan SQLAlchemy
		LOAD DATA	Data Warehouse Edition	Impor data ke Data Warehouse Edition menggunakan LOAD DATA
		Alat impor	Data Warehouse Edition	Impor data ke Data Warehouse Edition menggunakan alat impor
		Kettle	Data Warehouse Edition	Impor data ke Data Warehouse Edition menggunakan Kettle

Konsumsi data ke dalam data lake

Penting

Fitur ini hanya tersedia untuk kluster Enterprise Edition, Basic Edition, or Data Lakehouse Edition.

Kategori	Sumber data	Metode impor	Dokumentasi
Antrian pesan	Kafka	Sinkronisasi data	Sinkronkan data Kafka menggunakan fitur sinkronisasi data (disarankan)
Data log	Simple Log Service (SLS)	Sinkronisasi data	Menyinkronkan data SLS menggunakan fitur sinkronisasi data (direkomendasikan)
Big data	Hive	Migrasi data	Impor data dari Hive
Penyimpanan	OSS	Penemuan metadata	Impor data menggunakan penemuan metadata

Referensi

AnalyticDB for MySQL juga mendukung pengiriman asinkron tugas impor data. Untuk informasi selengkapnya, lihat Kirim tugas impor asinkron.