Realtime Compute for Apache Flink mendukung berbagai jenis tabel dan konektor untuk membaca dari serta menulis ke penyimpanan eksternal melalui Flink SQL dan DataStream API.
Jenis tabel
Realtime Compute for Apache Flink mendefinisikan tabel melalui Flink SQL atau DataStream API untuk membaca dari dan menulis ke penyimpanan eksternal. Flink SQL mendukung jenis tabel berikut:
-
Source table: Titik masuk aliran data yang secara terus-menerus membaca data event mentah dari sistem eksternal seperti Kafka atau MySQL CDC.
-
Dimension (lookup) table: Tabel referensi yang memperkaya data streaming dengan melakukan join terhadap data dimensi statis atau dimensi yang berubah lambat, seperti detail pengguna atau produk.
-
Sink table: Titik keluar pemrosesan data yang menulis hasil—seperti data agregasi atau hasil join—ke sistem tujuan seperti gudang data, database, atau antrian pesan.
Konektor yang didukung
|
Relational database |
NoSQL database |
Message queue |
|
Data warehouse |
Data lake |
Log and object storage services |
|
Tools and debugging |
Key-value and time series databases |
General |
Detail dukungan konektor
|
Connector |
Flink SQL |
Flink CDC |
Execution mode |
API type |
Sink updates |
|||
|
Source table |
Dimension table |
Sink table |
Data source |
Sink |
||||
|
√ |
√ |
√ |
√ |
× |
Streaming mode |
SQL, DataStream, dan Flink CDC |
Ya |
|
|
√ |
√ |
√ |
× |
√ |
Streaming dan batch |
SQL, DataStream, dan Flink CDC |
Ya |
|
|
√ |
× |
√ |
√ |
√ |
Streaming |
SQL, DataStream, dan YAML untuk data ingestion |
Hanya insert yang didukung. |
|
|
√ |
√ |
√ |
× |
√ |
Streaming dan batch |
SQL, DataStream, dan Flink CDC |
Hanya insert yang didukung. |
|
|
√ |
√ |
√ |
× |
√ |
Streaming dan batch modes |
SQL dan Flink CDC |
Ya |
|
|
√ |
× |
√ |
√ |
× |
Streaming mode |
SQL, DataStream, dan Flink CDC |
Hanya insert yang didukung. |
|
|
√ |
√ |
√ |
× |
√ |
Streaming dan batch modes |
SQL, DataStream, dan Flink CDC |
Ya |
|
|
√ |
× |
√ |
× |
× |
Streaming dan batch modes |
SQL dan DataStream |
Hanya insert yang didukung. |
|
|
√ |
√ |
√ |
√ |
× |
Streaming mode |
SQL, DataStream, dan Flink CDC |
Ya |
|
|
√ |
√ |
√ |
× |
× |
Streaming dan batch modes |
SQL |
Ya |
|
|
√ |
× |
√ |
× |
× |
Streaming dan batch modes |
SQL dan DataStream |
Hanya insert yang didukung. |
|
|
Catatan
Konektor ini sedang ditinggalkan. Gunakan konektor MySQL sebagai gantinya. |
× |
√ |
√ |
Gunakan konektor MySQL. |
× |
Streaming dan batch modes |
SQL |
Ya |
|
√ |
× |
√ |
× |
× |
Streaming mode |
SQL dan DataStream |
Hanya insert yang didukung. |
|
|
× |
√ |
√ |
× |
× |
Streaming mode |
SQL |
Ya |
|
|
× |
√ |
√ |
× |
× |
Streaming mode |
SQL |
Ya |
|
|
× |
× |
√ |
× |
× |
Streaming mode |
SQL |
Ya |
|
|
× |
√ |
√ |
× |
× |
Streaming mode |
SQL |
Ya |
|
|
√ |
√ |
√ |
× |
× |
Streaming dan batch modes |
SQL |
Ya |
|
|
× |
√ |
√ |
× |
× |
Streaming dan batch modes |
SQL |
Ya |
|
|
× |
× |
√ |
× |
× |
Streaming dan batch modes |
SQL |
Ya |
|
|
√ |
× |
√ |
× |
√ |
Streaming mode |
SQL dan Flink CDC |
Ya |
|
|
√ |
√ |
√ |
× |
× |
Streaming dan batch modes |
SQL dan DataStream |
Ya |
|
|
× |
× |
√ |
× |
× |
Streaming dan batch modes |
SQL |
Ya |
|
|
√ |
√ |
√ |
× |
× |
Streaming mode |
SQL |
Ya |
|
|
× |
× |
√ |
× |
× |
Streaming dan batch modes |
SQL dan DataStream |
Ya |
|
|
× |
× |
√ |
× |
× |
Streaming mode |
SQL |
Hanya insert yang didukung. |
|
|
√ |
× |
× |
√ |
× |
Streaming mode |
SQL dan Flink CDC |
N/A |
|
|
√ |
√ |
√ |
× |
√ |
Streaming dan batch modes |
SQL dan Flink CDC |
Ya |
|
|
√ |
× |
√ |
× |
√ |
Streaming dan batch modes |
SQL dan Flink CDC |
Ya |
|
|
√ |
√ |
× |
× |
× |
Streaming dan batch modes |
SQL |
N/A |
|
|
× |
× |
√ |
× |
× |
Streaming dan batch modes |
SQL |
Ya |
|
|
√ |
× |
× |
× |
× |
Streaming dan batch modes |
SQL |
N/A |
|
|
× |
× |
√ |
× |
√ |
Streaming dan batch modes |
SQL dan Flink CDC |
Ya |
|
|
√ |
× |
√ |
× |
× |
Streaming dan batch modes |
SQL dan DataStream |
Ya |
|