Topik ini menjelaskan jenis tabel dan konektor yang didukung oleh Realtime Compute for Apache Flink.
Jenis tabel
Realtime Compute for Apache Flink menggunakan Flink SQL untuk mendefinisikan tabel yang dipetakan ke penyimpanan hulu dan hilir. Anda juga dapat menggunakan Datastream API untuk terhubung ke penyimpanan serta melakukan operasi baca dan tulis. Jenis tabel Flink SQL berikut ini didukung:
Source table: Titik masuk aliran data. Tabel ini secara terus-menerus membaca data event mentah dari sistem eksternal, seperti Kafka atau MySQL CDC.
Dimension (lookup) table: Tabel referensi yang digunakan untuk memperkaya data streaming. Tabel ini biasanya dikaitkan melalui operasi JOIN dengan informasi dimensi statis atau yang jarang diperbarui, seperti detail pengguna atau produk.
Sink table: Titik keluar pemrosesan data. Tabel ini menulis hasil komputasi—seperti data agregat atau hasil join—ke sistem tujuan, seperti gudang data, database, atau antrian pesan.
Konektor yang didukung
Relational database | NoSQL database | Message queue |
Data warehouse | Data lake | Log and object storage services |
Tools and debugging | Key-value and time series databases | General |
Detail dukungan konektor
Connector | Flink SQL | Flink CDC | Execution mode | API type | Sink updates | |||
Source table | Dimension table | Sink table | Data source | Sink | ||||
√ | √ | √ | √ | × | Streaming mode | SQL, DataStream, dan Flink CDC | Ya | |
√ | √ | √ | × | √ | Streaming dan batch | SQL, DataStream, dan Flink CDC | Ya | |
√ | × | √ | √ | √ | Streaming | SQL, DataStream, dan YAML untuk ingesti data | Hanya insert yang didukung. | |
√ | √ | √ | × | √ | Streaming dan batch | SQL, DataStream, dan Flink CDC | Hanya insert yang didukung. | |
√ | √ | √ | × | √ | Streaming dan batch modes | SQL dan Flink CDC | Ya | |
√ | × | √ | √ | × | Streaming mode | SQL, DataStream, dan Flink CDC | Hanya insert yang didukung. | |
√ | √ | √ | × | √ | Streaming dan batch modes | SQL, DataStream, dan Flink CDC | Ya | |
√ | × | √ | × | × | Streaming dan batch modes | SQL dan DataStream | Hanya insert yang didukung. | |
√ | √ | √ | √ | × | Streaming mode | SQL, DataStream, dan Flink CDC | Ya | |
√ | √ | √ | × | × | Streaming dan batch modes | SQL | Ya | |
√ | × | √ | × | × | Streaming dan batch modes | SQL dan DataStream | Hanya insert yang didukung. | |
Catatan Konektor ini sedang dihentikan. Gunakan konektor MySQL sebagai gantinya. | × | √ | √ | Gunakan konektor MySQL. | × | Streaming dan batch modes | SQL | Ya |
√ | × | √ | × | × | Streaming mode | SQL dan DataStream | Hanya insert yang didukung. | |
× | √ | √ | × | × | Streaming mode | SQL | Ya | |
× | √ | √ | × | × | Streaming mode | SQL | Ya | |
× | × | √ | × | × | Streaming mode | SQL | Ya | |
× | √ | √ | × | × | Streaming mode | SQL | Ya | |
√ | √ | √ | × | × | Streaming dan batch modes | SQL | Ya | |
× | √ | √ | × | × | Streaming dan batch modes | SQL | Ya | |
× | × | √ | × | × | Streaming dan batch modes | SQL | Ya | |
√ | × | √ | × | √ | Streaming mode | SQL dan Flink CDC | Ya | |
√ | √ | √ | × | × | Streaming dan batch modes | SQL dan DataStream | Ya | |
× | × | √ | × | × | Streaming dan batch modes | SQL | Ya | |
√ | √ | √ | × | × | Streaming mode | SQL | Ya | |
× | × | √ | × | × | Streaming dan batch modes | SQL dan DataStream | Ya | |
× | × | √ | × | × | Streaming mode | SQL | Hanya insert yang didukung. | |
√ | × | × | √ | × | Streaming mode | SQL dan Flink CDC | N/A | |
√ | √ | √ | × | √ | Streaming dan batch modes | SQL dan Flink CDC | Ya | |
√ | × | √ | × | √ | Streaming dan batch modes | SQL dan Flink CDC | Ya | |
√ | √ | × | × | × | Streaming dan batch modes | SQL | N/A | |
× | × | √ | × | × | Streaming dan batch modes | SQL | Ya | |
√ | × | × | × | × | Streaming dan batch modes | SQL | N/A | |
× | × | √ | × | √ | Streaming dan batch modes | SQL dan Flink CDC | Ya | |
√ | × | √ | × | × | Streaming dan batch modes | SQL dan DataStream | Ya | |