Ringkasan Flink SQL Connectors & Tipe Tabel - Realtime Compute untuk Apache Flink

Definisi tipe tabel

Realtime Compute for Apache Flink menggunakan Flink SQL untuk mendefinisikan tabel yang memetakan ke penyimpanan hulu dan hilir. Anda juga dapat menggunakan Datastream API untuk menghubungkan ke penyimpanan serta melakukan operasi baca dan tulis. Tipe tabel Flink SQL berikut ini didukung:

Source table: Titik masuk aliran data yang secara terus-menerus membaca data event mentah dari sistem eksternal, seperti Kafka atau MySQL CDC.
Dimension table: Tabel referensi yang digunakan untuk memperkaya data streaming, biasanya melalui operasi JOIN dengan informasi dimensi statis atau yang jarang diperbarui, seperti detail pengguna atau produk.
Sink table: Titik keluar pemrosesan data yang menulis hasil komputasi—seperti data agregat atau hasil join—ke sistem tujuan, seperti gudang data, database, atau antrian pesan.

Konektor yang didukung

Relational databases

NoSQL databases

Message queues

Data warehouses

Data lakes

Log and object storage services

Tools and debugging

Key-value and time series databases

General

Detail dukungan konektor

Connector	Supported Types			Execution mode	API type	Supports updates or deletions to sink table data
Connector	Source table	Dimension table	Sink table	Execution mode	API type	Supports updates or deletions to sink table data
MySQL Catatan Mendukung koneksi ke ApsaraDB RDS for MySQL, PolarDB for MySQL, dan self-managed MySQL.	√	√	√	Streaming	SQL, DataStream, dan YAML untuk data ingestion	Ya
Hologres	√	√	√	Streaming dan batch	SQL, DataStream, dan YAML untuk data ingestion	Ya
ApsaraMQ for Kafka	√	×	√	Streaming	SQL, DataStream, dan YAML untuk data ingestion	Tabel sink hanya mendukung penyisipan data, bukan pembaruan atau penghapusan.
MaxCompute	√	√	√	Streaming dan batch	SQL dan DataStream	Data dapat disisipkan ke tabel sink, tetapi tidak dapat diperbarui atau dihapus.
Streaming Data Lakehouse Paimon	√	√	√	Streaming dan batch	SQL dan YAML untuk data ingestion	Ya
Simple Log Service (SLS)	√	×	√	Streaming	SQL dan DataStream	Anda hanya dapat menyisipkan data ke tabel sink. Anda tidak dapat memperbarui atau menghapus data.
StarRocks	√	√	√	Streaming dan batch	SQL, DataStream, dan YAML untuk data ingestion	Ya
DataHub	√	×	√	Streaming dan batch	SQL dan DataStream	Tabel sink mendukung penyisipan data, tetapi tidak mendukung pembaruan atau penghapusan data.
MongoDB	√	√	√	Streaming	SQL dan DataStream	Ya
JDBC	√	√	√	Streaming dan batch	SQL	Ya
Object Storage Service (OSS)	√	×	√	Streaming dan batch	SQL dan DataStream	Tabel sink hanya mendukung operasi insert. Tabel ini tidak mendukung operasi update atau delete.
ApsaraDB RDS for MySQL Catatan Konektor ApsaraDB RDS for MySQL tidak akan lagi didukung. Gunakan konektor MySQL sebagai gantinya.	×	√	√	Streaming dan batch	SQL	Ya
ApsaraMQ for RocketMQ	√	×	√	Streaming	SQL dan DataStream	Tabel sink mendukung penyisipan, tetapi tidak mendukung pembaruan atau penghapusan.
Lindorm	×	√	√	Streaming	SQL	Ya
Tair (Redis Open-Source Edition)	×	√	√	Streaming	SQL	Ya
Tair (Enterprise Edition)	×	×	√	Streaming	SQL	Ya
ApsaraDB for HBase	×	√	√	Streaming	SQL	Ya
AnalyticDB for MySQL 3.0	√	√	√	Streaming dan batch	SQL	Ya
AnalyticDB for PostgreSQL	×	√	√	Streaming dan batch	SQL	Ya
PolarDB for PostgreSQL (compatible with Oracle) 1.0	×	×	√	Streaming dan batch	SQL	Ya
Upsert Kafka	√	×	√	Streaming	SQL dan YAML untuk data ingestion	Ya
Elasticsearch	√	√	√	Streaming dan batch	SQL dan DataStream	Ya
ClickHouse	×	×	√	Streaming dan batch	SQL	Ya
Tablestore (OTS)	√	√	√	Streaming	SQL	Ya
SelectDB	×	×	√	Streaming dan batch	DataStream dan SQL	Ya
Time Series Database for InfluxDB	×	×	√	Streaming	SQL	Tidak
Postgres CDC (public preview)	√	×	×	Streaming	SQL	T/A
OceanBase (public preview)	√	√	√	Streaming dan batch	SQL	Ya
Iceberg	√	×	√	Streaming dan batch	SQL	Ya
Generating simulated data with Faker	√	√	×	Streaming dan batch	SQL	T/A
Blackhole	×	×	√	Streaming dan batch	SQL	Ya
Datagen	√	×	×	Streaming dan batch	SQL	T/A
Print	×	×	√	Streaming dan batch	SQL dan YAML untuk data ingestion	Ya
Hudi (being deprecated)	√	×	√	Streaming dan batch	SQL dan DataStream	Ya