Flink SQL コネクタとテーブル類型概要 - Realtime Compute for Apache Flink

テーブルタイプの定義

Realtime Compute for Apache Flink では、Flink SQL を使用して、上流および下流のストレージにマップされるテーブルを定義します。また、Datastream API を使用してストレージに接続し、読み取りおよび書き込み操作を実行することもできます。サポートされる Flink SQL のテーブルタイプは以下のとおりです。

ソーステーブル：データストリームの起点です。Kafka や MySQL CDC などの外部システムから、生のイベントデータを継続的に読み取ります。
ディメンションテーブル：ストリーミングデータを補完するために使用されるリファレンステーブルです。通常、JOIN 操作を使用して、ユーザー情報や製品情報など、静的または更新頻度の低いディメンション情報を関連付けます。
結果テーブル：データ処理の終点です。集計済みデータや JOIN 済みデータなどの計算結果を、データウェアハウス、データベース、メッセージキューなどの送信先システムに書き込みます。

サポート対象のコネクタ

リレーショナルデータベース

NoSQL データベース

メッセージキュー

データウェアハウス

データレイク

ログおよびオブジェクトストレージサービス

ツールおよびデバッグ

キーバリューデータベースおよび時系列データベース

汎用

コネクタのサポート詳細

コネクタ	サポートされているタイプ			実行モード	API タイプ	結果テーブルへのデータ更新および削除のサポート
コネクタ	ソーステーブル	ディメンションテーブル	シンクテーブル	実行モード	API タイプ	結果テーブルへのデータ更新および削除のサポート
MySQL 説明 ApsaraDB RDS for MySQL、PolarDB for MySQL、および自己管理型 MySQL への接続をサポートします。	√	√	√	ストリーミング	SQL、DataStream、およびデータインジェスト用 YAML	はい
Hologres	√	√	√	ストリーミングおよびバッチ	SQL、DataStream、およびデータインジェスト用 YAML	はい
ApsaraMQ for Kafka	√	×	√	ストリーミング	SQL、DataStream、およびデータインジェスト用 YAML	シンクテーブルはデータの挿入のみをサポートし、更新や削除はサポートしていません。
MaxCompute	√	√	√	ストリーミングおよびバッチ	SQL および DataStream	結果テーブルにはデータを挿入できますが、更新および削除はできません。
Streaming Data Lakehouse Paimon	√	√	√	ストリーミングおよびバッチ	SQL およびデータインジェスト用 YAML	はい
Simple Log Service (SLS)	√	×	√	ストリーミング	SQL および DataStream	結果テーブルにはデータを挿入できますが、更新および削除はできません。
StarRocks	√	√	√	ストリーミングおよびバッチ	SQL、DataStream、およびデータインジェスト用 YAML	はい
DataHub	√	×	√	ストリーミングおよびバッチ	SQL および DataStream	結果テーブルはデータ挿入をサポートしますが、更新および削除はサポートしません。
MongoDB	√	√	√	ストリーミング	SQL および DataStream	はい
JDBC	√	√	√	ストリーミングおよびバッチ	SQL	はい
Object Storage Service (OSS)	√	×	√	ストリーミングおよびバッチ	SQL および DataStream	結果テーブルは挿入操作のみをサポートし、更新および削除操作はサポートしません。
ApsaraDB RDS for MySQL 説明 ApsaraDB RDS for MySQL コネクタは今後サポートされません。代わりに MySQL コネクタをご利用ください。	×	√	√	ストリーミングおよびバッチ	SQL	はい
ApsaraMQ for RocketMQ	√	×	√	ストリーミング	SQL および DataStream	結果テーブルは挿入をサポートしますが、更新および削除はサポートしません。
Lindorm	×	√	√	ストリーミング	SQL	はい
Tair (Redis Open-Source Edition)	×	√	√	ストリーミング	SQL	はい
Tair (Enterprise Edition)	×	×	√	ストリーミング	SQL	はい
ApsaraDB for HBase	×	√	√	ストリーミング	SQL	はい
AnalyticDB for MySQL 3.0	√	√	√	ストリーミングおよびバッチ	SQL	はい
AnalyticDB for PostgreSQL	×	√	√	ストリーミングおよびバッチ	SQL	はい
PolarDB for PostgreSQL (compatible with Oracle) 1.0	×	×	√	ストリーミングおよびバッチ	SQL	はい
Upsert Kafka	√	×	√	ストリーミング	SQL およびデータインジェスト用 YAML	はい
Elasticsearch	√	√	√	ストリーミングおよびバッチ	SQL および DataStream	はい
ClickHouse	×	×	√	ストリーミングおよびバッチ	SQL	はい
Tablestore (OTS)	√	√	√	ストリーミング	SQL	はい
SelectDB	×	×	√	ストリーミングおよびバッチ	DataStream および SQL	はい
Time Series Database for InfluxDB	×	×	√	ストリーミング	SQL	いいえ
Postgres CDC (public preview)	√	×	×	ストリーミング	SQL	該当なし
OceanBase (public preview)	√	√	√	ストリーミングおよびバッチ	SQL	はい
Iceberg	√	×	√	ストリーミングおよびバッチ	SQL	はい
Generating simulated data with Faker	√	√	×	ストリーミングおよびバッチ	SQL	該当なし
Blackhole	×	×	√	ストリーミングおよびバッチ	SQL	はい
Datagen	√	×	×	ストリーミングおよびバッチ	SQL	該当なし
Print	×	×	√	ストリーミングおよびバッチ	SQL およびデータインジェスト用 YAML	はい
Hudi (being deprecated)	√	×	√	ストリーミングおよびバッチ	SQL および DataStream	はい