Realtime Compute for Apache Flink は、Flink SQL と DataStream API を介して外部ストレージを読み書きする、複数のテーブルタイプとコネクタをサポートしています。
テーブルタイプ
Realtime Compute for Apache Flink は、Flink SQL または DataStream API を使用してテーブルを定義し、外部ストレージのデータを読み書きします。Flink SQL は、次のテーブルタイプをサポートしています。
-
ソーステーブル:データストリームのエントリポイントです。Kafka や MySQL CDC などの外部システムから未加工のイベントデータを継続的に読み取ります。
-
ディメンション (ルックアップ) テーブル:ユーザー情報や商品情報など、静的または緩やかに変化するディメンションデータを結合してストリーミングデータをエンリッチ化するための参照テーブルです。
-
シンクテーブル:データ処理の出口です。集計データや結合データなどの結果を、データウェアハウス、データベース、またはメッセージキューなどの宛先システムに書き込みます。
サポートされているコネクタ
|
リレーショナルデータベース |
NoSQL データベース |
メッセージキュー |
|
データウェアハウス |
データレイク |
ログおよびオブジェクトストレージサービス |
|
ツールおよびデバッグ |
キー/値および時系列データベース |
汎用 |
コネクタのサポート詳細
|
コネクタ |
Flink SQL |
Flink CDC |
実行モード |
API タイプ |
シンクの更新 |
|||
|
ソーステーブル |
ディメンションテーブル |
シンクテーブル |
データソース |
シンク |
||||
|
√ |
√ |
√ |
√ |
× |
ストリーミングモード |
SQL、DataStream、Flink CDC |
はい |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングとバッチ |
SQL、DataStream、Flink CDC |
はい |
|
|
√ |
× |
√ |
√ |
√ |
ストリーミングモード |
SQL、DataStream、データインジェスト用YAML |
挿入のみをサポート |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングとバッチ |
SQL、DataStream、Flink CDC |
挿入のみをサポート |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングとバッチ |
SQL と Flink CDC |
はい |
|
|
√ |
× |
√ |
√ |
× |
ストリーミングモード |
SQL、DataStream、Flink CDC |
挿入のみをサポート |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングとバッチ |
SQL、DataStream、Flink CDC |
はい |
|
|
√ |
× |
√ |
× |
× |
ストリーミングとバッチ |
SQL と DataStream |
挿入のみをサポート |
|
|
√ |
√ |
√ |
√ |
× |
ストリーミングモード |
SQL、DataStream、Flink CDC |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングとバッチ |
SQL |
はい |
|
|
√ |
× |
√ |
× |
× |
ストリーミングとバッチ |
SQL と DataStream |
挿入のみをサポート |
|
|
説明
このコネクタは非推奨となっています。代わりに MySQL コネクタを使用してください。 |
× |
√ |
√ |
MySQL コネクタを使用してください。 |
× |
ストリーミングとバッチ |
SQL |
はい |
|
√ |
× |
√ |
× |
× |
ストリーミングモード |
SQL と DataStream |
挿入のみをサポート |
|
|
× |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングとバッチ |
SQL |
はい |
|
|
× |
√ |
√ |
× |
× |
ストリーミングとバッチ |
SQL |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングとバッチ |
SQL |
はい |
|
|
√ |
× |
√ |
× |
√ |
ストリーミングモード |
SQL と Flink CDC |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングとバッチ |
SQL と DataStream |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングとバッチ |
SQL |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングとバッチ |
SQL と DataStream |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングモード |
SQL |
挿入のみをサポート |
|
|
√ |
× |
× |
√ |
× |
ストリーミングモード |
SQL と Flink CDC |
N/A |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングとバッチ |
SQL と Flink CDC |
はい |
|
|
√ |
× |
√ |
× |
√ |
ストリーミングとバッチ |
SQL と Flink CDC |
はい |
|
|
√ |
√ |
× |
× |
× |
ストリーミングとバッチ |
SQL |
N/A |
|
|
× |
× |
√ |
× |
× |
ストリーミングとバッチ |
SQL |
はい |
|
|
√ |
× |
× |
× |
× |
ストリーミングとバッチ |
SQL |
N/A |
|
|
× |
× |
√ |
× |
√ |
ストリーミングとバッチ |
SQL と Flink CDC |
はい |
|
|
√ |
× |
√ |
× |
× |
ストリーミングとバッチ |
SQL と DataStream |
はい |
|