Realtime Compute for Apache Flink は、Flink SQL および DataStream API を使用して外部ストレージとの間でデータを読み書きできるよう、複数のテーブルタイプとコネクタをサポートしています。
テーブルタイプ
Realtime Compute for Apache Flink では、Flink SQL または DataStream API を使用してテーブルを定義し、外部ストレージに対してデータの読み書きを行います。Flink SQL では、次のテーブルタイプがサポートされています。
-
ソーステーブル:データストリームのエントリポイントです。Kafka や MySQL CDC などの外部システムから未加工のイベントデータを継続的に読み取ります。
-
ディメンションテーブル:参照テーブルです。ユーザー情報や製品情報などの静的なディメンションデータ、または緩やかに変化するディメンションデータを結合して、ストリーミングデータをエンリッチします。
-
シンクテーブル:データ処理の終了ポイントです。集計データや結合データなどの結果を、データウェアハウス、データベース、またはメッセージキューなどの宛先システムに書き込みます。
対応コネクタ
|
リレーショナルデータベース |
NoSQL データベース |
メッセージキュー |
|
データウェアハウス |
データレイク |
ログ/オブジェクトストレージサービス |
|
ツールおよびデバッグ |
キーと値・時系列データベース |
一般 |
コネクタのサポート詳細
|
コネクタ |
Flink SQL |
Flink CDC |
実行モード |
API タイプ |
シンクのデータ更新または削除 |
|||
|
ソーステーブル |
ディメンションテーブル |
シンクテーブル |
データソース |
シンク |
||||
|
説明
ApsaraDB RDS for MySQL、PolarDB for MySQL、セルフマネージド MySQL への接続をサポートしています。 |
√ |
√ |
√ |
√ |
× |
ストリーミングモード |
SQL、DataStream、データインジェスト YAML |
はい |
|
√ |
√ |
√ |
× |
√ |
ストリーミングモードとバッチモード |
SQL、DataStream、データインジェスト YAML |
はい |
|
|
√ |
× |
√ |
√ |
√ |
ストリーミングモード |
SQL、DataStream、データインジェスト YAML |
挿入のみサポートします。 |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングモードとバッチモード |
SQL、DataStream、データインジェスト YAML |
挿入のみサポートします。 |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングモードとバッチモード |
SQL とデータインジェスト YAML |
はい |
|
|
√ |
× |
√ |
√ |
× |
ストリーミングモード |
SQL、DataStream、データインジェスト YAML |
挿入のみサポートします。 |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングモードとバッチモード |
SQL、DataStream、データインジェスト YAML |
はい |
|
|
√ |
× |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL と DataStream |
挿入のみサポートします。 |
|
|
√ |
√ |
√ |
√ |
× |
ストリーミングモード |
SQL、DataStream、データインジェスト YAML |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL |
はい |
|
|
√ |
× |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL と DataStream |
挿入のみサポートします。 |
|
|
説明
このコネクタは非推奨です。代わりに MySQL コネクタを使用してください。 |
× |
√ |
√ |
MySQL コネクタを使用してください。 |
× |
ストリーミングモードとバッチモード |
SQL |
はい |
|
√ |
× |
√ |
× |
× |
ストリーミングモード |
SQL と DataStream |
挿入のみサポートします。 |
|
|
× |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL |
はい |
|
|
× |
√ |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL |
はい |
|
|
√ |
× |
√ |
× |
√ |
ストリーミングモード |
SQL とデータインジェスト YAML |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL と DataStream |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL |
はい |
|
|
√ |
√ |
√ |
× |
× |
ストリーミングモード |
SQL |
はい |
|
|
× |
× |
√ |
× |
√ |
ストリーミングモードとバッチモード |
DataStream、SQL、データインジェスト YAML |
はい |
|
|
× |
× |
√ |
× |
× |
ストリーミングモード |
SQL |
いいえ |
|
|
√ |
× |
× |
√ |
× |
ストリーミングモード |
SQL とデータインジェスト YAML |
該当なし |
|
|
√ |
√ |
√ |
× |
√ |
ストリーミングモードとバッチモード |
SQL とデータインジェスト YAML |
はい |
|
|
√ |
× |
√ |
× |
√ |
ストリーミングモードとバッチモード |
SQL とデータインジェスト YAML |
はい |
|
|
√ |
√ |
× |
× |
× |
ストリーミングモードとバッチモード |
SQL |
該当なし |
|
|
× |
× |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL |
はい |
|
|
√ |
× |
× |
× |
× |
ストリーミングモードとバッチモード |
SQL |
該当なし |
|
|
× |
× |
√ |
× |
√ |
ストリーミングモードとバッチモード |
SQL とデータインジェスト YAML |
はい |
|
|
√ |
× |
√ |
× |
× |
ストリーミングモードとバッチモード |
SQL と DataStream |
はい |
|