このトピックでは、Realtime Compute for Apache Flink でサポートされているテーブルタイプとコネクタについて説明します。
テーブルタイプ
Realtime Compute for Apache Flink は Flink SQL を使用して、アップストリームおよびダウンストリームのストレージにマッピングするテーブルを定義します。また、Datastream API を使用してストレージに接続し、読み取りおよび書き込み操作を実行することもできます。以下の Flink SQL テーブルタイプがサポートされています。
ソーステーブル:データストリームのエントリポイントです。Kafka や MySQL CDC などの外部システムから生のイベントデータを継続的に読み取ります。
ディメンション (ルックアップ) テーブル:ストリーミングデータをエンリッチ化するために使用される参照テーブルです。通常、JOIN 操作を使用して、ユーザーやプロダクトの詳細など、静的または更新頻度の低いディメンション情報を関連付けます。
シンクテーブル:データ処理の出口です。集計または結合されたデータなどの計算結果を、データウェアハウス、データベース、またはメッセージキューなどの送信先システムに書き込みます。
サポートされているコネクタ
リレーショナルデータベース | NoSQL データベース | メッセージキュー |
データウェアハウス | データレイク | ログおよびオブジェクトストレージサービス |
ツールとデバッグ | キーバリューおよび時系列データベース | 全般 |
コネクタのサポート詳細
コネクタ | Flink SQL | Flink CDC | 実行モード | API タイプ | シンクの更新 | |||
ソーステーブル | ディメンションテーブル | シンクテーブル | データソース | シンク | ||||
√ | √ | √ | √ | × | ストリーミングモード | SQL、DataStream、および Flink CDC | はい | |
√ | √ | √ | × | √ | ストリーミングおよびバッチ | SQL、DataStream、および Flink CDC | はい | |
√ | × | √ | √ | √ | ストリーミング | SQL、DataStream、およびデータインジェスト用の YAML | 挿入のみサポートされています。 | |
√ | √ | √ | × | √ | ストリーミングおよびバッチ | SQL、DataStream、および Flink CDC | 挿入のみサポートされています。 | |
√ | √ | √ | × | √ | ストリーミングおよびバッチモード | SQL および Flink CDC | はい | |
√ | × | √ | √ | × | ストリーミングモード | SQL、DataStream、および Flink CDC | 挿入のみサポートされています。 | |
√ | √ | √ | × | √ | ストリーミングおよびバッチモード | SQL、DataStream、および Flink CDC | はい | |
√ | × | √ | × | × | ストリーミングおよびバッチモード | SQL および DataStream | 挿入のみサポートされています。 | |
√ | √ | √ | √ | × | ストリーミングモード | SQL、DataStream、および Flink CDC | はい | |
√ | √ | √ | × | × | ストリーミングおよびバッチモード | SQL | はい | |
√ | × | √ | × | × | ストリーミングおよびバッチモード | SQL および DataStream | 挿入のみサポートされています。 | |
説明 このコネクタは非推奨です。代わりに MySQL コネクタを使用してください。 | × | √ | √ | MySQL コネクタを使用してください。 | × | ストリーミングおよびバッチモード | SQL | はい |
√ | × | √ | × | × | ストリーミングモード | SQL および DataStream | 挿入のみサポートされています。 | |
× | √ | √ | × | × | ストリーミングモード | SQL | はい | |
× | √ | √ | × | × | ストリーミングモード | SQL | はい | |
× | × | √ | × | × | ストリーミングモード | SQL | はい | |
× | √ | √ | × | × | ストリーミングモード | SQL | はい | |
√ | √ | √ | × | × | ストリーミングおよびバッチモード | SQL | はい | |
× | √ | √ | × | × | ストリーミングおよびバッチモード | SQL | はい | |
× | × | √ | × | × | ストリーミングおよびバッチモード | SQL | はい | |
√ | × | √ | × | √ | ストリーミングモード | SQL および Flink CDC | はい | |
√ | √ | √ | × | × | ストリーミングおよびバッチモード | SQL および DataStream | はい | |
× | × | √ | × | × | ストリーミングおよびバッチモード | SQL | はい | |
√ | √ | √ | × | × | ストリーミングモード | SQL | はい | |
× | × | √ | × | × | ストリーミングおよびバッチモード | SQL および DataStream | はい | |
× | × | √ | × | × | ストリーミングモード | SQL | 挿入のみサポートされています。 | |
√ | × | × | √ | × | ストリーミングモード | SQL および Flink CDC | N/A | |
√ | √ | √ | × | √ | ストリーミングおよびバッチモード | SQL および Flink CDC | はい | |
√ | × | √ | × | √ | ストリーミングおよびバッチモード | SQL および Flink CDC | はい | |
√ | √ | × | × | × | ストリーミングおよびバッチモード | SQL | N/A | |
× | × | √ | × | × | ストリーミングおよびバッチモード | SQL | はい | |
√ | × | × | × | × | ストリーミングおよびバッチモード | SQL | N/A | |
× | × | √ | × | √ | ストリーミングおよびバッチモード | SQL および Flink CDC | はい | |
√ | × | √ | × | × | ストリーミングおよびバッチモード | SQL および DataStream | はい | |