このトピックでは、Flink CDC ベースのデータインジェストジョブの基本的な構造と主要なパラメータについて説明します。
ジョブ構造の例
一般的な Flink CDC データインジェストジョブは、以下のモジュールで構成されます:
たとえば、MySQL から Paimon にデータを書き込むジョブは、次のような構造になります:
# MySQL ソースモジュール
source:
type: mysql
name: MySQL Source
host: localhost
port: 3306
username: admin
password: <yourPassword>
tables: adb.*, bdb.user_table_[0-9]+, [app|web]_order_.*, mydb.\\.*
# Paimon シンクモジュール
sink:
type: paimon
name: Paimon Sink
catalog.properties.metastore: filesystem
catalog.properties.warehouse: /path/warehouse
# 変換モジュール
transform:
- source-table: mydb.app_order_.*
projection: id, order_id, TO_UPPER(product_name)
filter: id > 10 AND order_id > 100
primary-keys: id
partition-keys: product_name
table-options: comment=app order
description: ソーステーブルからフィールドをプロジェクション
converter-after-transform: SOFT_DELETE
- source-table: mydb.web_order_.*
projection: CONCAT(id, order_id) as uniq_id, *
filter: uniq_id > 10
description: 各行に新しい uniq_id を追加
# ルートモジュール
route:
- source-table: mydb.default.app_order_.*
sink-table: odsdb.default.app_order
description: すべてのテーブルシャードを 1 つに同期
- source-table: mydb.default.web_order_.*
sink-table: odsdb.default.ods_web_order
description: 指定のプレフィックス ods_ でテーブルを同期
# パイプラインモジュール
pipeline:
name: source-database-sync-pipe
schema.change.behavior: evolve
ソースモジュール
ソースモジュールでは、Flink CDC データインジェストジョブがデータを読み取る場所を定義します。サポートされているコネクタには、Kafka SQL コネクタ、MySQL SQL コネクタ、Postgres CDC (パブリックプレビュー)、MongoDB、および Simple Log Service (SLS) が含まれます。
構文
source:
type: mysql
name: MySQL Source
xxx: ...
サポートされているすべてのパラメータについては、対応するコネクタのドキュメントをご参照ください。
シンクモジュール
シンクモジュールでは、Flink CDC データインジェストジョブがデータを書き込む場所を定義します。サポートされているコネクタには、Fluss、Kafka SQL コネクタ、Upsert Kafka、Hologres、Paimon、Iceberg、StarRocks SQL コネクタ、SelectDB、MaxCompute、および Print が含まれます。
構文
sink:
type: hologres
name: Hologres Sink
xxx: ...
サポートされているすべてのパラメータについては、対応するコネクタのドキュメントをご参照ください。
変換モジュール
Flink CDC データインジェストジョブの変換モジュールでは、ソーステーブル内のデータをプロジェクション、計算、フィルタリングするためのルールを定義できます。
構文
transform:
- source-table: db.tbl1
projection: ...
filter: ...
- source-table: db.tbl2
projection: ...
filter: ...
式の構文の詳細については、「Flink CDC 変換モジュール」をご参照ください。
ルートモジュール
Flink CDC データインジェストジョブのルートモジュールでは、シャード化されたアップストリームのデータベースとテーブルをマージまたはブロードキャストするためのルールを定義できます。
構文
route:
- source-table: db.tbl1
sink-table: sinkdb.tbl1
- source-table: db.tbl2
sink-table: sinkdb.tbl2
式の構文の詳細については、「Flink CDC ルートモジュール」をご参照ください。
パイプラインモジュール
Flink CDC データインジェストジョブのパイプラインモジュールでは、グローバルパラメータを設定できます。
構文
pipeline:
name: CDC YAML Job
schema.change.behavior: LENIENT
設定可能なすべてのオプションについては、「Flink CDC パイプラインモジュール」をご参照ください。