すべてのプロダクト
Search
ドキュメントセンター

Realtime Compute for Apache Flink:Flink CDC ジョブの構造

最終更新日:Oct 16, 2026

このトピックでは、Flink CDC ベースのデータインジェストジョブの基本的な構造と主要なパラメータについて説明します。

ジョブ構造の例

一般的な Flink CDC データインジェストジョブは、以下のモジュールで構成されます:

たとえば、MySQL から Paimon にデータを書き込むジョブは、次のような構造になります:

# MySQL ソースモジュール
source:
  type: mysql
  name: MySQL Source
  host: localhost
  port: 3306
  username: admin
  password: <yourPassword>
  tables: adb.*, bdb.user_table_[0-9]+, [app|web]_order_.*, mydb.\\.*

# Paimon シンクモジュール
sink:
  type: paimon
  name: Paimon Sink
  catalog.properties.metastore: filesystem
  catalog.properties.warehouse: /path/warehouse

# 変換モジュール
transform:
  - source-table: mydb.app_order_.*
    projection: id, order_id, TO_UPPER(product_name)
    filter: id > 10 AND order_id > 100
    primary-keys: id
    partition-keys: product_name
    table-options: comment=app order
    description: ソーステーブルからフィールドをプロジェクション
    converter-after-transform: SOFT_DELETE
  - source-table: mydb.web_order_.*
    projection: CONCAT(id, order_id) as uniq_id, *
    filter: uniq_id > 10
    description: 各行に新しい uniq_id を追加

# ルートモジュール
route:
  - source-table: mydb.default.app_order_.*
    sink-table: odsdb.default.app_order
    description: すべてのテーブルシャードを 1 つに同期
  - source-table: mydb.default.web_order_.*
    sink-table: odsdb.default.ods_web_order
    description: 指定のプレフィックス ods_ でテーブルを同期

# パイプラインモジュール
pipeline:
  name: source-database-sync-pipe
  schema.change.behavior: evolve

ソースモジュール

ソースモジュールでは、Flink CDC データインジェストジョブがデータを読み取る場所を定義します。サポートされているコネクタには、Kafka SQL コネクタ、MySQL SQL コネクタ、Postgres CDC (パブリックプレビュー)、MongoDB、および Simple Log Service (SLS) が含まれます。

構文

source:
  type: mysql
  name: MySQL Source
  xxx: ...

サポートされているすべてのパラメータについては、対応するコネクタのドキュメントをご参照ください。

シンクモジュール

シンクモジュールでは、Flink CDC データインジェストジョブがデータを書き込む場所を定義します。サポートされているコネクタには、Fluss、Kafka SQL コネクタ、Upsert Kafka、Hologres、Paimon、Iceberg、StarRocks SQL コネクタ、SelectDB、MaxCompute、および Print が含まれます。

構文

sink:
  type: hologres
  name: Hologres Sink
  xxx: ...

サポートされているすべてのパラメータについては、対応するコネクタのドキュメントをご参照ください。

変換モジュール

Flink CDC データインジェストジョブの変換モジュールでは、ソーステーブル内のデータをプロジェクション、計算、フィルタリングするためのルールを定義できます。

構文

transform:
  - source-table: db.tbl1
    projection: ...
    filter: ...
  - source-table: db.tbl2
    projection: ...
    filter: ...

式の構文の詳細については、「Flink CDC 変換モジュール」をご参照ください。

ルートモジュール

Flink CDC データインジェストジョブのルートモジュールでは、シャード化されたアップストリームのデータベースとテーブルをマージまたはブロードキャストするためのルールを定義できます。

構文

route:
  - source-table: db.tbl1
    sink-table: sinkdb.tbl1
  - source-table: db.tbl2
    sink-table: sinkdb.tbl2

式の構文の詳細については、「Flink CDC ルートモジュール」をご参照ください。

パイプラインモジュール

Flink CDC データインジェストジョブのパイプラインモジュールでは、グローバルパラメータを設定できます。

構文

pipeline:
  name: CDC YAML Job
  schema.change.behavior: LENIENT

設定可能なすべてのオプションについては、「Flink CDC パイプラインモジュール」をご参照ください。