すべてのプロダクト
Search
ドキュメントセンター

Realtime Compute for Apache Flink:Flink CDC 変換モジュール

最終更新日:Sep 22, 2026

このトピックでは、Flink CDC データインジェストジョブの変換モジュールの構文ルールと組み込み関数について説明します。

変換ルールのパラメーター

変換モジュールは、データ列の直接的な操作をサポートしています。データ同期中に、既存の列の削除や拡張、不要なデータのフィルタリングが可能です。次のパラメーターを使用して、変換ルールを定義します。

パラメーター

説明

必須

注意

source-table

変換する上流テーブルを指定します。

はい

正規表現をサポートしています。

projection

上流テーブルのプロジェクションルールを指定します。これにより、変換後のすべてのデータ列が決まります。

いいえ

構文は SQL の SELECT 文に似ています。

このパラメーターが指定されていない場合、列の追加や削除は行われません。

詳細については、「データスクリーニング」をご参照ください。利用可能な組み込み関数については、「Flink CDC 組み込み関数」をご参照ください。

filter

行フィルタリングのルールです。

いいえ

構文は SQL の WHERE 文に似ています。

このパラメーターが指定されていない場合、行はフィルタリングされません。

primary-keys

変換後のプライマリキー列を指定します。

いいえ

このパラメーターが指定されていない場合、元のスキーマのプライマリキー定義が保持されます。プライマリキーはカンマ (,) で区切られます。

重要

デフォルトでは、アップストリームから主キー列を削除できません。アップストリームの主キー列の数を減らすには、pipeline: 設定に transform.allow.trimming.pk-columns パラメーターを追加します。

カスタムのプライマリキー列を定義する場合、上流テーブルからの受信データが PRIMARY KEY 制約に準拠していることを確認してください。パーティション間の書き込み時にデータの順序が乱れる問題を避けるため、上流テーブルのプライマリキー列をカスタムのプライマリキー列に含めることを推奨します。

partition-keys

変換後のパーティションキー列のリストを指定します。

いいえ

このパラメーターが指定されていない場合、元のスキーマのパーティションキーの定義が保持されます。パーティションキーはコンマ (,) で区切られます。

重要

カスタムのパーティションキー列を定義する場合、パーティション間の書き込み時にデータの順序が乱れる問題を避けるため、上流テーブルからの受信データが PRIMARY KEY 制約に準拠していることを確認してください。

table-options

追加の設定情報をシンクに渡します。

いいえ

Paimon シンクのバケット数やコメントなど、オプションのプロパティのリストです。

設定項目はカンマ (,) で区切られます。各項目のキーと値は等号 (=) で区切られます。

設定例:

key1=value1, key2=value2

description

変換ルールの説明です。

いいえ

なし。

converter-after-transform

変換完了後にデータに追加処理を行うコンバーターです。

いいえ

詳細については、「変換後のコンバーター」をご参照ください。

注意事項

  • 変換モジュール内の文を変更した後は、ステートレスな初期状態からジョブを再起動する必要があります。

  • 通常、projection と filter の文を引用符で囲む必要はありません。

    transform:
      - projection: a, b, c
        # 以下と等価
      - projection: "a, b, c"

    ただし、プロジェクション式が * や ' などの特殊文字で始まる場合、式全体が有効な YAML 文字列リテラルとして解析されない可能性があります。この場合、式全体を一重引用符 (') または二重引用符 (") で手動で囲むか、バックスラッシュ (\) を使用して文字をエスケープする必要があります。

    transform:
      - projection: *, 42      # 無効な YAML
      - projection: '*, 42'    # OK
      - projection: \*, 42     # OK  
  • Ververica Runtime (VVR) 11.6 以降、上流から推測されたプライマリキー設定をパージし、テーブルをプライマリキーのないテーブルに変換できます。構文は次のとおりです。

    transform:
      - source-table: db.tbl
        primary-keys: '' # db.tbl テーブルの PRIMARY KEY 設定をクリアします

データスクリーニング

変換モジュールは、SQL に似た構文を使用してデータスクリーニング (プロジェクション) ルールを定義します。これらのルールにより、特定の列の選択、計算列の追加、メタデータ列の追加が可能です。

列のプルーニング

ソーステーブルから特定の列を抽出し、それらを下流テーブルに同期するには、プロジェクションルールで目的の列を指定します。指定されていない列は下流テーブルに送信されません。

transform:
  - source-table: db.tbl
    projection: col_1, col_3, col_4 # col_2 はプルーニングされます
重要

列をプルーニングすると、上流テーブルのスキーマが変更された場合に、上流テーブルと下流テーブルのスキーマが不整合になることがあります。

ワイルドカード文字

ソーステーブルのすべてのカラム (後から追加される新しいカラムを含む) を変更せずにダウンストリームに送信するには、プロジェクションルールでアスタリスク (*) ワイルドカード文字を使用できます。

説明

プロジェクションルールがワイルドカード文字 (*) を使用しない場合、結果のスキーマは固定されます。スキーマはプロジェクションルールで指定されたバージョンと一致したままとなり、スキーマエボリューションを同期することはできません。

たとえば、*, 'extras' AS extras は、アップストリームスキーマの列の後に、追加の列が付加されることを示します。アップストリームスキーマの変更は、引き続きダウンストリームに同期されます。

transform:
  - source-table: db.tbl
    projection: \*, 'extras' AS extras

計算列

プロジェクションルールで <Expression> AS <ColName> 構文を使用して、計算列を追加できます。式は、アップストリームの各レコードに対して評価され、その結果が対応する列に入力されます。

説明

計算列の式では、たとえ参照先の列が先に記述されていても、別の計算列の値を参照することはできません。たとえば、a, b AS c, c AS d は有効な式ではありません。

たとえば、アップストリームテーブル db.tbl がデータレコード [+I, id = 1] を送信すると、レコードはデータ行 [+I, id = 1, inc_id = 2] に変換され、ダウンストリームに送信されます。

transform:
  - source-table: db.tbl
    projection: id, id + 1 AS inc_id

メタデータ列

プロジェクションルールを作成するとき、通常のデータ列と同じように、次の事前定義されたメタデータ列を使用できます。

重要

メタデータ列と同じ名前の通常のデータ列を定義しないでください。

次のメタデータ列は、すべてのコネクターに適用されます。

メタデータ列名

データ型

説明

__namespace_name__

String

この変更レコードのソーステーブルの名前空間名です。

__schema_name__

String

この変更レコードのソーステーブルのスキーマ名です。

__table_name__

String

この変更レコードのソーステーブルのテーブル名です。

__data_event_type__

String

この変更レコードの操作タイプ (+I、-U、+U、または -D)。

重要

CDC イベントは、更新処理の更新前レコードと更新後レコードを常に1つのイベントにまとめます。したがって、同じ更新イベント内では、__data_event_type__ の内容はそれぞれ -U と +U になります。これをプライマリキーとして使用しないでください。

たとえば、上流テーブルの完全修飾名を計算列に書き込み、それを下流テーブルに送信できます。

transform:
  - source-table: \.*.\.*
    projection: \*, __namespace_name__ || __schema_name__ || __table_name__ AS identifier

次の表は、データベースコネクターと名前空間、スキーマ、テーブル名の間のマッピング関係を示しています。

データベースタイプ

名前空間名

スキーマ名

テーブル名

MySQL

-

データベース

テーブル

Kafka

-

-

トピック

SLS

-

プロジェクト

LogStore

MongoDB

-

データベース

コレクション

Paimon

-

データベース

テーブル

Hologres

-

スキーマ

テーブル

StarRocks

-

データベース

テーブル

Doris

-

データベース

テーブル

Postgres

データベース

説明

これは、table-id.include-database パラメーターが有効な場合にのみ有効です。

スキーマ

テーブル

データフィルタリング

変換モジュールは、SQL に似た構文を使用して行フィルタリングルールを定義します。

フィルター ルールは、BOOLEAN 値に評価される式である必要があります。ソーステーブルの任意の列と、任意の計算列を参照できます。

変更レコードがフィルター付きの変換ルールに一致し、かつフィルター式が FALSE と評価された場合、データ行はダウンストリームに送信されません。

説明

プロジェクションルールで計算列を使用して既存の上流列を上書きする場合、フィルター式は計算列を参照します。

たとえば、次の変換ルールは有効です。

transform:
  - source-table: db.tbl
    projection: CAST(id AS VARCHAR) AS id
    filter: CHAR_LENGTH(id) > 5

filter 式で参照される id は、VARCHAR 型に変換された計算列です。

文字列パターンマッチング

フィルター式で LIKE と NOT LIKE を使用すると、文字列パターンマッチングを実行できます。この実装では Java 正規表現の find() セマンティクスが使用されており、標準 SQL の LIKE とは 2 つの重要な点で異なります。

• パターンは Java の正規表現です。 % と _ は、ワイルドカードではなく正規表現リテラルとして扱われます。

• マッチングでは部分文字列セマンティクスが使用されます。TRUE を返すには、パターンが文字列内のどこかの位置に出現するだけでよく、完全な文字列のマッチングは必要ありません。

例: code 列が HSRS で始まるレコードを絞り込みます。

次のパターンは不正に一致します — ABC_HSRS123 も一致します:

transform:
  - source-table: db.orders
    filter: code LIKE 'HSRS.*'

正しいパターンでは、開始アンカー ^ を使用します:

transform:
  - source-table: db.orders
    filter: code LIKE '^HSRS'

一般的なパターンの等価式は次のとおりです。

SQL構文 等価なCDC正規表現 意味
col LIKE 'HSRS%' col LIKE '^HSRS' HSRS で始まる
col LIKE '%HSRS' col LIKE 'HSRS$' HSRS で終わる
col LIKE '%HSRS%' col LIKE 'HSRS' HSRS を含む
col LIKE 'HSRS' col LIKE '^HSRS$' HSRS と完全に一致する

LIKE の完全なセマンティクスとその他の等価な正規表現については、「Flink CDC 組み込み関数」をご参照ください。

高度な設定ルール

プルーニングされていない列とメタデータの参照

例 1:プルーニングされた列に基づくフィルター

上流テーブルのスキーマが [INT a, INT b, BOOLEAN c] の場合、列 a と b を出力し、c が true の行のみを保持するには、次の設定ルールを使用できます。

transform:
  - source-table: ...
    projection: a, b
    filter: c

例 2:メタデータ列に基づくフィルター

メタデータ列は、projection で明示的に定義しなくても、フィルター条件として直接使用できます。たとえば、DELETE 型の変更データをフィルターで除外できます。

transform:
  - source-table: db.tbl
    projection: a, b
    filter: __data_event_type__ <> '-D'

既存の列の上書き

projection では、アップストリーム列と同じ名前のフィールドを定義して、その列の値または型を上書きできます。この方法により、スキーマエボリューションが正しく同期されることが保証されます。

例:強制的な型変換

上流テーブルのスキーマが [INT a, INT b, BOOLEAN c] であるとします。カラム名を変更せずにカラム a を文字列型に強制的に変換するには、次の設定を使用できます。

transform:
  - source-table: db.tbl
    projection: \*, CAST(a AS VARCHAR) AS a

下流テーブルのスキーマは [STRING a, INT b, BOOLEAN c] になります。元のカラム a は、新しい定義によって上書きされます。

フィルター条件での計算列の再利用

filter は、projection で定義された計算列のエイリアスを直接参照できます。

例:計算結果の参照

新しい列 d を projection で定義し、それを filter で直接使用できます。

transform:
  - source-table: db.tbl
    projection: a, b, c, a + b + c AS d
    filter: d > 100

この設定は次の設定と同じ効果がありますが、より読みやすくなっています。

transform:
  - source-table: ...
    projection: a, b, c, a + b + c AS d
    filter: a + b + c > 100

変換後のコンバーター

converter-after-transform は、すべての変換ルールが適用された後に、データの変更を処理するために使用されます。複数のコンバーターは、コンマ (,) で区切って指定できます。コンバーターは、記載されている順序で適用されます。以下の設定値がサポートされています。

コンバーター名

機能

サポートされるバージョン

SOFT_DELETE

削除の変更を挿入に変換します。

VVR 8.0.11 以降。

FIELD_NAME_LOWER_CASE

すべてのテーブルフィールド名を小文字に変換します。

VVR 11.1 以降。

ソフトデリート

SOFT_DELETE コンバーターは、__data_event_type__ メタデータ列と連携して論理削除を実装します。これは、データが下流システムで物理的に削除されないことを意味します。たとえば、次の変換設定は論理削除を実装します。削除操作は挿入に変換され、対応するデータの op_type は削除を示すために -D に更新されます。

transform: 
  - source-table: db.tbl
    projection: \*, __data_event_type__ AS op_type
    converter-after-transform: SOFT_DELETE

SOFT_DELETE コンバーターは、__data_event_type__ が -D であるデータのみを変換します。__data_event_type__ が -U であるデータも無視するには、filter: op_type <> '-U' 設定を追加します。

transform: 
  - source-table: db.tbl
    projection: \*, __data_event_type__ AS op_type
    filter: op_type <> '-U'
    converter-after-transform: SOFT_DELETE