このトピックでは、Flink CDC データインジェストジョブの変換モジュールの構文ルールと組み込み関数について説明します。
変換ルールのパラメーター
変換モジュールは、データ列の直接的な操作をサポートしています。データ同期中に、既存の列の削除や拡張、不要なデータのフィルタリングが可能です。次のパラメーターを使用して、変換ルールを定義します。
|
パラメーター |
説明 |
必須 |
注意 |
|
|
変換する上流テーブルを指定します。 |
はい |
正規表現をサポートしています。 |
|
|
上流テーブルのプロジェクションルールを指定します。これにより、変換後のすべてのデータ列が決まります。 |
いいえ |
構文は SQL の SELECT 文に似ています。 このパラメーターが指定されていない場合、列の追加や削除は行われません。 詳細については、「データスクリーニング」をご参照ください。利用可能な組み込み関数については、「Flink CDC 組み込み関数」をご参照ください。 |
|
|
行フィルタリングのルールです。 |
いいえ |
構文は SQL の WHERE 文に似ています。 このパラメーターが指定されていない場合、行はフィルタリングされません。 |
|
|
変換後のプライマリキー列を指定します。 |
いいえ |
このパラメーターが指定されていない場合、元のスキーマのプライマリキー定義が保持されます。プライマリキーはカンマ ( 重要
デフォルトでは、アップストリームから主キー列を削除できません。アップストリームの主キー列の数を減らすには、 カスタムのプライマリキー列を定義する場合、上流テーブルからの受信データが PRIMARY KEY 制約に準拠していることを確認してください。パーティション間の書き込み時にデータの順序が乱れる問題を避けるため、上流テーブルのプライマリキー列をカスタムのプライマリキー列に含めることを推奨します。 |
|
|
変換後のパーティションキー列のリストを指定します。 |
いいえ |
このパラメーターが指定されていない場合、元のスキーマのパーティションキーの定義が保持されます。パーティションキーはコンマ ( 重要
カスタムのパーティションキー列を定義する場合、パーティション間の書き込み時にデータの順序が乱れる問題を避けるため、上流テーブルからの受信データが PRIMARY KEY 制約に準拠していることを確認してください。 |
|
|
追加の設定情報をシンクに渡します。 |
いいえ |
Paimon シンクのバケット数やコメントなど、オプションのプロパティのリストです。 設定項目はカンマ ( 設定例:
|
|
|
変換ルールの説明です。 |
いいえ |
なし。 |
|
|
変換完了後にデータに追加処理を行うコンバーターです。 |
いいえ |
詳細については、「変換後のコンバーター」をご参照ください。 |
注意事項
-
変換モジュール内の文を変更した後は、ステートレスな初期状態からジョブを再起動する必要があります。
-
通常、
projectionとfilterの文を引用符で囲む必要はありません。transform: - projection: a, b, c # 以下と等価 - projection: "a, b, c"ただし、プロジェクション式が
*や'などの特殊文字で始まる場合、式全体が有効な YAML 文字列リテラルとして解析されない可能性があります。この場合、式全体を一重引用符 (') または二重引用符 (") で手動で囲むか、バックスラッシュ (\) を使用して文字をエスケープする必要があります。transform: - projection: *, 42 # 無効な YAML - projection: '*, 42' # OK - projection: \*, 42 # OK -
Ververica Runtime (VVR) 11.6 以降、上流から推測されたプライマリキー設定をパージし、テーブルをプライマリキーのないテーブルに変換できます。構文は次のとおりです。
transform: - source-table: db.tbl primary-keys: '' # db.tbl テーブルの PRIMARY KEY 設定をクリアします
データスクリーニング
変換モジュールは、SQL に似た構文を使用してデータスクリーニング (プロジェクション) ルールを定義します。これらのルールにより、特定の列の選択、計算列の追加、メタデータ列の追加が可能です。
列のプルーニング
ソーステーブルから特定の列を抽出し、それらを下流テーブルに同期するには、プロジェクションルールで目的の列を指定します。指定されていない列は下流テーブルに送信されません。
transform:
- source-table: db.tbl
projection: col_1, col_3, col_4 # col_2 はプルーニングされます
列をプルーニングすると、上流テーブルのスキーマが変更された場合に、上流テーブルと下流テーブルのスキーマが不整合になることがあります。
ワイルドカード文字
ソーステーブルのすべてのカラム (後から追加される新しいカラムを含む) を変更せずにダウンストリームに送信するには、プロジェクションルールでアスタリスク (*) ワイルドカード文字を使用できます。
プロジェクションルールがワイルドカード文字 (*) を使用しない場合、結果のスキーマは固定されます。スキーマはプロジェクションルールで指定されたバージョンと一致したままとなり、スキーマエボリューションを同期することはできません。
たとえば、*, 'extras' AS extras は、アップストリームスキーマの列の後に、追加の列が付加されることを示します。アップストリームスキーマの変更は、引き続きダウンストリームに同期されます。
transform:
- source-table: db.tbl
projection: \*, 'extras' AS extras
計算列
プロジェクションルールで <Expression> AS <ColName> 構文を使用して、計算列を追加できます。式は、アップストリームの各レコードに対して評価され、その結果が対応する列に入力されます。
計算列の式では、たとえ参照先の列が先に記述されていても、別の計算列の値を参照することはできません。たとえば、a, b AS c, c AS d は有効な式ではありません。
たとえば、アップストリームテーブル db.tbl がデータレコード [+I, id = 1] を送信すると、レコードはデータ行 [+I, id = 1, inc_id = 2] に変換され、ダウンストリームに送信されます。
transform:
- source-table: db.tbl
projection: id, id + 1 AS inc_id
メタデータ列
プロジェクションルールを作成するとき、通常のデータ列と同じように、次の事前定義されたメタデータ列を使用できます。
メタデータ列と同じ名前の通常のデータ列を定義しないでください。
次のメタデータ列は、すべてのコネクターに適用されます。
|
メタデータ列名 |
データ型 |
説明 |
|
|
String |
この変更レコードのソーステーブルの名前空間名です。 |
|
|
String |
この変更レコードのソーステーブルのスキーマ名です。 |
|
|
String |
この変更レコードのソーステーブルのテーブル名です。 |
|
|
String |
この変更レコードの操作タイプ ( 重要
CDC イベントは、更新処理の更新前レコードと更新後レコードを常に1つのイベントにまとめます。したがって、同じ更新イベント内では、 |
たとえば、上流テーブルの完全修飾名を計算列に書き込み、それを下流テーブルに送信できます。
transform:
- source-table: \.*.\.*
projection: \*, __namespace_name__ || __schema_name__ || __table_name__ AS identifier
次の表は、データベースコネクターと名前空間、スキーマ、テーブル名の間のマッピング関係を示しています。
|
データベースタイプ |
名前空間名 |
スキーマ名 |
テーブル名 |
|
MySQL |
- |
データベース |
テーブル |
|
Kafka |
- |
- |
トピック |
|
SLS |
- |
プロジェクト |
LogStore |
|
MongoDB |
- |
データベース |
コレクション |
|
Paimon |
- |
データベース |
テーブル |
|
Hologres |
- |
スキーマ |
テーブル |
|
StarRocks |
- |
データベース |
テーブル |
|
Doris |
- |
データベース |
テーブル |
|
Postgres |
データベース 説明
これは、 |
スキーマ |
テーブル |
データフィルタリング
変換モジュールは、SQL に似た構文を使用して行フィルタリングルールを定義します。
フィルター ルールは、BOOLEAN 値に評価される式である必要があります。ソーステーブルの任意の列と、任意の計算列を参照できます。
変更レコードがフィルター付きの変換ルールに一致し、かつフィルター式が FALSE と評価された場合、データ行はダウンストリームに送信されません。
プロジェクションルールで計算列を使用して既存の上流列を上書きする場合、フィルター式は計算列を参照します。
たとえば、次の変換ルールは有効です。
transform:
- source-table: db.tbl
projection: CAST(id AS VARCHAR) AS id
filter: CHAR_LENGTH(id) > 5
filter 式で参照される id は、VARCHAR 型に変換された計算列です。
文字列パターンマッチング
フィルター式で LIKE と NOT LIKE を使用すると、文字列パターンマッチングを実行できます。この実装では Java 正規表現の find() セマンティクスが使用されており、標準 SQL の LIKE とは 2 つの重要な点で異なります。
• パターンは Java の正規表現です。 % と _ は、ワイルドカードではなく正規表現リテラルとして扱われます。
• マッチングでは部分文字列セマンティクスが使用されます。TRUE を返すには、パターンが文字列内のどこかの位置に出現するだけでよく、完全な文字列のマッチングは必要ありません。
例: code 列が HSRS で始まるレコードを絞り込みます。
次のパターンは不正に一致します — ABC_HSRS123 も一致します:
transform:
- source-table: db.orders
filter: code LIKE 'HSRS.*'
正しいパターンでは、開始アンカー ^ を使用します:
transform:
- source-table: db.orders
filter: code LIKE '^HSRS'
一般的なパターンの等価式は次のとおりです。
| SQL構文 | 等価なCDC正規表現 | 意味 |
|---|---|---|
col LIKE 'HSRS%' |
col LIKE '^HSRS' |
HSRS で始まる |
col LIKE '%HSRS' |
col LIKE 'HSRS$' |
HSRS で終わる |
col LIKE '%HSRS%' |
col LIKE 'HSRS' |
HSRS を含む |
col LIKE 'HSRS' |
col LIKE '^HSRS$' |
HSRS と完全に一致する |
LIKE の完全なセマンティクスとその他の等価な正規表現については、「Flink CDC 組み込み関数」をご参照ください。
高度な設定ルール
プルーニングされていない列とメタデータの参照
例 1:プルーニングされた列に基づくフィルター
上流テーブルのスキーマが [INT a, INT b, BOOLEAN c] の場合、列 a と b を出力し、c が true の行のみを保持するには、次の設定ルールを使用できます。
transform:
- source-table: ...
projection: a, b
filter: c
例 2:メタデータ列に基づくフィルター
メタデータ列は、projection で明示的に定義しなくても、フィルター条件として直接使用できます。たとえば、DELETE 型の変更データをフィルターで除外できます。
transform:
- source-table: db.tbl
projection: a, b
filter: __data_event_type__ <> '-D'
既存の列の上書き
projection では、アップストリーム列と同じ名前のフィールドを定義して、その列の値または型を上書きできます。この方法により、スキーマエボリューションが正しく同期されることが保証されます。
例:強制的な型変換
上流テーブルのスキーマが [INT a, INT b, BOOLEAN c] であるとします。カラム名を変更せずにカラム a を文字列型に強制的に変換するには、次の設定を使用できます。
transform:
- source-table: db.tbl
projection: \*, CAST(a AS VARCHAR) AS a
下流テーブルのスキーマは [STRING a, INT b, BOOLEAN c] になります。元のカラム a は、新しい定義によって上書きされます。
フィルター条件での計算列の再利用
filter は、projection で定義された計算列のエイリアスを直接参照できます。
例:計算結果の参照
新しい列 d を projection で定義し、それを filter で直接使用できます。
transform:
- source-table: db.tbl
projection: a, b, c, a + b + c AS d
filter: d > 100
この設定は次の設定と同じ効果がありますが、より読みやすくなっています。
transform:
- source-table: ...
projection: a, b, c, a + b + c AS d
filter: a + b + c > 100
変換後のコンバーター
converter-after-transform は、すべての変換ルールが適用された後に、データの変更を処理するために使用されます。複数のコンバーターは、コンマ (,) で区切って指定できます。コンバーターは、記載されている順序で適用されます。以下の設定値がサポートされています。
|
コンバーター名 |
機能 |
サポートされるバージョン |
|
SOFT_DELETE |
削除の変更を挿入に変換します。 |
VVR 8.0.11 以降。 |
|
FIELD_NAME_LOWER_CASE |
すべてのテーブルフィールド名を小文字に変換します。 |
VVR 11.1 以降。 |
ソフトデリート
SOFT_DELETE コンバーターは、__data_event_type__ メタデータ列と連携して論理削除を実装します。これは、データが下流システムで物理的に削除されないことを意味します。たとえば、次の変換設定は論理削除を実装します。削除操作は挿入に変換され、対応するデータの op_type は削除を示すために -D に更新されます。
transform:
- source-table: db.tbl
projection: \*, __data_event_type__ AS op_type
converter-after-transform: SOFT_DELETE
SOFT_DELETE コンバーターは、__data_event_type__ が -D であるデータのみを変換します。__data_event_type__ が -U であるデータも無視するには、filter: op_type <> '-U' 設定を追加します。
transform:
- source-table: db.tbl
projection: \*, __data_event_type__ AS op_type
filter: op_type <> '-U'
converter-after-transform: SOFT_DELETE