Realtime Compute for Apache Flink では、YAML ファイルを使用して Flink CDC データインジェストジョブを作成し、ソースからシンクへデータを同期できます。このトピックでは、Flink CDC データインジェストジョブを開発する手順について説明します。
背景情報
YAML 設定を使用することで、複雑な ETL パイプラインを容易に定義でき、これらは自動的に Flink の実行ロジックに変換されます。Flink CDC データインジェストは、Flink CDC に基づく強力なデータ統合ソリューションを提供します。このソリューションは、データベース全体の同期、単一テーブルの同期、分割されたデータベースとテーブルの同期、新しいテーブルの自動検出、スキーマ変更の処理、およびカスタム計算カラムを効率的にサポートします。また、ETL 処理、WHERE 句フィルタリング、およびカラムプルーニングもサポートしています。この宣言的なアプローチにより、データ統合プロセスが大幅に簡素化され、効率と信頼性が向上します。
Flink CDC の利点
Realtime Compute for Apache Flink では、Flink CDC データインジェストジョブ、SQL ジョブ、または DataStream ジョブを開発してデータ同期を実行できます。以降のセクションでは、他の 2 つのオプションと比較した場合の Flink CDC データインジェストジョブの利点について説明します。
Flink CDC と Flink SQL の比較
Flink CDC データインジェストジョブと SQL ジョブでは、データ転送に使用されるデータ型が異なります:
-
SQL ジョブはデータを
RowDataとして転送します。各RowDataオブジェクトには独自の変更タイプがあり、主な 4 つのタイプ (挿入 (+I)、更新前 (-U)、更新後 (+U)、削除 (-D)) が含まれます。 -
Flink CDC は
SchemaChangeEventを使用して、テーブルの作成、カラムの追加、テーブルの切り捨てなどのスキーマ変更情報を伝達します。また、DataChangeEventを使用して、挿入、更新、削除などのデータ変更を伝達します。更新メッセージには変更前と変更後の両方の内容が含まれているため、元の変更データをシンクに書き込むことができます。
次の表に、SQL ジョブに対する Flink CDC データインジェストジョブの利点を示します。
|
Flink CDC データインジェスト |
Flink SQL |
|
スキーマの自動検出とデータベース全体の同期 |
手動での |
|
スキーマ変更に対する複数のポリシーをサポート |
スキーマ変更をサポートしない |
|
元のチェンジログを保持 |
元のチェンジログ構造を破壊 |
|
複数テーブルからの読み取りと複数テーブルへの書き込みをサポート |
単一テーブルからの読み取りと単一テーブルへの書き込み |
CTAS/CDAS ステートメントと比較して、Flink CDC ジョブは以下のようなより強力な機能を提供します:
-
新しいデータ書き込みによる同期のトリガーを待つことなく、アップストリームのスキーマ変更を即座に同期。
-
元のチェンジログを保持し、更新メッセージが分割されないことを保証。
-
TRUNCATE TABLEやDROP TABLEなど、より多くの種類のスキーマ変更を同期。 -
柔軟なテーブルマッピングとシンクテーブル名の定義。
-
柔軟で設定可能なスキーマ進化の動作。
-
WHERE句を使用したデータフィルタリング。 -
カラムプルーニングのサポート。
Flink CDC と Flink DataStream の比較
次の表に、DataStream ジョブに対する Flink CDC データインジェストジョブの利点を示します。
|
Flink CDC データインジェスト |
Flink DataStream |
|
あらゆるスキルレベルのユーザーが利用可能。 |
Java と分散システムの専門知識が必要。 |
|
基盤となる複雑さを隠蔽し、開発を簡素化。 |
Flink フレームワークの知識が必要。 |
|
学習しやすい YAML 形式。 |
依存関係管理のために Maven などのツールの知識が必要。 |
|
既存ジョブの高い再利用性。 |
既存コードの再利用が困難。 |
制限事項
-
Flink CDC データインジェストジョブを開発するには、Ververica Runtime (VVR) 11.1 の使用を推奨します。VVR 8.x を使用する必要がある場合は、VVR 8.0.11 を選択してください。
-
各ジョブは 1 つのソースと 1 つのシンクのみをサポートします。複数のソースから読み取るか、複数のシンクに書き込むには、複数の Flink CDC ジョブを作成する必要があります。
-
Flink CDC ジョブはセッションクラスターにデプロイできません。
-
Flink CDC データインジェストジョブは自動チューニングをサポートしていません。
Flink CDC データインジェストコネクタ
Flink CDC データインジェストでサポートされているソースおよびシンクコネクタの詳細については、「サポートされているコネクタ」をご参照ください。
Flink CDC データインジェストジョブの作成
テンプレートから作成
-
対象のワークスペースの Actions 列で、[Console] をクリックします。
-
左側メニューで、 を選択します。
-
をクリックし、次に [New Draft with Template] をクリックします。 -
データ同期テンプレートを選択します。
MySQL to StarRocks、MySQL to Paimon、MySQL to Hologres など、複数のテンプレートが利用可能です。
-
ジョブ情報 (名前、場所、エンジンバージョン) を入力し、[OK] をクリックします。
-
Flink CDC ジョブのソースとシンクの情報を設定します。
パラメーター設定の詳細については、関連するコネクタのドキュメントをご参照ください。
CTAS/CDAS ジョブから作成
-
ジョブに複数の CTAS ステートメントが含まれている場合、Flink は最初のステートメントのみを検出して変換します。
-
Flink SQL と Flink CDC の組み込み関数のサポートの違いにより、生成された
transformルールがそのままでは機能しない場合があります。必要に応じて確認し、調整する必要があります。 -
ソースが MySQL で、元の CTAS/CDAS ジョブがまだ実行中の場合、競合を防ぐために Flink CDC データインジェストジョブのソースの
server-idを調整する必要があります。
-
対象のワークスペースの [Actions] 列で、[Console] をクリックします。
-
左側メニューで、 を選択します。
-
をクリックし、次に [New Draft from CTAS/CDAS] をクリックします。対象の CTAS または CDAS ジョブを選択し、[OK] をクリックします。選択ページでは、有効な CTAS および CDAS ジョブのみが表示されます。通常の ETL ジョブや構文エラーのある下書きは表示されません。
-
ジョブ情報 (名前、場所、エンジンバージョン) を入力し、[OK] をクリックします。
オープンソースの Flink CDC から作成
-
対象のワークスペースの [Actions] 列で、[Console] をクリックします。
-
左側メニューで、 を選択します。
-
をクリックし、次に [New Draft] を選択します。[名前] と [エンジンバージョン] を入力し、[Create] をクリックします。 -
オープンソースの Flink CDC ジョブからエディターに YAML コードを貼り付けます。
-
(任意) [Validate] をクリックします。
このオプションは、構文エラー、ネットワーク接続の問題、権限の問題をチェックします。
スクラッチから作成
-
対象のワークスペースの [Actions] 列で、[Console] をクリックします。
-
左側メニューで、 を選択します。
-
をクリックし、次に [New Draft] を選択します。[名前] と [エンジンバージョン] を入力し、[Create] をクリックします。 -
YAML を使用して Flink CDC ジョブを設定します。例:
# 必須 source: # データソースのタイプ。 type: <お使いのソースコネクタタイプに置き換えてください> # データソースの設定。設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。 ... # 必須 sink: # シンクのタイプ。 type: <お使いのシンクコネクタタイプに置き換えてください> # シンクの設定。設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。 ... # 任意 transform: # flink_test.customers テーブルの transform ルール。 - source-table: flink_test.customers # プロジェクション設定。同期するカラムを指定し、データ変換を実行します。 projection: id, username, UPPER(username) as username1, age, (age + 1) as age1, test_col1, __schema_name__ || '.' || __table_name__ identifier_name # フィルター条件。id が 10 より大きいデータのみを同期します。 filter: id > 10 # transform ルールの説明。 description: append calculated columns based on source table # 任意 route: # ソーステーブルとシンクテーブル間のマッピングを指定する route ルール。 - source-table: flink_test.customers sink-table: db.customers_o # route ルールの説明。 description: sync customers table - source-table: flink_test.customers_suffix sink-table: db.customers_s # route ルールの説明。 description: sync customers_suffix table # 任意 pipeline: # ジョブの名前。 name: MySQL to Hologres Pipeline説明Flink CDC ジョブでは、キーと値はコロンとスペースで区切ります。形式は
Key: Valueです。次の表に、各コードブロックの説明を示します。
必須
モジュール
説明
はい
source
データパイプラインの開始点。Flink CDC はソースから変更データをキャプチャします。
説明-
現在サポートされているソースシステムについては、「ソースおよびシンクモジュール」をご参照ください。ソース設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。
-
変数を使用して機密情報を管理できます。詳細については、「変数管理」をご参照ください。
sink
データパイプラインのエンドポイント。Flink CDC はキャプチャしたデータ変更をシンクシステムに転送します。
説明-
現在サポートされているシンクシステムについては、「ソースおよびシンクモジュール」をご参照ください。シンク設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。
-
変数を使用して機密情報を管理できます。詳細については、「変数管理」をご参照ください。
いいえ
pipeline
(データパイプライン)
パイプライン名など、データパイプラインジョブ全体に対する基本設定を定義します。
transform
Flink パイプラインを流れるデータを操作するためのデータ変換ルールを指定します。ETL 処理、
WHERE句フィルタリング、カラムプルーニング、計算カラムをサポートします。Flink CDC によってキャプチャされた生の変更データを特定の下流システムに合わせて変換する必要がある場合は、
transformブロックを使用します。route
このモジュールが設定されていない場合、ジョブはデフォルトでデータベース全体または対象テーブルの同期を実行します。
場合によっては、特定のルールに基づいて、キャプチャした変更データを異なる宛先に送信する必要があります。
routeモジュールを使用すると、ソースとシンク間のマッピング関係を柔軟に指定し、データを異なる宛先に送信できます。各モジュールの構文と設定の詳細については、「Flink CDC データインジェストジョブのリファレンス」をご参照ください。
次のコードは、MySQL の app_db データベースからすべてのテーブルを Hologres のデータベースに同期する例です。
source: type: mysql hostname: <hostname> port: 3306 username: ${secret_values.mysqlusername} password: ${secret_values.mysqlpassword} tables: app_db.\.* server-id: 5400-5404 # (任意) 増分フェーズで新しく作成されたテーブルからデータを同期します。 scan.binlog.newly-added-table.enabled: true # (任意) テーブルとフィールドのコメントを同期します。 include-comments.enabled: true # (任意) TaskManager の OutOfMemory (メモリ不足) の問題を回避するため、アンバウンドチャンクのディスパッチを優先します。 scan.incremental.snapshot.unbounded-chunk-first.enabled: true # (任意) 読み取りを高速化するために、解析フィルターを有効にします。 scan.only.deserialize.captured.tables.changelog.enabled: true sink: type: hologres name: Hologres Sink endpoint: <endpoint> dbname: <database-name> username: ${secret_values.holousername} password: ${secret_values.holopassword} pipeline: name: Sync MySQL Database to Hologres -
-
(任意) [Validate] をクリックします。
このオプションは、構文エラー、ネットワーク接続の問題、権限の問題をチェックします。
関連トピック
-
Flink CDC ジョブの開発が完了したら、デプロイする必要があります。詳細については、「ジョブのデプロイ」をご参照ください。
-
MySQL データベースから StarRocks にデータを同期する Flink CDC ジョブを迅速に構築するには、「チュートリアル:Flink CDC データインジェストジョブの作成」をご参照ください。