すべてのプロダクト
Search
ドキュメントセンター

Realtime Compute for Apache Flink:Flink CDC データインジェストジョブの開発

最終更新日:Oct 23, 2026

Realtime Compute for Apache Flink では、YAML ファイルを使用して Flink CDC データインジェストジョブを作成し、ソースからシンクへデータを同期できます。このトピックでは、Flink CDC データインジェストジョブを開発する手順について説明します。

背景情報

YAML 設定を使用することで、複雑な ETL パイプラインを容易に定義でき、これらは自動的に Flink の実行ロジックに変換されます。Flink CDC データインジェストは、Flink CDC に基づく強力なデータ統合ソリューションを提供します。このソリューションは、データベース全体の同期、単一テーブルの同期、分割されたデータベースとテーブルの同期、新しいテーブルの自動検出、スキーマ変更の処理、およびカスタム計算カラムを効率的にサポートします。また、ETL 処理、WHERE 句フィルタリング、およびカラムプルーニングもサポートしています。この宣言的なアプローチにより、データ統合プロセスが大幅に簡素化され、効率と信頼性が向上します。

Flink CDC の利点

Realtime Compute for Apache Flink では、Flink CDC データインジェストジョブ、SQL ジョブ、または DataStream ジョブを開発してデータ同期を実行できます。以降のセクションでは、他の 2 つのオプションと比較した場合の Flink CDC データインジェストジョブの利点について説明します。

Flink CDC と Flink SQL の比較

Flink CDC データインジェストジョブと SQL ジョブでは、データ転送に使用されるデータ型が異なります:

  • SQL ジョブはデータを RowData として転送します。各 RowData オブジェクトには独自の変更タイプがあり、主な 4 つのタイプ (挿入 (+I)、更新前 (-U)、更新後 (+U)、削除 (-D)) が含まれます。

  • Flink CDC は SchemaChangeEvent を使用して、テーブルの作成、カラムの追加、テーブルの切り捨てなどのスキーマ変更情報を伝達します。また、DataChangeEvent を使用して、挿入、更新、削除などのデータ変更を伝達します。更新メッセージには変更前と変更後の両方の内容が含まれているため、元の変更データをシンクに書き込むことができます。

次の表に、SQL ジョブに対する Flink CDC データインジェストジョブの利点を示します。

Flink CDC データインジェスト

Flink SQL

スキーマの自動検出とデータベース全体の同期

手動での CREATE TABLE および INSERT ステートメントが必要

スキーマ変更に対する複数のポリシーをサポート

スキーマ変更をサポートしない

元のチェンジログを保持

元のチェンジログ構造を破壊

複数テーブルからの読み取りと複数テーブルへの書き込みをサポート

単一テーブルからの読み取りと単一テーブルへの書き込み

CTAS/CDAS ステートメントと比較して、Flink CDC ジョブは以下のようなより強力な機能を提供します:

  • 新しいデータ書き込みによる同期のトリガーを待つことなく、アップストリームのスキーマ変更を即座に同期。

  • 元のチェンジログを保持し、更新メッセージが分割されないことを保証。

  • TRUNCATE TABLE や DROP TABLE など、より多くの種類のスキーマ変更を同期。

  • 柔軟なテーブルマッピングとシンクテーブル名の定義。

  • 柔軟で設定可能なスキーマ進化の動作。

  • WHERE 句を使用したデータフィルタリング。

  • カラムプルーニングのサポート。

Flink CDC と Flink DataStream の比較

次の表に、DataStream ジョブに対する Flink CDC データインジェストジョブの利点を示します。

Flink CDC データインジェスト

Flink DataStream

あらゆるスキルレベルのユーザーが利用可能。

Java と分散システムの専門知識が必要。

基盤となる複雑さを隠蔽し、開発を簡素化。

Flink フレームワークの知識が必要。

学習しやすい YAML 形式。

依存関係管理のために Maven などのツールの知識が必要。

既存ジョブの高い再利用性。

既存コードの再利用が困難。

制限事項

  • Flink CDC データインジェストジョブを開発するには、Ververica Runtime (VVR) 11.1 の使用を推奨します。VVR 8.x を使用する必要がある場合は、VVR 8.0.11 を選択してください。

  • 各ジョブは 1 つのソースと 1 つのシンクのみをサポートします。複数のソースから読み取るか、複数のシンクに書き込むには、複数の Flink CDC ジョブを作成する必要があります。

  • Flink CDC ジョブはセッションクラスターにデプロイできません。

  • Flink CDC データインジェストジョブは自動チューニングをサポートしていません。

Flink CDC データインジェストコネクタ

Flink CDC データインジェストでサポートされているソースおよびシンクコネクタの詳細については、「サポートされているコネクタ」をご参照ください。

Flink CDC データインジェストジョブの作成

テンプレートから作成

  1. Realtime Compute for Apache Flink コンソールにログインします。

  2. 対象のワークスペースの Actions 列で、[Console] をクリックします。

  3. 左側メニューで、開発 > データインジェスト を選択します。

  4. image をクリックし、次に [New Draft with Template] をクリックします。

  5. データ同期テンプレートを選択します。

    MySQL to StarRocks、MySQL to Paimon、MySQL to Hologres など、複数のテンプレートが利用可能です。

  6. ジョブ情報 (名前、場所、エンジンバージョン) を入力し、[OK] をクリックします。

  7. Flink CDC ジョブのソースとシンクの情報を設定します。

    パラメーター設定の詳細については、関連するコネクタのドキュメントをご参照ください。

CTAS/CDAS ジョブから作成

重要
  • ジョブに複数の CTAS ステートメントが含まれている場合、Flink は最初のステートメントのみを検出して変換します。

  • Flink SQL と Flink CDC の組み込み関数のサポートの違いにより、生成された transform ルールがそのままでは機能しない場合があります。必要に応じて確認し、調整する必要があります。

  • ソースが MySQL で、元の CTAS/CDAS ジョブがまだ実行中の場合、競合を防ぐために Flink CDC データインジェストジョブのソースの server-id を調整する必要があります。

  1. Realtime Compute for Apache Flink コンソールにログインします。

  2. 対象のワークスペースの [Actions] 列で、[Console] をクリックします。

  3. 左側メニューで、開発 > データインジェスト を選択します。

  4. image をクリックし、次に [New Draft from CTAS/CDAS] をクリックします。対象の CTAS または CDAS ジョブを選択し、[OK] をクリックします。

    選択ページでは、有効な CTAS および CDAS ジョブのみが表示されます。通常の ETL ジョブや構文エラーのある下書きは表示されません。

  5. ジョブ情報 (名前、場所、エンジンバージョン) を入力し、[OK] をクリックします。

オープンソースの Flink CDC から作成

  1. Realtime Compute for Apache Flink コンソールにログインします。

  2. 対象のワークスペースの [Actions] 列で、[Console] をクリックします。

  3. 左側メニューで、開発 > データインジェスト を選択します。

  4. image をクリックし、次に [New Draft] を選択します。[名前] と [エンジンバージョン] を入力し、[Create] をクリックします。

  5. オープンソースの Flink CDC ジョブからエディターに YAML コードを貼り付けます。

  6. (任意) [Validate] をクリックします。

    このオプションは、構文エラー、ネットワーク接続の問題、権限の問題をチェックします。

スクラッチから作成

  1. Realtime Compute for Apache Flink コンソールにログインします。

  2. 対象のワークスペースの [Actions] 列で、[Console] をクリックします。

  3. 左側メニューで、開発 > データインジェスト を選択します。

  4. image をクリックし、次に [New Draft] を選択します。[名前] と [エンジンバージョン] を入力し、[Create] をクリックします。

  5. YAML を使用して Flink CDC ジョブを設定します。例:

    # 必須
    source:
      # データソースのタイプ。
      type: <お使いのソースコネクタタイプに置き換えてください>
      # データソースの設定。設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。
      ...
    # 必須
    sink:
      # シンクのタイプ。
      type: <お使いのシンクコネクタタイプに置き換えてください>
      # シンクの設定。設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。
      ...
    # 任意
    transform:
      # flink_test.customers テーブルの transform ルール。
      - source-table: flink_test.customers
        # プロジェクション設定。同期するカラムを指定し、データ変換を実行します。
        projection: id, username, UPPER(username) as username1, age, (age + 1) as age1, test_col1, __schema_name__ || '.' || __table_name__ identifier_name
        # フィルター条件。id が 10 より大きいデータのみを同期します。
        filter: id > 10
        # transform ルールの説明。
        description: append calculated columns based on source table
    # 任意
    route:
      # ソーステーブルとシンクテーブル間のマッピングを指定する route ルール。
      - source-table: flink_test.customers
        sink-table: db.customers_o
        # route ルールの説明。
        description: sync customers table
      - source-table: flink_test.customers_suffix
        sink-table: db.customers_s
        # route ルールの説明。
        description: sync customers_suffix table
    # 任意
    pipeline:
      # ジョブの名前。
      name: MySQL to Hologres Pipeline
    説明

    Flink CDC ジョブでは、キーと値はコロンとスペースで区切ります。形式は Key: Value です。

    次の表に、各コードブロックの説明を示します。

    必須

    モジュール

    説明

    はい

    source

    データパイプラインの開始点。Flink CDC はソースから変更データをキャプチャします。

    説明
    • 現在サポートされているソースシステムについては、「ソースおよびシンクモジュール」をご参照ください。ソース設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。

    • 変数を使用して機密情報を管理できます。詳細については、「変数管理」をご参照ください。

    sink

    データパイプラインのエンドポイント。Flink CDC はキャプチャしたデータ変更をシンクシステムに転送します。

    説明
    • 現在サポートされているシンクシステムについては、「ソースおよびシンクモジュール」をご参照ください。シンク設定項目の詳細については、対応するコネクタのドキュメントをご参照ください。

    • 変数を使用して機密情報を管理できます。詳細については、「変数管理」をご参照ください。

    いいえ

    pipeline

    (データパイプライン)

    パイプライン名など、データパイプラインジョブ全体に対する基本設定を定義します。

    transform

    Flink パイプラインを流れるデータを操作するためのデータ変換ルールを指定します。ETL 処理、WHERE 句フィルタリング、カラムプルーニング、計算カラムをサポートします。

    Flink CDC によってキャプチャされた生の変更データを特定の下流システムに合わせて変換する必要がある場合は、transform ブロックを使用します。

    route

    このモジュールが設定されていない場合、ジョブはデフォルトでデータベース全体または対象テーブルの同期を実行します。

    場合によっては、特定のルールに基づいて、キャプチャした変更データを異なる宛先に送信する必要があります。route モジュールを使用すると、ソースとシンク間のマッピング関係を柔軟に指定し、データを異なる宛先に送信できます。

    各モジュールの構文と設定の詳細については、「Flink CDC データインジェストジョブのリファレンス」をご参照ください。

    次のコードは、MySQL の app_db データベースからすべてのテーブルを Hologres のデータベースに同期する例です。

    source:
      type: mysql
      hostname: <hostname>
      port: 3306
      username: ${secret_values.mysqlusername}
      password: ${secret_values.mysqlpassword}
      tables: app_db.\.*
      server-id: 5400-5404
      # (任意) 増分フェーズで新しく作成されたテーブルからデータを同期します。
      scan.binlog.newly-added-table.enabled: true
      # (任意) テーブルとフィールドのコメントを同期します。
      include-comments.enabled: true
      # (任意) TaskManager の OutOfMemory (メモリ不足) の問題を回避するため、アンバウンドチャンクのディスパッチを優先します。
      scan.incremental.snapshot.unbounded-chunk-first.enabled: true
      # (任意) 読み取りを高速化するために、解析フィルターを有効にします。
      scan.only.deserialize.captured.tables.changelog.enabled: true
    sink:
      type: hologres
      name: Hologres Sink
      endpoint: <endpoint>
      dbname: <database-name>
      username: ${secret_values.holousername}
      password: ${secret_values.holopassword}
    pipeline:
      name: Sync MySQL Database to Hologres
  6. (任意) [Validate] をクリックします。

    このオプションは、構文エラー、ネットワーク接続の問題、権限の問題をチェックします。

関連トピック