Flink CDC ソースとsinkモジュール - Realtime Compute for Apache Flink

このトピックでは、Flink Change Data Capture (CDC) データインジェストジョブのソースとsinkモジュール、およびサポートされているコネクタについて説明します。

コネクタパラメーター設定

Flink CDC データインジェストジョブにおけるソースとsinkコネクタのパラメーターを構成します。サポートされているコネクタとそのパラメーターを以下に示します。

# ソースモジュール
source:
  type: mysql # または別のコネクタ識別子
  name: MySQL Source
  # その他のパラメーター。キー: 値 形式を使用します。

# sinkモジュール
sink:
  type: paimon # または別のコネクタ識別子
  name: Paimon Sink
  # その他のパラメーター。キー: 値 形式を使用します。

サポートされているコネクタ

コネクタ	サポートされているタイプ
コネクタ	ソース	sink
MySQL 説明 RDS for MySQL、PolarDB for MySQL、およびセルフマネージド MySQL への接続をサポートします。	√	×
ストリーミングデータレイクハウス Paimon	×	√
Message Queue for Kafka	√ 説明 VVR 8.0.10 以降でのみサポートされます。	√
Upsert Kafka	×	√
StarRocks	×	√
Hologres	×	√
Simple Log Service (SLS)	√ 説明 VVR 11.1 以降でのみサポートされます。	×
MongoDB	√ 説明 VVR 11.2 以降でのみサポートされます。	×
MaxCompute	×	√ 説明 VVR 11.1 以降でのみサポートされます。
SelectDB	×	√ 説明 VVR 11.1 以降でのみサポートされます。
Postgres CDC (パブリックプレビュー)	√ 説明 VVR 11.4 以降でのみサポートされます。	×
Print	×	√
Iceberg	×	√ 説明 VVR 11.6 以降でのみサポートされます。

既存のカタログを再利用して接続情報を取得

VVR 11.5 以降、ご利用の Flink CDC データインジェストジョブで Data Management ページから組み込みカタログを参照できます。これにより、URL、ユーザー名、パスワードなどの接続プロパティが取得され、手動入力の必要性が軽減されます。

構文

source:
  type: mysql
  using.built-in-catalog: mysql_rds_catalog
  
sink:
  type: paimon
  using.built-in-catalog: paimon_dlf_catalog

using.built-in-catalog 構文を source および sink モジュールで使用して、既存の組み込みカタログを参照できます。

例えば、前述のコードでは、mysql_rds_catalog のカタログメタデータには、hostname、username、password などの必須パラメーターがすでに含まれています。これらのパラメーターを YAML ジョブで再度指定する必要はありません。

制限事項

以下のコネクタは、カタログからの接続情報の再利用をサポートします。

MySQL (ソース)
Kafka (ソース)
Upsert Kafka (sink)
StarRocks (sink)
Hologres (sink)
Paimon (sink)
SLS (ソース)
Iceberg (sink)

説明

CDC YAML と互換性のないカタログパラメーターは有効になりません。詳細については、各コネクタのパラメーターリストをご参照ください。