Flink CDC source and sink modules - Realtime Compute for Apache Flink - Alibaba Cloud ドキュメントセンター

このトピックでは、Flink Change Data Capture (CDC) データインジェストジョブのソースモジュールとシンクモジュールについて説明し、サポートされているコネクタをリストアップします。

コネクタのパラメーター設定

Flink CDC データインジェストジョブで、ソースコネクタとシンクコネクタのパラメーターを設定できます。サポートされているコネクタとそのパラメーターを以下に示します。

# ソースモジュール
source:
  type: mysql # または別のコネクタ識別子
  name: MySQL Source
  # その他のパラメーター。キー: 値 のペアを使用します。

# シンクモジュール
sink:
  type: paimon # または別のコネクタ識別子
  name: Paimon Sink
  # その他のパラメーター。キー: 値 のペアを使用します。

サポートされているコネクタ

コネクタ	サポートタイプ
コネクタ	ソース	シンク
MySQL 説明 ApsaraDB RDS for MySQL、PolarDB for MySQL、およびセルフマネージド MySQL に接続します。	√	×
Streaming Lakehouse Paimon	×	√
Message Queue for Kafka	√ 説明 Ververica Runtime (VVR) 8.0.10 以降が必要です。	√
Upsert Kafka	×	√
StarRocks	×	√
Hologres	×	√
Simple Log Service (SLS)	√ 説明 VVR 11.1 以降が必要です。	×
MongoDB	√ 説明 VVR 11.2 以降が必要です。	×
MaxCompute	×	√ 説明 VVR 11.1 以降が必要です。
SelectDB	×	√ 説明 VVR 11.1 以降が必要です。
Postgres CDC (パブリックプレビュー)	√ 説明 VVR 11.4 以降が必要です。	×
Print	×	√

既存のカタログからの接続情報の再利用

VVR 11.5 以降、Flink CDC データインジェストジョブで既存のカタログの接続情報を再利用できます。データ管理ページで作成された組み込みカタログを参照して、URL、ユーザー名、パスワードなどの接続プロパティを自動的に取得できます。これにより、手動での設定作業が削減されます。

構文

source:
  type: mysql
  using.built-in-catalog: mysql_rds_catalog
  
sink:
  type: paimon
  using.built-in-catalog: paimon_dlf_catalog

source および sink モジュールで、using.built-in-catalog 構文を使用して組み込みカタログを参照します。

たとえば、上記のコードでは、mysql_rds_catalog カタログのメタデータには、hostname、username、password などの必須パラメーターがすでに含まれています。これらのパラメーターを YAML ジョブで再度指定する必要はありません。

制限事項

次のコネクタは、カタログからの接続情報の再利用をサポートしています：

MySQL (ソース)
Kafka (ソース)
Upsert Kafka (シンク)
StarRocks (シンク)
Hologres (シンク)
Paimon (シンク)
SLS (ソース)

説明

CDC YAML 構文と互換性のないカタログパラメーターは有効になりません。詳細については、各コネクタのパラメーターリストをご参照ください。