Flink CDC Source和Sink模組 - Realtime Compute for Apache Flink

本文向您介紹基於Flink CDC的資料攝入作業的Source和Sink模組及其支援使用的連接器。

連接器參數配置

您可以在基於Flink CDC的資料攝入作業中配置 Source 及 Sink 連接器的參數。支援的連接器及相應的參數請參考下文。

# Source 模組
source:
  type: mysql # 或其他連接器標識符
  name: MySQL Source
  # 其他參數。使用 key: value 表示。

# Sink 模組
sink:
  type: paimon # 或其他連接器標識符
  name: Paimon Sink
  # 其他參數。使用 key: value 表示。

支援的連接器

連接器	支援類型
連接器	Source	Sink
MySQL 說明支援串連RDS MySQL版、PolarDB MySQL版及自建MySQL。	√	×
流式資料湖倉Paimon	×	√
訊息佇列Kafka	√ 說明僅Realtime Compute引擎 VVR 8.0.10 及更高版本支援。	√
Upsert Kafka	×	√
StarRocks	×	√
即時數倉Hologres	×	√
Log ServiceSLS	√ 說明僅Realtime Compute引擎 VVR 11.1 及更高版本支援。	×
MongoDB	√ 說明僅Realtime Compute引擎 VVR 11.2 及更高版本支援。	×
MaxCompute	×	√ 說明僅Realtime Compute引擎 VVR 11.1 及更高版本支援。
SelectDB	×	√ 說明僅Realtime Compute引擎 VVR 11.1 及更高版本支援。
Postgres CDC（公測中）	√ 說明僅Realtime Compute引擎 VVR 11.4 及更高版本支援。	×
Print	×	√

複用已有Catalog擷取串連資訊

自VVR 11.5版本起，您可以在Flink CDC資料攝入作業中直接引用“資料管理”頁面中建立的內建Catalog，擷取對應的串連屬性，如URL、username、password等，減少手寫串連屬性工作量。

文法

source:
  type: mysql
  using.built-in-catalog: mysql_rds_catalog
  
sink:
  type: paimon
  using.built-in-catalog: paimon_dlf_catalog

您可以在 source和 sink模組中使用using.built-in-catalog文法引用已建立的內建Catalog。

例如，在上面的例子中，mysql_rds_catalog的Catalog中繼資料中已經包含hostname、username、password等必填參數，因此無需在YAML作業中重複提供這些參數。

使用限制

下述連接器已經支援複用Catalog的串連資訊：

MySQL（源端）
Kafka（源端）
Upsert Kafka（目標端）
StarRocks（目標端）
Hologres（目標端）
Paimon（目標端）
SLS（源端）

說明

與CDC YAML不相容的Catalog參數不會生效，您可以參考各個連接器的參數列表查看詳細資料。