Modul source dan sink Flink CDC - Realtime Compute for Apache Flink

Topik ini memperkenalkan modul source dan sink untuk pekerjaan ingesti data Flink Change Data Capture (CDC) serta konektor yang didukung.

Konfigurasi parameter konektor

Konfigurasikan parameter untuk konektor source dan sink dalam pekerjaan ingesti data Flink CDC. Konektor yang didukung beserta parameternya tercantum di bawah ini.

# Modul source
source:
  type: mysql # Atau pengenal konektor lainnya
  name: MySQL Source
  # Parameter lainnya. Gunakan format kunci: nilai.

# Modul sink
sink:
  type: paimon # Atau pengenal konektor lainnya
  name: Paimon Sink
  # Parameter lainnya. Gunakan format kunci: nilai.

Konektor yang didukung

Konektor	Jenis yang didukung
Konektor	Source	Sink
MySQL Catatan Mendukung koneksi ke RDS for MySQL, PolarDB for MySQL, dan MySQL yang dikelola sendiri.	√	×
Streaming data lakehouse Paimon	×	√
Message Queue for Kafka	√ Catatan Hanya didukung di VVR 8.0.10 dan versi lebih baru.	√
Upsert Kafka	×	√
StarRocks	×	√
Hologres	×	√
Simple Log Service (SLS)	√ Catatan Hanya didukung di VVR 11.1 dan versi lebih baru.	×
MongoDB	√ Catatan Hanya didukung di VVR 11.2 dan versi lebih baru.	×
MaxCompute	×	√ Catatan Hanya didukung di VVR 11.1 dan versi lebih baru.
SelectDB	×	√ Catatan Hanya didukung di VVR 11.1 dan versi lebih baru.
Postgres CDC (Pratinjau Publik)	√ Catatan Hanya didukung di VVR 11.4 dan versi lebih baru.	×
Print	×	√
Iceberg	×	√ Catatan Hanya didukung di VVR 11.6 dan versi lebih baru.

Gunakan katalog yang sudah ada untuk mendapatkan informasi koneksi

Mulai dari VVR 11.5, Anda dapat mereferensikan katalog bawaan dari halaman Data Management dalam pekerjaan ingesti data Flink CDC Anda. Hal ini mengambil properti koneksi—seperti URL, username, dan password—sehingga mengurangi kebutuhan untuk memasukkannya secara manual.

Sintaksis

source:
  type: mysql
  using.built-in-catalog: mysql_rds_catalog
  
sink:
  type: paimon
  using.built-in-catalog: paimon_dlf_catalog

Anda dapat menggunakan sintaksis using.built-in-catalog pada modul source dan sink untuk mereferensikan katalog bawaan yang sudah ada.

Sebagai contoh, dalam kode sebelumnya, metadata katalog untuk mysql_rds_catalog telah mencakup parameter yang diperlukan seperti hostname, username, dan password. Anda tidak perlu menentukan parameter tersebut lagi dalam pekerjaan YAML.

Batasan

Konektor berikut mendukung penggunaan ulang informasi koneksi dari katalog:

MySQL (source)
Kafka (source)
Upsert Kafka (sink)
StarRocks (sink)
Hologres (sink)
Paimon (sink)
SLS (source)
Iceberg (sink)

Catatan

Parameter katalog yang tidak kompatibel dengan CDC YAML tidak akan berlaku. Untuk informasi selengkapnya, lihat daftar parameter untuk setiap konektor.