Modul source dan sink - Realtime Compute for Apache Flink

Topik ini menjelaskan modul source dan sink untuk pekerjaan ingesti data Flink Change Data Capture (CDC) serta mencantumkan konektor yang didukung.

Konfigurasi parameter konektor

Anda dapat mengonfigurasi parameter untuk konektor source dan sink dalam pekerjaan ingesti data Flink CDC. Konektor yang didukung beserta parameternya dijelaskan di bawah ini.

# Modul source
source:
  type: mysql # Atau pengidentifikasi konektor lainnya
  name: MySQL Source
  # Parameter lainnya. Gunakan pasangan kunci: nilai.

# Modul sink
sink:
  type: paimon # Atau pengidentifikasi konektor lainnya
  name: Paimon Sink
  # Parameter lainnya. Gunakan pasangan kunci: nilai.

Konektor yang didukung

Konektor	Jenis yang didukung
Konektor	Source	Sink
MySQL Catatan Terhubung ke ApsaraDB RDS for MySQL, PolarDB for MySQL, dan self-managed MySQL.	√	×
Streaming Lakehouse Paimon	×	√
Message Queue for Kafka	√ Catatan Memerlukan Ververica Runtime (VVR) 8.0.10 atau versi yang lebih baru.	√
Upsert Kafka	×	√
StarRocks	×	√
Hologres	×	√
Simple Log Service (SLS)	√ Catatan Memerlukan Ververica Runtime (VVR) 11.1 atau versi yang lebih baru.	×
MongoDB	√ Catatan Memerlukan Ververica Runtime (VVR) 11.2 atau versi yang lebih baru.	×
MaxCompute	×	√ Catatan Memerlukan Ververica Runtime (VVR) 11.1 atau versi yang lebih baru.
SelectDB	×	√ Catatan Memerlukan Ververica Runtime (VVR) 11.1 atau versi yang lebih baru.
Postgres CDC (pratinjau publik)	√ Catatan Memerlukan Ververica Runtime (VVR) 11.4 atau versi yang lebih baru.	×
Print	×	√

Gunakan kembali informasi koneksi dari Catalog yang sudah ada

Mulai dari Ververica Runtime (VVR) 11.5, Anda dapat menggunakan kembali informasi koneksi dari Catalog yang telah ada dalam pekerjaan ingesti data Flink CDC. Anda dapat mereferensikan Catalog bawaan yang dibuat pada halaman Data Management untuk secara otomatis mengambil properti koneksi, seperti URL, username, dan password. Hal ini mengurangi kebutuhan konfigurasi manual.

Sintaksis

source:
  type: mysql
  using.built-in-catalog: mysql_rds_catalog
  
sink:
  type: paimon
  using.built-in-catalog: paimon_dlf_catalog

Pada modul source dan sink, gunakan sintaksis using.built-in-catalog untuk mereferensikan Catalog bawaan Anda.

Sebagai contoh, pada kode di atas, metadata untuk Catalog mysql_rds_catalog telah mencakup parameter yang diperlukan seperti hostname, username, dan password. Anda tidak perlu menentukan parameter tersebut lagi dalam pekerjaan YAML.

Batasan

Konektor berikut mendukung penggunaan kembali informasi koneksi dari Catalog:

MySQL (source)
Kafka (source)
Upsert Kafka (sink)
StarRocks (sink)
Hologres (sink)
Paimon (sink)
SLS (source)

Catatan

Parameter Catalog yang tidak kompatibel dengan sintaksis CDC YAML tidak akan berlaku. Untuk informasi selengkapnya, lihat daftar parameter untuk setiap konektor.