Struktur draf Pekerjaan Flink CDC - Realtime Compute for Apache Flink

Dokumen ini menjelaskan struktur dasar dan opsi konfigurasi utama dari pekerjaan ingesti data Flink CDC.

Contoh

Draf pekerjaan ingesti data yang khas mencakup modul-modul berikut:

Sebagai contoh, YAML berikut menunjukkan pekerjaan yang mengambil data dari MySQL ke Paimon.

# Modul sumber MySQL
source:
  type: mysql
  name: Sumber MySQL
  host: localhost
  port: 3306
  username: admin
  password: <kataSandiAnda>
  tables: adb.*, bdb.user_table_[0-9]+, [app|web]_order_.*, mydb.\\.*

# Modul sink Paimon
sink:
  type: paimon
  name: Sink Paimon
  catalog.properties.metastore: filesystem
  catalog.properties.warehouse: /path/warehouse

# Modul Transform
transform:
  - source-table: mydb.app_order_.*
    projection: id, order_id, TO_UPPER(product_name)
    filter: id > 10 AND order_id > 100
    primary-keys: id
    partition-keys: product_name
    table-options: comment=pesanan aplikasi
    description: memproyeksikan bidang dari tabel sumber
    converter-after-transform: SOFT_DELETE
  - source-table: mydb.web_order_.*
    projection: CONCAT(id, order_id) as uniq_id, *
    filter: uniq_id > 10
    description: tambahkan uniq_id baru untuk setiap baris

# Modul Route
route:
  - source-table: mydb.default.app_order_.*
    sink-table: odsdb.default.app_order
    description: menyinkronkan semua shard tabel menjadi satu
  - source-table: mydb.default.web_order
    sink-table: odsdb.default.ods_web_order
    description: menyinkronkan tabel dengan awalan ods_

# Modul Pipeline
pipeline:
  name: pipa-penyinkronan-database-sumber
  schema.change.behavior: evolve

Sumber modul

Modul Source mengonfigurasi sumber data untuk pekerjaan ini. Modul ini mendukung konektor seperti Kafka, MySQL, MongoDB, dan Simple Log Service (SLS).

Sintaks

source:
  type: mysql
  name: sumber mysql
  xxx: ...

Untuk opsi konfigurasi spesifik untuk setiap konektor, lihat dokumentasinya.

Sink module

Modul Sink mengonfigurasi tujuan data untuk pekerjaan ini. Modul ini mendukung konektor seperti Kafka, Upsert Kafka, Hologres, Paimon, StarRocks, MaxCompute, dan Print.

Sintaks

sink:
  type: hologres
  name: sink hologres
  xxx: ...

Untuk opsi konfigurasi spesifik untuk setiap konektor, lihat dokumentasinya.

Modul Transform

Modul Transform memungkinkan Anda mendefinisikan aturan untuk memproyeksikan, menghitung, dan menyaring data sumber.

Sintaks

transform:
  - source-table: db.tbl1
    projection: ...
    filter: ...
  - source-table: db.tbl2
    projection: ...
    filter: ...

Untuk detailnya, lihat Transform.

Modul Route

Modul Route memungkinkan Anda mendefinisikan aturan untuk menggabungkan atau menyiarkan data dari tabel hulu.

Sintaks

route:
  - source-table: db.tbl1
    sink-table: sinkdb.tbl1
  - source-table: db.tbl2
    sink-table: sinkdb.tbl2

Untuk detailnya, lihat Modul Route Flink CDC.

Modul Pipeline

Modul Pipeline digunakan untuk mengonfigurasi parameter pekerjaan global.

Sintaks

pipeline:
  name: Pekerjaan YAML CDC
  schema.change.behavior: LENIENT

Untuk opsi konfigurasi, lihat Pipeline.