Konektor CDC untuk Apache Flink - Realtime Compute for Apache Flink

Topik ini menjelaskan cara menggunakan Konektor Change Data Capture (CDC) untuk Apache Flink di Alibaba Cloud Realtime Compute for Apache Flink dan cara mengubah nama konektor.

Penting

Konektor CDC untuk Apache Flink adalah konektor open source yang sesuai dengan protokol Apache Flink 2.0. Layanan yang didukung oleh Konektor CDC untuk Apache Flink dan Service Level Agreement (SLA)-nya berbeda dari Konektor CDC yang dirilis secara komersial oleh Alibaba Cloud Realtime Compute for Apache Flink.

Jika Anda mengalami masalah seperti kegagalan konfigurasi, kegagalan penyebaran, atau kehilangan data saat menggunakan Konektor CDC untuk Apache Flink, Anda harus mencari metode pemecahan masalah terkait di komunitas open source. Alibaba Cloud Realtime Compute for Apache Flink tidak menyediakan dukungan teknis untuk Konektor CDC untuk Apache Flink.
Anda harus menjamin SLA dari Konektor CDC untuk Apache Flink sendiri.

Konektor CDC yang tersedia

CDC Connector	Deskripsi
MySQL CDC PostgreSQL CDC connector (pratinjau publik) MongoDB CDC connector (pratinjau publik)	Konektor CDC ini disediakan di Realtime Compute for Apache Flink. Anda tidak perlu menggunakan Konektor CDC untuk Apache Flink.
OceanBase CDC Oracle CDC SQL Server CDC TiDB CDC Db2 CDC Vitess CDC	Konektor CDC ini tidak tersedia untuk penggunaan komersial. Untuk informasi lebih lanjut tentang cara menggunakan konektor ini, lihat Gunakan Konektor CDC Apache Flink. Catatan Jika nama default dari Konektor CDC untuk Apache Flink atau konektor kustom baru sama dengan nama konektor bawaan atau konektor kustom yang sudah ada di Realtime Compute for Apache Flink, ubah nama konektor default untuk mencegah konflik nama. Untuk SQL Server CDC connector dan Db2 CDC connector, Anda harus mengubah nama konektor default di komunitas dan memaket ulang konektor tersebut. Sebagai contoh, Anda dapat mengubah sqlserver-cdc menjadi sqlserver-cdc-test. Untuk informasi lebih lanjut, lihat Ubah nama konektor.

Pemetaan versi antara Konektor CDC untuk Apache Flink dan VVR

Versi VVR	Versi rilis Konektor CDC untuk Apache Flink
vvr-4.0.0-flink-1.13 hingga vvr-4.0.6-flink-1.13	release-1.4
vvr-4.0.7-flink-1.13 hingga vvr-4.0.9-flink-1.13	release-2.0
vvr-4.0.10-flink-1.13 hingga vvr-4.0.12-flink-1.13	release-2.1
vvr-4.0.13-flink-1.13 hingga vvr-4.0.14-flink-1.13	release-2.2
vvr-4.0.15-flink-1.13 hingga vvr-6.0.2-flink-1.15	release-2.3
vvr-6.0.2-flink-1.15 hingga vvr-8.0.5-flink-1.17	release-2.4
vvr-8.0.1-flink-1.17 hingga vvr-8.0.7-flink-1.17	release-3.0
vvr-8.0.11-flink-1.17 hingga vvr-11.1-jdk11-flink-1.20	release-3.4

Gunakan Konektor CDC Apache Flink

Penyebaran SQL

Di halaman Konektor CDC Apache Flink, pilih versi rilis yang diinginkan dari Konektor CDC untuk Apache Flink.
Catatan
- Kami merekomendasikan Anda menggunakan versi stabil terbaru.
- Untuk mencegah masalah kompatibilitas, pilih versi rilis CDC yang sesuai dengan versi Ververica Runtime (VVR) yang Anda gunakan. Untuk informasi tentang pemetaan versi, lihat Pemetaan Versi antara Konektor CDC untuk Apache Flink dan VVR.
Di daftar isi di sebelah kiri, klik Connectors dan pilih konektor CDC yang diinginkan. Di halaman yang muncul, di bagian SQL Client JAR, klik tautan untuk mengunduh file JAR konektor CDC.
Catatan
Anda juga dapat pergi ke repositori Maven untuk mengunduh file JAR konektor CDC yang diinginkan.
Masuk ke konsol manajemen Realtime Compute for Apache Flink.
Klik Console di kolom Actions dari ruang kerja Anda.
Konsol pengembangan akan terbuka.
Di panel navigasi di sebelah kiri, klik Connectors.
Di halaman Connectors, klik Create Custom Connector.
Di dialog, unggah file JAR yang diunduh pada Langkah 2.
Untuk informasi lebih lanjut, lihat Kelola konektor kustom.
Kembangkan pekerjaan dalam SQL dan atur opsi connector ke nama Konektor CDC Apache Flink.
Untuk informasi tentang opsi yang didukung oleh setiap konektor, lihat Konektor CDC untuk Apache Flink.

Penyebaran JAR

Jika Anda ingin menggunakan konektor CDC untuk Apache Flink dalam penyebaran JAR, Anda harus mendeklarasikan dependensi berikut dalam file pom.xml:
```
<dependency>
  <groupId>com.ververica</groupId>
  <artifactId>flink-connector-${Nama konektor yang diinginkan}-cdc</artifactId>
  <version>${Versi konektor untuk Apache Flink}</version>
</dependency>
```
Repositori Maven hanya berisi versi rilis dan tidak berisi versi snapshot. Jika Anda ingin menggunakan versi snapshot, Anda dapat mengkloning Repositori GitHub dan mengompilasi file JAR dari versi snapshot.
Gunakan kata kunci import untuk mengimpor kelas implementasi terkait dalam kode dan gunakan kelas tersebut berdasarkan deskripsi dalam dokumentasi.
Penting
Perhatikan perbedaan antara flink-connector-xxx dan flink-sql-connector-xxx untuk artefak dengan ID berbeda.
- flink-connector-xxx: hanya berisi kode konektor. Jika Anda ingin menggunakan dependensi konektor, Anda harus mendeklarasikan dependensi dalam kode.
- flink-sql-connector-xxx: mengemas semua dependensi ke dalam satu file JAR untuk digunakan langsung.
Pilih kelas implementasi konektor berdasarkan kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menggunakan flink-sql-connector-xxx saat membuat konektor kustom di konsol pengembangan Realtime Compute for Apache Flink.

Ubah nama konektor

Bab ini menjelaskan cara mengubah nama Konektor SQL Server CDC untuk Apache Flink.

Kloning Repositori GitHub dan beralih ke cabang yang sesuai dengan versi yang ingin Anda gunakan.

Ubah pengenal dari kelas pabrik Konektor SQL Server CDC.

//com.ververica.cdc.connectors.sqlserver.table.SqlServerTableFactory
@Override
public String factoryIdentifier() {
    return "sqlserver-cdc-test";
}

Kompilasi dan paketkan submodul flink-sql-connector-sqlserver-cdc.
Di panel navigasi sisi kiri konsol pengembangan Realtime Compute for Apache Flink, klik Connectors. Di halaman Connectors, klik Create Custom Connector. Di kotak dialog Buat konektor kustom, unggah file JAR yang dikemas di Langkah 3.
Untuk informasi lebih lanjut, lihat Kelola konektor kustom.
Saat Anda menulis draf SQL berdasarkan prosedur di Penyebaran SQL, atur parameter connector ke nama konektor sqlserver-cdc-test.