Apache Flink CDC - Realtime Compute for Apache Flink - Alibaba Cloud Documentation Center

Topik ini menjelaskan cara menggunakan connector Apache Flink Change Data Capture (CDC) di Realtime Compute for Apache Flink dan cara mengganti namanya.

Penting

Connector Apache Flink CDC merupakan proyek komunitas open-source yang dilisensikan di bawah lisensi Apache 2.0. Dukungan layanan dan Service Level Agreement (SLA)-nya berbeda dari connector versi komersial yang disertakan dalam Realtime Compute for Apache Flink:

Jika Anda mengalami masalah seperti kegagalan konfigurasi, kegagalan pekerjaan, atau kehilangan data, Anda harus mencari solusinya di komunitas open-source. Tim Realtime Compute for Apache Flink tidak memberikan dukungan teknis untuk masalah yang terkait dengan connector Apache Flink CDC.
Anda bertanggung jawab atas SLA layanan apa pun yang menggunakan connector Apache Flink CDC.

CDC connector yang tersedia

CDC connector	Description
MySQL CDC PostgreSQL CDC (public preview) MongoDB CDC (public preview)	Realtime Compute for Apache Flink menyertakan versi komersial connector ini. Anda tidak perlu menginstal paket Apache Flink CDC open-source secara manual untuk connector tersebut.
OceanBase CDC Oracle CDC SQL Server CDC TiDB CDC Db2 CDC Vitess CDC	Untuk mempelajari cara menggunakan connector Apache Flink CDC yang didukung komunitas ini, lihat Use a community CDC connector. Catatan Saat Anda menggunakan connector Apache Flink CDC atau connector kustom, jika sudah ada connector bawaan Realtime Compute for Apache Flink atau connector kustom dengan nama yang sama, Anda harus mengubah nama connector default untuk menghindari konflik dengan connector bawaan. Untuk SQL Server CDC dan Db2 CDC, Anda harus mengubah nama connector komunitas default lalu membuat ulang paket connector tersebut. Misalnya, ganti nama `sqlserver-cdc` menjadi `sqlserver-cdc-test`. Untuk informasi selengkapnya, lihat Change the connector name.

Pemetaan versi antara CDC dan VVR

VVR version	CDC version
vvr-6.0.7-flink-1.15	release-2.4
vvr-8.0.11-flink-1.17 ~ vvr-11.3-jdk11-flink-1.20	release-3.4
vvr-11.4-jdk11-flink-1.20+	release-3.5

Use a community CDC connector

SQL job

Di halaman Apache Flink CDC, klik versi rilis komunitas target. Kami menyarankan Anda menggunakan versi stabil terbaru.

Catatan
Untuk menghindari masalah kompatibilitas, pilih versi rilis yang sesuai dengan versi VVR Anda. Untuk pemetaan versi, lihat Version mapping between CDC and VVR.
Di halaman connector CDC target, unduh paket JAR.

Di bagian SQL Client JAR, klik tautan unduh file JAR yang sesuai, misalnya flink-sql-connector-mongodb-cdc-3.0.0.jar.

Catatan
Anda juga dapat mengunduh file JAR yang sesuai dari Maven Central Repository.
Masuk ke Konsol Realtime Compute for Apache Flink.
Pada kolom Actions ruang kerja target, klik Console.
Di panel navigasi sebelah kiri, klik Connectors.
Di halaman Connectors, klik Create Custom Connector dan unggah file JAR yang telah diunduh.

Untuk informasi selengkapnya, lihat Manage custom connectors.
Saat menulis pekerjaan SQL, gunakan nama connector Apache Flink CDC sebagai nilai parameter connector.

Untuk informasi tentang parameter yang didukung oleh setiap connector, lihat dokumentasi Apache Flink CDC.

JAR job

Untuk menggunakan connector yang sesuai dalam pekerjaan JAR, Anda perlu mendeklarasikan dependensi berikut di file pom.xml.
```
<dependency>
  <groupId>com.ververica</groupId>
  <artifactId>flink-connector-${the-connector-name}-cdc</artifactId>
  <version>${the-community-connector-version}</version>
</dependency>
```
Maven Central Repository hanya berisi versi release, bukan versi snapshot. Untuk menggunakan versi snapshot, klon repositori GitHub dan kompilasi paket JAR.
Dalam kode Anda, import kelas implementasi connector yang sesuai, dan gunakan sesuai dengan petunjuk dokumentasi.
Penting
Perhatikan perbedaan antara artefak dengan artifact ID yang berbeda: flink-connector-xxx dan flink-sql-connector-xxx.
- flink-connector-xxx: Hanya berisi kode connector. Anda harus mendeklarasikan dependensi lainnya sendiri.
- flink-sql-connector-xxx: Menggabungkan semua dependensi ke dalam satu file JAR yang dapat langsung Anda gunakan.
Pilih artefak berdasarkan kebutuhan Anda. Misalnya, untuk membuat connector kustom di Konsol pengembangan Flink, gunakan flink-sql-connector-xxx.

Rename a connector

Bagian ini menunjukkan cara mengganti nama connector, dengan menggunakan connector SQL Server CDC komunitas sebagai contoh.

Klon repositori GitHub dan alihkan ke branch untuk versi yang ditentukan.

Ubah identifier kelas pabrik connector CDC SQL Server.

//com.ververica.cdc.connectors.sqlserver.table.SqlServerTableFactory
@Override
public String factoryIdentifier() {
    return "sqlserver-cdc-test";
}

Kompilasi dan buat paket submodule flink-sql-connector-sqlserver-cdc.
Di halaman Connectors, klik Create Custom Connector dan unggah file JAR yang telah dikemas.

Untuk informasi selengkapnya, lihat Manage custom connectors.
Saat menulis pekerjaan SQL mengikuti langkah-langkah di SQL job, berikan nama connector, connector, sebagai nilai parameter sqlserver-cdc-test.