Hologres:Replikasi binlog dengan Flink atau Blink

Perhatikan hal-hal berikut saat mengonsumsi log biner Hologres:

• Anda hanya dapat mengonsumsi log biner di Hologres V0.9 ke atas. Konfigurasi daftar putih engine hanya didukung mulai Hologres V1.3.21 karena versi sebelumnya tidak mendukung fitur ini. Jika Anda mengaktifkan daftar putih pada versi yang tidak didukung, konsumsi log biner akan gagal. Jika versi instans Anda lebih lama dari versi yang disyaratkan, bergabunglah dengan grup DingTalk Hologres untuk memberikan masukan. Untuk informasi selengkapnya, lihat Dukungan online.

• Hologres mendukung fitur binary logging di tingkat tabel baik untuk tabel berorientasi baris maupun tabel berorientasi kolom. Mulai dari Hologres V1.1, tabel penyimpanan hibrida baris-kolom juga didukung. Setelah Anda mengaktifkan binary logging, tabel berorientasi kolom memiliki overhead teoretis yang lebih tinggi dibandingkan tabel berorientasi baris. Oleh karena itu, untuk skenario yang melibatkan pembaruan data secara sering, kami menyarankan agar Anda mengaktifkan binary logging untuk tabel berorientasi baris.

• Untuk informasi selengkapnya tentang dukungan binary logging serta cara mengaktifkan dan mengonfigurasinya, lihat Berlangganan log biner Hologres.

• Hanya Realtime Compute for Apache Flink yang mendukung pengonsumsian log biner Hologres. Dalam mode Holohub, Flink hanya mendukung pengonsumsian tipe data simple dari log biner Hologres. Mulai dari Flink 6.0.3, Anda dapat mengonsumsi log biner Hologres dalam mode Java Database Connectivity (JDBC). Dibandingkan dengan mode Holohub, mode JDBC mendukung lebih banyak tipe data. Untuk informasi selengkapnya, lihat Pemetaan tipe data antara Blink/Flink dan Hologres. Mode ini juga memiliki persyaratan izin tambahan. Untuk informasi selengkapnya, lihat Izin.

• Anda tidak dapat mengonsumsi log biner dari tabel partisi induk.

• Hologres V2.0 ke atas menyediakan dukungan terbatas untuk mode Holohub. Mulai dari Hologres V2.1, mode Holohub telah ditinggalkan dan sepenuhnya digantikan oleh mode JDBC. Sebelum melakukan peningkatan versi Hologres Anda, periksa tugas Flink yang menggunakan mode Holohub, lakukan upgrade versi pekerjaan Flink Ververica Runtime (VVR), lalu lakukan peningkatan instans Hologres. Untuk informasi selengkapnya, lihat Beralih dari mode Holohub ke mode JDBC.

Dalam mode ini, data log biner yang dikonsumsi oleh sumber diteruskan ke node turunan sebagai data Flink biasa. Semua data bertipe Insert. Anda dapat memilih cara memproses data berdasarkan tipe tertentu hg_binlog_event_type sesuai kebutuhan bisnis Anda. Setelah Anda mengaktifkan binary logging untuk tabel Hologres, gunakan DDL berikut untuk tabel sumber (mode non-CDC) di Flink guna mengonsumsi log biner secara real-time.

create table test_message_src_binlog_table(
  hg_binlog_lsn BIGINT,
  hg_binlog_event_type BIGINT,
  hg_binlog_timestamp_us BIGINT,
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',
  'tablename'='<yourTablename>',
  'username'='<yourAccessID>',
  'password'='<yourAccessSecret>',
  'endpoint'='<yourEndpoint>',
  'binlog' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);

• Tiga parameter binlogxxx merupakan bidang sistem log biner. Nama dan tipenya bersifat tetap dan tidak dapat diubah.

• Bidang lainnya bersesuaian dengan bidang pengguna dan harus ditulis dalam huruf kecil.

Dalam mode ini, tipe Flink RowKind yang akurat—seperti INSERT, DELETE, UPDATE_BEFORE, atau UPDATE_AFTER—secara otomatis ditetapkan untuk setiap baris data log biner berdasarkan hg_binlog_event_type. Hal ini memungkinkan Anda mencerminkan data tabel, yang mirip dengan fitur change data capture (CDC) pada MySQL dan PostgreSQL.

Setelah Anda mengaktifkan binary logging untuk tabel Hologres, gunakan DDL berikut untuk tabel sumber (mode CDC) di Flink guna mengonsumsi log biner secara real-time.

create table test_message_src_binlog_table(
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',// Nama database Hologres.
  'tablename'='<yourTablename>',// Nama tabel Hologres.
  'username'='<yourAccessID>',// ID AccessKey akun Anda.
  'password'='<yourAccessSecret>',// Rahasia AccessKey akun Anda.
  'endpoint'='<yourEndpoint>',// Titik akhir VPC instans Hologres Anda.
  'binlog' = 'true',
  'cdcMode' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);