Hologres：Gunakan Realtime Compute for Apache Flink atau Blink untuk mengonsumsi data log binari Hologres secara real-time

Perhatikan hal berikut sebelum mengonsumsi log biner Hologres:

• Hologres V0.9 dan versi lebih tinggi memungkinkan Anda mengonsumsi log biner. Hologres V1.3.21 dan versi lebih tinggi mendukung konfigurasi daftar putih mesin. Jika Anda mengonfigurasi daftar putih mesin pada instance dengan versi lebih lama dari V1.3.21, log biner instance tersebut tidak dapat dikonsumsi. Jika versi instance Hologres Anda lebih lama dari V1.3.21, Anda dapat bergabung dengan grup DingTalk Hologres untuk mendapatkan dukungan teknis. Untuk informasi lebih lanjut, lihat Dapatkan Dukungan Online untuk Hologres.

• Hologres memungkinkan Anda mengonsumsi log biner pada level tabel. Baik tabel berorientasi baris maupun kolom didukung. Jika versi instance Hologres Anda adalah V1.1 atau lebih tinggi, Anda juga dapat mengonsumsi log biner tabel yang menggunakan mode penyimpanan hibrid baris-kolom. Setelah mengaktifkan fitur pencatatan biner, tabel berorientasi kolom memiliki overhead yang lebih besar dibandingkan tabel berorientasi baris secara teori. Oleh karena itu, kami menyarankan Anda mengaktifkan fitur pencatatan biner untuk tabel berorientasi baris jika data sering diperbarui.

• Untuk informasi lebih lanjut tentang dukungan fitur pencatatan biner serta cara mengaktifkan dan mengonfigurasinya, lihat Berlangganan Log Biner Hologres.

• Hanya Alibaba Cloud Realtime Compute for Apache Flink yang memungkinkan Anda mengonsumsi log biner Hologres. Jika Anda menggunakan Realtime Compute for Apache Flink untuk mengonsumsi log biner Hologres dalam mode HoloHub, hanya tipe data sederhana yang didukung. Pada Realtime Compute for Apache Flink yang menggunakan Ververica Runtime (VVR) 6.0.3 dan versi lebih tinggi, log biner Hologres dapat dikonsumsi dalam mode Java Database Connectivity (JDBC). Dibandingkan dengan mode HoloHub, mode JDBC mendukung lebih banyak tipe data. Untuk informasi lebih lanjut tentang pemetaan tipe data, lihat bagian "Pemetaan Tipe Data antara Realtime Compute for Apache Flink atau Blink dan Hologres" di Tipe Data. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk mode JDBC dan mode HoloHub, lihat Izin dalam topik ini.

• Anda tidak dapat mengonsumsi log biner tabel partisi induk.

• Pada Hologres V2.0 dan versi minor setelah V2.0, mode HoloHub didukung ketika kondisi tertentu terpenuhi. Pada Hologres V2.1 dan versi lebih tinggi, mode HoloHub tidak lagi didukung. Hanya mode JDBC yang didukung. Sebelum meningkatkan instance Hologres Anda, periksa penyebaran Realtime Compute for Apache Flink yang menggunakan mode HoloHub dan tingkatkan versi VVR dari penyebaran tersebut. Untuk informasi lebih lanjut, lihat Ubah Mode HoloHub ke Mode JDBC dalam topik ini.

Dalam mode ini, log biner yang dikonsumsi dalam tabel sumber ditransfer ke node hilir sebagai data reguler Realtime Compute for Apache Flink. Jenis perubahan semua data adalah INSERT. Anda dapat memproses data jenis yang ditentukan oleh bidang hg_binlog_event_type sesuai kebutuhan bisnis Anda. Setelah fitur pencatatan biner diaktifkan untuk tabel Hologres, Anda dapat mengeksekusi pernyataan DDL berikut untuk membuat tabel sumber guna mengonsumsi log biner dalam mode non-change data capture (CDC) di Realtime Compute for Apache Flink:

create table test_message_src_binlog_table(
  hg_binlog_lsn BIGINT,
  hg_binlog_event_type BIGINT,
  hg_binlog_timestamp_us BIGINT,
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',
  'tablename'='<yourTablename>',
  'username'='<yourAccessID>',
  'password'='<yourAccessSecret>',
  'endpoint'='<yourEndpoint>',
  'binlog' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);

• Tiga bidang yang diawali dengan binlog adalah bidang sistem. Anda tidak dapat mengubah nama atau tipe data dari bidang-bidang ini.

• Bidang lainnya sesuai dengan bidang pengguna dan harus semuanya huruf kecil.

Dalam mode ini, setiap baris data log biner yang dikonsumsi dalam tabel sumber secara otomatis diberikan tipe Flink RowKind yang akurat, seperti INSERT, DELETE, UPDATE_BEFORE, atau UPDATE_AFTER, berdasarkan tipe yang ditentukan oleh bidang hg_binlog_event_type. Dengan cara ini, log biner dapat dicerminkan ke tabel sumber. Ini mirip dengan fitur CDC di MySQL dan PostgreSQL.

Setelah fitur pencatatan biner diaktifkan untuk tabel Hologres, Anda dapat mengeksekusi pernyataan DDL berikut untuk mengonsumsi log biner dalam tabel sumber CDC secara real-time di Realtime Compute for Apache Flink:

create table test_message_src_binlog_table(
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>', // Nama database Hologres.
  'tablename'='<yourTablename>',// Nama tabel Hologres.
  'username'='<yourAccessID>',// ID AccessKey akun saat ini.
  'password'='<yourAccessSecret>',// Rahasia AccessKey akun saat ini.
  'endpoint'='<yourEndpoint>',// Titik akhir VPC instance Hologres Anda.
  'binlog' = 'true',
  'cdcMode' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);