Hologres:Menyiapkan replikasi binlog untuk Hologres

Perhatikan batasan berikut saat Anda berlangganan binlog Hologres:

• Berlangganan binlog Hologres hanya didukung di Hologres V0.9 dan versi yang lebih baru. Jika versi instans Anda lebih lama dari V0.9, bergabunglah dengan grup DingTalk dukungan online. Untuk informasi selengkapnya, lihat Bagaimana cara mendapatkan dukungan online lebih lanjut?.

• Di Hologres V0.9 dan V0.10, Anda tidak dapat mengaktifkan binlog untuk tabel yang sudah ada dengan memodifikasi properti tabel. Sebagai gantinya, Anda harus membuat ulang tabel tersebut. Di Hologres V1.1 dan versi yang lebih baru, Anda dapat mengaktifkan binlog sesuai kebutuhan.

• Pada versi sebelum Hologres V1.3.14 dan V1.1.82, hanya superuser yang dapat mengonsumsi binlog. Jika Anda mencoba menggunakan akun dengan izin yang lebih rendah untuk mengonsumsi binlog, akan muncul error izin: permission denied for table hg_replication_slot_properties. Di Hologres V1.3.14, V1.1.82, dan versi yang lebih baru, akun hanya memerlukan izin untuk melakukan kueri terhadap tabel jika Anda menggunakan Flink untuk mengonsumsi binlog. Untuk mengonsumsi binlog Hologres menggunakan Java Database Connectivity (JDBC), akun tersebut harus memiliki Replication Role.

• Hologres mendukung fitur binlog pada tingkat tabel baik untuk tabel berorientasi baris maupun tabel berorientasi kolom. Tabel berikut menjelaskan dukungan untuk berlangganan binlog Hologres.

  Klasifikasi Flink	Binlog tabel berorientasi baris Hologres	Binlog tabel berorientasi kolom Hologres	Binlog tabel hibrida baris-kolom Hologres (didukung sejak Hologres V1.1)
  Realtime Compute (Blink)	Didukung	Didukung	Didukung
  Fully managed Flink	Didukung	Didukung	Didukung
  Open source Flink	Tidak didukung	Tidak didukung	Tidak didukung
  JDBC	Didukung sejak Hologres V1.1	Didukung sejak Hologres V1.1	Didukung sejak Hologres V1.1

• Saat Anda menggunakan Blink untuk mengonsumsi binlog Hologres, tipe data TIMESTAMP tidak didukung. Anda harus menggunakan tipe data TIMESTAMPTZ saat membuat tabel di Hologres. Tipe data lain, seperti SMALLINT, juga tidak didukung.

• Anda tidak dapat mengonsumsi binlog dari tabel induk dari tabel partisi. Anda harus menggunakan tabel anak atau tabel standar (non-partisi). Di Hologres V1.3.24 dan versi yang lebih baru, Anda dapat memodifikasi TTL binlog untuk tabel anak dari tabel partisi sesuai kebutuhan. Jika Anda tidak secara eksplisit menentukan TTL binlog untuk tabel anak, tabel tersebut akan mewarisi TTL binlog dari tabel induk. Perhatikan bahwa TTL binlog bukanlah nilai yang presisi. Sistem tidak menjamin bahwa binlog akan langsung dihapus setelah masa berlakunya habis. Binlog tersebut akan dihapus pada suatu waktu setelah masa berlakunya berakhir.

• Untuk skenario yang melibatkan pembaruan yang sering, secara teoretis mengaktifkan binlog untuk tabel berorientasi kolom memiliki overhead yang lebih besar dibandingkan tabel berorientasi baris. Kami menyarankan Anda menggunakan tabel berorientasi baris dengan binlog yang diaktifkan. Jika tabel tersebut juga digunakan untuk kueri online analytical processing (OLAP), kami menyarankan Anda menggunakan format penyimpanan hibrida baris-kolom. Untuk informasi selengkapnya, lihat Format penyimpanan tabel.

• Hanya tabel internal Hologres yang mendukung binlog. Tabel asing tidak didukung.

Sebuah catatan binlog terdiri dari field sistem binlog dan field tabel pengguna, yang dijelaskan dalam tabel di bawah ini.

Di Hologres, fitur binlog dinonaktifkan secara default. Anda dapat mengaktifkannya dengan mengatur properti tabel binlog.level dan binlog.ttl. Contoh berikut menunjukkan cara mengaktifkan binlog. Untuk informasi lebih lanjut tentang parameter yang digunakan untuk membuat tabel, lihat CREATE TABLE.

• Sintaks yang didukung di V2.1 dan versi yang lebih baru:

  Nama properti tabel binlog.level dan binlog.ttl diperbarui menjadi binlog_level dan binlog_ttl.

  CREATE TABLE test_message_src (
      id int PRIMARY KEY,
      title text NOT NULL,
      body text
  )
  WITH (
      orientation = 'row',
      clustering_key = 'id',
      binlog_level = 'replica',
      binlog_ttl = '86400' -- TTL untuk log biner, dalam detik.
  );

• Sintaks yang didukung oleh semua versi:

  begin;
  create table test_message_src(
    id int primary key, 
    title text not null, 
    body text);
  call set_table_property('test_message_src', 'orientation', 'row');-- Membuat tabel berorientasi baris test_message_src.
  call set_table_property('test_message_src', 'clustering_key', 'id');-- Membuat indeks terkluster pada kolom id.
  call set_table_property('test_message_src', 'binlog.level', 'replica');-- Mengatur properti tabel untuk mengaktifkan fitur binlog.
  call set_table_property('test_message_src', 'binlog.ttl', '86400');-- TTL untuk log biner, dalam detik.
  commit;

Tabel berikut menjelaskan parameter-parameter tersebut.

Di Hologres V1.1 dan versi yang lebih baru, Anda dapat mengaktifkan atau menonaktifkan fitur binlog sesuai kebutuhan bisnis Anda. Anda juga dapat mengonfigurasi TTL untuk memenuhi persyaratan periode retensi berbagai skenario bisnis. Anda dapat mengaktifkan binlog untuk tabel yang sudah ada tanpa perlu membuat ulang, yang merupakan proses cepat dan nyaman.

Data binlog tabel Hologres menggunakan format skema yang kuat. Untuk melakukan kueri terhadap binlog pada tabel tertentu, Anda dapat menggabungkan field binlog bawaan dengan field tabel asli. Hologres juga menyediakan fungsi untuk melakukan kueri terhadap binlog terbaru atau paling awal, atau melakukan kueri informasi binlog menggunakan LSN dan timestamp yang diketahui.

Lakukan kueri langsung terhadap binlog menggunakan field khusus bawaan

Anda dapat melakukan kueri terhadap binlog dengan menggabungkan field binlog bawaan dengan field tabel asli. Kode berikut memberikan contohnya.

SELECT hg_binlog_lsn,hg_binlog_event_type,hg_binlog_timestamp_us,* FROM test_message_src;

Gambar berikut menunjukkan contoh hasil kueri.

Lakukan kueri terhadap binlog paling awal atau terbaru pada shard tertentu dari sebuah tabel

Anda dapat menggunakan fungsi hg_get_binlog_cursor untuk melakukan kueri terhadap binlog. Sintaksnya sebagai berikut.

-- OLDEST: Binlog paling awal pada shard ini.
SELECT * FROM hg_get_binlog_cursor('<table_name>','OLDEST',<shard_id>);

-- LATEST: Binlog terbaru pada shard ini.
SELECT * FROM hg_get_binlog_cursor('<table_name>','LATEST',<shard_id>);

Kode berikut memberikan contohnya.

SELECT * FROM hg_get_binlog_cursor('test_message_src','OLDEST',0);

Gambar berikut menunjukkan contoh hasil kueri.

Lakukan kueri terhadap timestamp binlog berdasarkan LSN-nya

Gunakan fungsi hg_get_binlog_cursor_by_lsn untuk melakukan kueri terhadap timestamp binlog. Fungsi ini mengembalikan informasi tentang binlog pertama yang nomor urutan log (LSN)-nya lebih besar dari atau sama dengan LSN yang ditentukan. Jika LSN yang ditentukan tidak ada, field hg_binlog_timestamp_us dalam hasilnya adalah waktu saat ini. Sintaksnya sebagai berikut.

SELECT * FROM hg_get_binlog_cursor_by_lsn('<table_name>',<lsn>,<shard_id>);--Nilai LSN (tipe bigint)

Berikut ini contohnya.

SELECT * FROM hg_get_binlog_cursor_by_lsn('test_message_src',152,0);

Berikut ini menunjukkan contoh hasil kueri.

Lakukan kueri terhadap LSN binlog berdasarkan timestamp-nya

Anda dapat menggunakan fungsi hg_get_binlog_cursor_by_timestamp untuk melakukan kueri terhadap Log Sequence Number (LSN) binlog. Fungsi ini mengembalikan informasi tentang binlog pertama yang timestamp-nya lebih besar dari atau sama dengan waktu yang ditentukan. Jika waktu yang ditentukan lebih baru daripada timestamp entri binlog terbaru, field hg_binlog_timestamp_us dalam hasilnya berisi waktu saat ini, dan field hg_binlog_lsn berisi LSN yang akan diberikan pada penyisipan data berikutnya. Sintaksnya sebagai berikut.

SELECT * FROM hg_get_binlog_cursor_by_timestamp('<table_name>',<timestamp>,<shard_id>);

Contohnya:

SELECT *,to_timestamp(hg_binlog_timestamp_us/1000000.0) FROM hg_get_binlog_cursor_by_timestamp('test_message_src','2024-05-20 19:34:53.791+08',0);

Berikut ini menunjukkan contoh hasil kueri.

Anda dapat mengonsumsi binlog Hologres menggunakan Flink, Blink, dan JDBC (termasuk Holo Client). Untuk informasi selengkapnya, lihat topik-topik berikut:

• Untuk mengonsumsi binlog secara real-time menggunakan Flink dan Blink, lihat Mengonsumsi binlog Hologres secara real-time menggunakan Flink atau Blink.

• Untuk mengonsumsi binlog secara real-time menggunakan JDBC, lihat Mengonsumsi binlog Hologres menggunakan JDBC.

Anda dapat menggunakan pernyataan SQL berikut untuk melihat tabel-tabel yang telah diaktifkan binlog-nya.

SELECT
    *
FROM
    hologres.hg_table_properties
WHERE
    property_key = 'binlog.level'
    AND property_value = 'replica';

Gambar berikut menunjukkan contoh hasilnya.