Hologres:Berlangganan binlog Hologres

Perhatikan batasan berikut saat Anda berlangganan binlog Hologres:

• Hanya Hologres V0.9 atau yang lebih baru yang mendukung langganan binlog. Jika instans Anda menggunakan versi sebelumnya, bergabunglah dengan grup DingTalk dukungan online. Untuk detailnya, lihat Bagaimana cara mendapatkan dukungan online tambahan?.

• Pada Hologres V0.9 dan V0.10, Anda tidak dapat mengaktifkan binlog untuk tabel yang sudah ada dengan mengubah propertinya. Anda harus membuat ulang tabel tersebut. Mulai dari V1.1, Anda dapat mengaktifkan binlog sesuai kebutuhan.

• Sebelum Hologres V1.3.14 dan V1.1.82, hanya Superuser yang dapat mengonsumsi binlog. Menggunakan akun dengan hak istimewa yang lebih rendah akan menghasilkan error permission denied for table hg_replication_slot_properties. Mulai dari V1.3.14 dan V1.1.82, akun hanya memerlukan izin SELECT pada tabel untuk mengonsumsi binlog dengan Flink. Untuk mengonsumsi binlog dengan JDBC, akun harus berada dalam Replication Role.

• Hologres mendukung binlog tingkat tabel baik untuk tabel berorientasi baris maupun tabel berorientasi kolom. Tabel berikut mencantumkan metode konsumsi yang didukung.

  Kategori Flink	Tabel berorientasi baris	Tabel berorientasi kolom	Tabel hibrida baris-kolom (Didukung mulai V1.1)
  Blink	Didukung	Didukung	Didukung
  Realtime Compute for Apache Flink	Didukung	Didukung	Didukung
  Apache Flink	Tidak didukung	Tidak didukung	Tidak didukung
  JDBC	Didukung di V1.1 dan yang lebih baru	Didukung di V1.1 dan yang lebih baru	Didukung di V1.1 dan yang lebih baru

• Blink tidak mendukung tipe data TIMESTAMP saat mengonsumsi binlog Hologres. Gunakan tipe TIMESTAMPTZ saat membuat tabel di Hologres. Tipe khusus lain seperti SMALLINT juga tidak didukung.

• Anda tidak dapat mengonsumsi binlog dari tabel induk tabel partisi. Gunakan tabel anak atau tabel reguler (non-partisi). Mulai dari Hologres V1.3.24, Anda dapat memodifikasi TTL binlog tabel anak sesuai kebutuhan. Jika Anda tidak secara eksplisit menentukan TTL binlog untuk tabel anak, tabel tersebut mewarisi TTL dari tabel induknya. Perhatikan bahwa TTL binlog bukanlah pengatur waktu yang presisi. Sistem tidak menjamin bahwa binlog langsung dihapus setelah kedaluwarsa. Sistem menghapus binlog beberapa saat setelah kedaluwarsa.

• Untuk beban kerja berat tulis, mengaktifkan binlog pada tabel berorientasi kolom secara teoretis menimbulkan overhead lebih besar dibandingkan pada tabel berorientasi baris. Oleh karena itu, gunakan tabel berorientasi baris saat Anda mengaktifkan binlog. Jika tabel tersebut juga digunakan untuk kueri OLAP, gunakan format penyimpanan hibrida baris-kolom. Untuk informasi lebih lanjut, lihat Format penyimpanan tabel.

• Hanya tabel internal Hologres yang mendukung binlog. Tabel eksternal tidak didukung.

Sebuah catatan binlog berisi field sistem dan kolom tabel pengguna. Tabel berikut menjelaskan field-field tersebut.

Nama field	Tipe	Deskripsi
hg_binlog_lsn	BIGINT	Field sistem binlog yang merepresentasikan nomor urutan log (LSN). Nilainya meningkat secara monoton tetapi tidak dijamin kontinu dalam satu shard. Nilai tersebut tidak dijamin unik atau terurut antar shard. Catatan Untuk informasi lebih lanjut tentang bagaimana data binlog didistribusikan di seluruh shard, lihat Distribution key.
hg_binlog_event_type	BIGINT	Field sistem binlog yang menunjukkan jenis event perubahan. Nilai valid untuk hg_binlog_event_type adalah: 5 (INSERT): Catatan binlog untuk penyisipan baris baru. 2 (DELETE): Catatan binlog untuk penghapusan baris yang ada. 3 (BEFORE_UPDATE): Catatan binlog untuk status baris yang ada sebelum pembaruan. 7 (AFTER_UPDATE): Catatan binlog untuk status baris yang ada setelah pembaruan.
hg_binlog_timestamp_us	BIGINT	Field sistem binlog yang merepresentasikan timestamp sistem dalam mikrodetik (us).
user_table_column_1	User-defined	Kolom tabel pengguna.
...	...	...
user_table_column_n	User-defined	Kolom tabel pengguna.

Secara default, fitur binlog dinonaktifkan di Hologres. Anda dapat mengaktifkannya dengan mengatur properti tabel binlog.level dan binlog.ttl. Contoh berikut menunjukkan cara mengaktifkan binlog. Untuk informasi lebih lanjut tentang parameter pembuatan tabel, lihat CREATE TABLE.

• Sintaksis untuk V2.1 dan yang lebih baru:

  Nama properti tabel binlog.level dan binlog.ttl diperbarui menjadi binlog_level dan binlog_ttl.

  CREATE TABLE test_message_src (
      id int PRIMARY KEY,
      title text NOT NULL,
      body text
  )
  WITH (
      orientation = 'row',
      clustering_key = 'id',
      binlog_level = 'replica',
      binlog_ttl = '86400' -- TTL binlog, dalam detik.
  );

• Sintaksis yang didukung di semua versi:

  begin;
  create table test_message_src(
    id int primary key, 
    title text not null, 
    body text);
  call set_table_property('test_message_src', 'orientation', 'row');--Buat tabel berorientasi baris bernama test_message_src.
  call set_table_property('test_message_src', 'clustering_key', 'id');--Buat indeks terkluster pada kolom id.
  call set_table_property('test_message_src', 'binlog.level', 'replica');--Atur properti tabel untuk mengaktifkan fitur binlog.
  call set_table_property('test_message_src', 'binlog.ttl', '86400');--TTL binlog, dalam detik.
  commit;

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Deskripsi
binlog_level atau binlog.level	Menentukan apakah binlog diaktifkan. Nilai valid: replica: diaktifkan. none: dinonaktifkan.
binlog_ttl atau binlog.ttl	TTL untuk binlog, dalam detik. Nilai default: 2592000 (30 hari).

Mulai dari Hologres V1.1, Anda dapat mengaktifkan atau menonaktifkan binlog. Anda juga dapat mengonfigurasi TTL untuk memenuhi kebutuhan retensi yang berbeda. Anda dapat mengaktifkan binlog untuk tabel yang sudah ada tanpa harus membuat ulang.

Data binlog Hologres bersifat strongly typed. Untuk mengkueri binlog dari tabel tertentu, Anda dapat menggabungkan field sistem binlog bawaan dengan kolom tabel asli. Hologres juga menyediakan fungsi untuk mengkueri binlog paling awal atau paling akhir, atau untuk mengkueri informasi binlog berdasarkan LSN atau timestamp yang diketahui.

Mengkueri berdasarkan field bawaan

Gunakan pernyataan berikut untuk mengkueri binlog dengan menggabungkan field binlog bawaan dan field tabel asli.

SELECT hg_binlog_lsn,hg_binlog_event_type,hg_binlog_timestamp_us,* FROM test_message_src;

Kode berikut memberikan contoh hasil.

postgres=# select hg_binlog_lsn, hg_binlog_event_type, hg_binlog_timestamp_us, * from test_message_src ;
 hg_binlog_lsn | hg_binlog_event_type | hg_binlog_timestamp_us | id |  title  |       body
---------------+----------------------+------------------------+----+---------+-------------------
          1081 |                    5 |       1626856018921653 |  1 | title 1 | body 1
          1092 |                    3 |       1626856054284918 |  1 | title 1 | body 1
          1093 |                    7 |       1626856054284918 |  1 | title 1 | body after update
          1095 |                    2 |       1626856059747536 |  1 | title 1 | body after update
(4 rows)

Mengkueri binlog paling awal atau paling akhir

Gunakan fungsi hg_get_binlog_cursor untuk mengkueri binlog paling awal atau paling akhir pada shard tertentu. Kode berikut memberikan sintaksisnya.

-- OLDEST: Kueri binlog paling awal pada shard ini.
SELECT * FROM hg_get_binlog_cursor('<table_name>','OLDEST',<shard_id>);
-- LATEST: Kueri binlog paling akhir pada shard ini.
SELECT * FROM hg_get_binlog_cursor('<table_name>','LATEST',<shard_id>);

Kode berikut memberikan contoh.

SELECT * FROM hg_get_binlog_cursor('test_message_src','OLDEST',0);

Kode berikut memberikan contoh hasil.

test=# select * from hg_get_binlog_cursor('test_message_src','OLDEST',0);
 hg_shard_id | hg_binlog_lsn | hg_binlog_timestamp_us
-------------+---------------+------------------------
           0 |           152 |       1716204893791755
(1 row)

Mengkueri timestamp berdasarkan LSN

Gunakan fungsi hg_get_binlog_cursor_by_lsn untuk mengkueri timestamp binlog. Fungsi ini mengembalikan informasi tentang catatan binlog pertama yang LSN-nya lebih besar dari atau sama dengan LSN yang ditentukan. Jika LSN yang ditentukan tidak ada, field hg_binlog_timestamp_us dalam hasil mengembalikan waktu saat ini. Kode berikut memberikan sintaksisnya.

SELECT * FROM hg_get_binlog_cursor_by_lsn('<table_name>',<lsn>,<shard_id>);--Nilai LSN harus bertipe BIGINT.

Kode berikut memberikan contoh.

SELECT * FROM hg_get_binlog_cursor_by_lsn('test_message_src',152,0);

Kode berikut memberikan contoh hasil.

test=# select * from hg_get_binlog_cursor_by_lsn('test_message_src',152,0);
 hg_shard_id | hg_binlog_lsn | hg_binlog_timestamp_us
-------------+---------------+------------------------
           0 |           152 |      1716204893791755
(1 row)

Mengkueri LSN berdasarkan timestamp

Gunakan fungsi hg_get_binlog_cursor_by_timestamp untuk mengkueri LSN binlog. Fungsi ini mengembalikan informasi tentang catatan binlog pertama yang timestamp-nya lebih besar dari atau sama dengan waktu yang ditentukan. Jika waktu yang ditentukan lebih baru daripada entri binlog terakhir, field hg_binlog_timestamp_us dalam hasil mengembalikan waktu saat ini, dan field hg_binlog_lsn mengembalikan LSN yang akan diberikan pada baris yang akan disisipkan berikutnya. Kode berikut memberikan sintaksisnya.

SELECT * FROM hg_get_binlog_cursor_by_timestamp('<table_name>',<timestamp>,<shard_id>);

Kode berikut memberikan contoh.

SELECT *,to_timestamp(hg_binlog_timestamp_us/1000000.0) FROM hg_get_binlog_cursor_by_timestamp('test_message_src','2024-05-20 19:34:53.791+08',0);

Kode berikut memberikan contoh hasil.

test=# select *, to_timestamp(hg_binlog_timestamp_us/1000000.0) from hg_get_binlog_cursor_by_timestamp('test_message_src','2024-05-20 19:34:53.791+08',0);
 hg_shard_id | hg_binlog_lsn | hg_binlog_timestamp_us |          to_timestamp
-------------+---------------+------------------------+-------------------------------
           0 |           152 |    1716204893791755 | 2024-05-20 19:34:53.791755+08
(1 row)

Anda dapat mengonsumsi binlog Hologres dengan Flink, Blink, dan JDBC (termasuk Holo Client). Untuk informasi lebih lanjut, lihat topik berikut:

• Untuk mengonsumsi binlog secara real-time dengan Flink atau Blink, lihat Mengonsumsi binlog Hologres secara real-time menggunakan Flink atau Blink.

• Untuk mengonsumsi binlog dengan JDBC, lihat Mengonsumsi binlog Hologres menggunakan JDBC.

Anda dapat menggunakan pernyataan SQL berikut untuk melihat tabel mana saja yang telah diaktifkan binlog-nya.

SELECT
    *
FROM
    hologres.hg_table_properties
WHERE
    property_key = 'binlog.level'
    AND property_value = 'replica';

Berikut adalah contoh hasilnya. Kueri mengembalikan empat kolom: table_namespace, table_name, property_key, dan property_value. Kolom-kolom ini memberikan informasi tentang semua tabel yang telah diaktifkan binlog-nya.