Hologres:Hologres: Manajemen Partisi Dinamis

Sintaksis

Anda dapat mengatur properti partisi otomatis saat membuat tabel partisi atau untuk tabel yang sudah ada.

Parameter

SELECT * FROM pg_timezone_names;

Aturan penamaan tabel anak

Saat Anda mengatur properti auto_partitioning.time_unit ke HOUR, DAY, MONTH, QUARTER, atau YEAR, Hologres memberi nama tabel anak baru dengan menambahkan akhiran waktu ke nama tabel induk. Formatnya adalah {parent_table}_{time_suffix}. Akhiran waktu dihasilkan berdasarkan jadwal partisi otomatis dan templat format untuk satuan waktu yang ditentukan. Tabel berikut menjelaskan pemetaannya.

Contoh

Contoh berikut membuat tabel yang dipartisi berdasarkan hari. Tabel dikonfigurasi untuk membuat partisi tiga hari ke depan, mempertahankan partisi historis dua hari, dan menggunakan zona waktu Asia/Shanghai.

Tabel berikut menjelaskan logika pembuatan dan penghapusan partisi.

Mempertahankan tabel anak tertentu

Secara default, Hologres secara otomatis membuat dan menghapus tabel anak berdasarkan aturan partisi otomatis yang dikonfigurasi, menghapus yang berada di luar rentang retensi. Namun, dalam beberapa skenario, Anda mungkin perlu mempertahankan data penting, seperti mempertahankan data dari festival belanja tahunan untuk analisis year-over-year dalam bisnis e-commerce. Untuk mempertahankan tabel anak tertentu, atur properti keep_alive untuk tabel tersebut. Sintaksisnya sebagai berikut.

• Sintaksis untuk Hologres V2.1 dan versi lebih baru:

  -- Pertahankan tabel anak.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  -- Hentikan mempertahankan tabel anak. Setelah Anda menghapus properti ini, partisi otomatis segera memicu pembersihan data yang kedaluwarsa.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• Sintaksis untuk semua versi:

  -- Pertahankan tabel anak.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  -- Hentikan mempertahankan tabel anak. Setelah Anda menghapus properti ini, partisi otomatis segera memicu pembersihan data yang kedaluwarsa.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

  Catatan

  Ganti table_name dengan nama tabel anak.

Mengelola tier penyimpanan untuk tabel partisi

Saat mengelola tabel partisi, tiering penyimpanan membantu Anda menyeimbangkan biaya dan kinerja. Misalnya, Anda dapat menyimpan N partisi historis terbaru di hot storage untuk kueri yang sering, lalu menyimpan M partisi lama berikutnya di cold storage untuk mengurangi biaya. Dikombinasikan dengan partisi otomatis, fitur ini memungkinkan Anda menentukan kebijakan untuk secara otomatis menghapus data di luar periode retensi N+M.

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

Konversi tabel cold menjadi tabel partisi otomatis

Untuk mengonversi tabel partisi dari cold storage menjadi tabel partisi otomatis dan memindahkan partisi tujuh hari terakhir ke hot storage, ikuti langkah-langkah berikut.

1. Siapkan data.

   -- Tentukan tier cold storage saat membuat tabel.
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. Konversi tabel menjadi tabel partisi otomatis dan atur partisi tujuh hari terakhir ke hot storage.

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); -- Atur tabel induk ke hot storage.
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); -- Atur tabel anak yang tidak perlu dipindahkan ke hot storage ke cold storage.
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

Lihat konfigurasi dan jadwal partisi otomatis

Untuk mengkueri informasi dan konfigurasi tabel partisi otomatis di database saat ini, jalankan pernyataan SQL berikut.

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

Tabel berikut menjelaskan field dalam hasil kueri.

Blok kode berikut menunjukkan contoh hasil kueri.

 schema_name |       table_name       | enable | time_unit | time_zone | num_precreate | num_retention |   create_user    |          cret_time          |     schd_start_time      | options
-------------+------------------------+--------+-----------+-----------+---------------+---------------+------------------+-----------------------------+--------------------------+---------
 public      | test_auto_part_daily      | t      | day       | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:45:33+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_hourly     | t      | hour      | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:44:39+08 | 2050-01-03 18:00:00+08 | {}
 public      | test_auto_part_weekly     | t      | week      | PRC       |             2 |             3 | 1534141793071340 | 2022-04-01 11:45:43+08 | 2050-01-03 00:00:00+08 | {}
 public      | test_auto_part_monthly    | t      | month     | PRC       |             1 |             0 | 1534141793071340 | 2022-04-01 11:45:55+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_quarterly  | t      | quarter   | PRC       |             2 |            -1 | 1534141793071340 | 2022-04-01 11:46:09+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_yearly     | t      | year      | PRC       |             1 |            -1 | 1534141793071340 | 2022-04-01 11:46:18+08 | 2050-01-01 00:00:00+08 | {}
(6 rows)

Lihat log tabel anak

Query Log tidak mencatat log untuk pembuatan atau purge tabel anak. Anda dapat menjalankan pernyataan SQL berikut untuk mengkueri log tersebut.

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

Tabel berikut menjelaskan field dalam hasil kueri.

Blok kode berikut menunjukkan contoh hasil kueri.

   relname   |     relowner     |        schdtime        |        trigtime        | status  | message |          precreate           |     discard
-----------+------------------+------------------------+------------------------+---------+---------+------------------------------+------------------
 public.tbl1 | 1534141793071340 | 2022-04-01 11:00:00+08 | 2022-04-01 11:24:22+08 | SUCCESS |         | {tbl1_2022032713,tbl1_2022032714} | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 12:00:00+08 | 2022-04-01 12:38:31+08 | SUCCESS |         | {tbl2_2022040112}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 13:00:00+08 | 2022-04-01 13:00:00+08 | SUCCESS |         | {tbl2_2022040113}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 14:00:00+08 | 2022-04-01 14:00:00+08 | SUCCESS |         | {tbl2_2022040114}                 | {tbl2_2022040112}
(4 rows)

Aktifkan partisi otomatis untuk tabel yang sudah ada

Untuk mengaktifkan partisi otomatis pada tabel partisi yang sudah ada, jalankan salah satu pernyataan SQL berikut.

-- Contoh untuk Hologres V2.1 dan versi lebih baru
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);
-- Contoh untuk semua versi Hologres
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

Pembersihan otomatis untuk tabel anak yang sudah ada

Sistem menentukan apakah tabel anak akan dihapus berdasarkan namanya. Jika nama tabel anak sesuai dengan konvensi penamaan {parent_table}_{time_suffix}, maka tabel tersebut memenuhi syarat untuk pembersihan. Jika tidak, tabel tersebut tidak terpengaruh.

Pembuatan tertunda tabel anak num_precreate

Saat pertama kali mengaktifkan partisi otomatis untuk tabel, tugas pembuatan tidak berjalan secara instan. Sistem memeriksa partisi yang perlu dibuat setiap 10 menit secara default. Akibatnya, sistem membuat tabel anak Anda dalam jendela 10 menit ini.