Hologres：Manajemen partisi dinamis

Deskripsi sintaksis

Anda dapat mengonfigurasi properti manajemen partisi dinamis saat membuat tabel partisi atau mengubahnya setelah tabel dibuat. Sintaksisnya adalah sebagai berikut.

Deskripsi parameter

SELECT * FROM pg_timezone_names;

Aturan pembuatan nama tabel

Saat parameter auto_partitioning.time_unit diatur ke HOUR, DAY, MONTH, QUARTER, atau YEAR, partisi dinamis menggunakan nama tabel induk ditambah akhiran waktu sebagai nama untuk partisi yang baru dibuat. Formatnya adalah {parent_table}_{time_suffix}. Akhiran waktu dihasilkan berdasarkan waktu penjadwalan untuk partisi otomatis dan templat format yang sesuai dengan unit waktu. Pemetaan spesifiknya adalah sebagai berikut.

Contoh

Contoh berikut menunjukkan cara mengatur unit waktu ke DAY, membuat partisi untuk 3 hari ke depan, menyimpan partisi historis selama 2 hari terakhir, dan mengatur zona waktu ke Asia/Shanghai.

Logika penambahan dan penghapusan partisi adalah sebagai berikut:

Simpan partisi anak tertentu

Secara default, sistem secara otomatis membuat dan menghapus partisi anak berdasarkan aturan partisi dinamis yang dikonfigurasi. Partisi anak di luar rentang retensi akan dihapus secara otomatis. Namun, dalam beberapa skenario, Anda mungkin perlu menyimpan data di partisi penting. Misalnya, dalam skenario e-commerce, Anda mungkin perlu menyimpan data dari festival belanja Double 11 setiap tahun untuk analisis year-over-year dan month-over-month. Anda dapat menyimpan partisi anak tertentu dengan menambahkan properti keep_alive ke tabel. Sintaksisnya adalah sebagai berikut.

• Sintaksis yang didukung mulai dari V2.1:

  -- Simpan partisi
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  
  -- Berhenti menyimpan partisi: Setelah properti retensi dihapus, manajemen partisi dinamis segera memicu penghapusan data yang kedaluwarsa.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• Sintaksis yang didukung di semua versi:

  -- Simpan partisi
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  
  -- Berhenti menyimpan partisi: Setelah properti retensi dihapus, manajemen partisi dinamis segera memicu penghapusan data yang kedaluwarsa.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

  Catatan

  Ganti table_name dengan nama aktual partisi anak.

Kelola media penyimpanan secara dinamis untuk tabel partisi

Saat bekerja dengan tabel partisi, penggunaan penyimpanan bertingkat untuk data panas dan dingin dapat secara efektif menyeimbangkan biaya dan kinerja. Misalnya, Anda dapat secara dinamis menyimpan N partisi historis terbaru di media penyimpanan panas untuk memenuhi permintaan kueri yang sering, sementara menyimpan M partisi berikutnya di cold storage untuk menghemat biaya. Anda dapat menerapkan skenario ini menggunakan fitur manajemen partisi dinamis untuk menghapus data yang lebih tua dari N+M partisi.

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

Ubah tabel partisi cold storage menjadi tabel partisi dinamis

Sebagai contoh, untuk mengubah tabel partisi dengan properti cold storage menjadi tabel partisi dinamis dan mengatur partisi 7 hari terakhir ke hot storage, gunakan metode berikut.

1. Persiapan data.

   -- Tentukan cold storage sebagai kebijakan penyimpanan saat membuat tabel.
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. Ubah tabel menjadi tabel partisi dinamis dan atur partisi 7 hari terakhir ke hot storage.

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); -- Atur tabel induk ke hot.
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); -- Atur partisi yang tidak perlu dipindahkan ke hot storage menjadi cold.
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

Lihat konfigurasi partisi dinamis dan status penjadwalan

Jalankan pernyataan SQL berikut untuk mengkueri informasi tentang tabel partisi dinamis dan konfigurasinya di database saat ini.

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

Berikut ini penjelasan field-field tersebut.

Hasil berikut dikembalikan.

Lihat log pembuatan dan penghapusan partisi anak

Query Log tidak mencatat log pembuatan dan penghapusan partisi anak. Jalankan pernyataan SQL berikut untuk mengkueri log tersebut.

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

Berikut ini penjelasan nama field yang tercantum di atas.

Hasil berikut dikembalikan.

Bagaimana cara mengaktifkan partisi dinamis untuk tabel partisi yang sudah ada?

Gunakan pernyataan SQL berikut untuk mengaktifkan partisi dinamis untuk tabel partisi yang sudah ada.

-- Contoh SQL untuk Hologres V2.1 dan versi selanjutnya
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);

-- Contoh SQL untuk semua versi Hologres
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

Setelah saya mengaktifkan partisi dinamis untuk tabel partisi yang sudah ada, apakah partisi anak historis terpengaruh oleh logika penghapusan otomatis?

Sistem menghapus partisi anak berdasarkan namanya. Jika nama partisi anak sesuai dengan konvensi penamaan {parent_table}_{time_suffix}, partisi tersebut akan dihapus. Jika tidak, partisi tersebut tidak akan dihapus.

Saya membuat tabel partisi dinamis dan mengatur num_precreate ke 3. Tabel induk berhasil dibuat setelah saya menjalankan pernyataan SQL, tetapi ketiga partisi anak tidak dibuat. Mengapa?

Untuk task awal pembuatan partisi dinamis, sistem memeriksa setiap 10 menit secara default. Oleh karena itu, partisi anak akan dibuat dalam waktu 10 menit. Periksa kembali nanti.