Hologres：Pembagian Partisi Dinamis

Pengenalan

Fitur pembagian partisi dinamis dioptimalkan di berbagai versi untuk memberikan lebih banyak fungsi:

• Hologres V1.3 dan yang lebih baru memungkinkan Anda mengonfigurasikan aturan pembagian partisi dinamis. Sistem menjalankan tugas terjadwal untuk membuat tabel partisi anak sebelumnya dan menghapus tabel partisi anak yang kedaluwarsa berdasarkan aturan tersebut.

• Hologres V1.3.37 dan yang lebih baru mendukung manajemen dinamis penyimpanan bertingkat untuk data panas dan dingin, sehingga penyimpanan dingin dapat digunakan secara otomatis untuk data. Hal ini membantu mengurangi biaya penyimpanan. Untuk informasi lebih lanjut, lihat Penyimpanan Bertingkat untuk Data Panas dan Dingin.

• Hologres V2.1.11 dan yang lebih baru memungkinkan Anda mengonfigurasikan kolom bertipe DATE sebagai kolom kunci partisi untuk pembagian partisi dinamis.

• Hologres V2.2 dan yang lebih baru memungkinkan Anda mengonfigurasikan properti schd_start_time saat mengonfigurasikan pembagian partisi dinamis untuk sebuah tabel. Properti ini digunakan untuk menentukan waktu ketika partisi dijadwalkan untuk dibuat, dihapus, atau disimpan di tingkat penyimpanan dingin.

• Hologres V3.0.12 dan yang lebih baru memungkinkan Anda mengonfigurasikan parameter auto_partitioning_time_format, yang menentukan format datetime kolom kunci partisi, misalnya YYYY-MM-DD.

Catatan penggunaan

• Hologres memungkinkan Anda mengimpor data ke tabel anak, bukan tabel induk.

  Catatan

  Realtime Compute for Apache Flink memungkinkan Anda mengimpor data ke tabel induk di Hologres secara real-time. Untuk informasi lebih lanjut, lihat Menulis Data ke Tabel Hasil Partisi di Hologres secara Real-Time.

• Setiap aturan pembagian partisi hanya dapat digunakan untuk membuat satu tabel partisi.

• Klausa PARTITION BY hanya mendukung list partitioning. Kunci partisi harus berupa satu kolom.

• Jika tabel partisi memiliki kunci utama, kunci partisi harus menjadi subset dari kunci utama.

• Anda hanya dapat mengonfigurasikan properti schd_start_time untuk tabel partisi induk, tetapi tidak untuk tabel partisi anak.

• Parameter auto_partitioning_time_format hanya dapat dikonfigurasikan sekali dan tidak dapat diubah setelah dikonfigurasikan. Untuk tabel baru, Anda dapat mengonfigurasikan parameter ini dalam pernyataan CREATE TABLE. Untuk tabel yang sudah ada, Anda tidak dapat mengubah parameter ini.

• Setelah Anda menentukan format waktu dengan menggunakan parameter auto_partitioning_time_format, tabel partisi anak diberi nama dalam format yang sama dengan kolom kunci partisi. Saat Anda mengkueri data dari tabel partisi anak, Anda harus mengapit nama tabel partisi anak dalam sepasang tanda kutip ganda ("). Contoh: SELECT xxx FROM "tbl_2024_11_22".

Konfigurasikan pembagian partisi dinamis

Deskripsi sintaksis

Anda dapat mengonfigurasikan pembagian partisi dinamis untuk tabel partisi saat membuat tabel tersebut atau untuk tabel partisi yang sudah ada. Contoh kode berikut menunjukkan sintaksis:

Parameter

SELECT * FROM pg_timezone_names;

Konvensi penamaan untuk tabel partisi anak

Parameter auto_partitioning.time_unit untuk pembagian partisi dinamis dapat diatur ke HOUR, DAY, MONTH, QUARTER, atau YEAR. Nama tabel partisi anak yang dibuat secara otomatis dengan fitur ini terdiri dari nama tabel partisi induk dan akhiran waktu, dalam format {parent_table}_{time_suffix}. Akhiran waktu mengikuti format tertentu dan dihasilkan berdasarkan waktu yang dijadwalkan serta satuan waktu untuk pembagian partisi dinamis. Tabel berikut menjelaskan hubungan antara akhiran waktu dan waktu yang dijadwalkan.

Contoh

Pernyataan SQL berikut memberikan contoh cara mengonfigurasikan pembagian partisi dinamis dengan auto_partitioning.time_unit diatur ke DAY. Dalam contoh ini, partisi dibuat untuk tiga hari ke depan dan partisi historis untuk dua hari sebelumnya dipertahankan berdasarkan tanggal saat ini di zona waktu Asia/Shanghai.

Tabel berikut menjelaskan hasil eksekusi.

Skenario

Pertahankan tabel partisi anak

Secara default, sistem membuat dan menghapus tabel partisi anak berdasarkan konfigurasi pembagian partisi dinamis. Tabel partisi anak secara otomatis dihapus setelah kedaluwarsa. Namun, Anda mungkin ingin mempertahankan data penting dalam tabel partisi anak, seperti data e-commerce selama Double 11 untuk analisis year-on-year atau period-over-period. Dalam skenario seperti itu, Hologres memungkinkan Anda menambahkan properti keep_alive ke tabel partisi anak yang ingin Anda pertahankan untuk mencegah penghapusan otomatis.

• Sintaksis yang didukung di Hologres V2.1 dan yang lebih baru:

  -- Tambahkan properti keep_alive ke tabel partisi anak.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  
  -- Hapus properti keep_alive dari tabel partisi anak. Setelah Anda menghapus properti keep_alive, tabel partisi anak akan dihapus setelah tabel kedaluwarsa.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• Sintaksis yang didukung di semua versi Hologres:

  -- Tambahkan properti keep_alive ke tabel partisi anak.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  
  -- Hapus properti keep_alive dari tabel partisi anak. Setelah Anda menghapus properti keep_alive, tabel partisi anak akan dihapus setelah tabel kedaluwarsa.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

Kelola mode penyimpanan tabel partisi secara dinamis

Anda dapat mengaktifkan penyimpanan bertingkat untuk data panas dan dingin pada tabel partisi untuk mengurangi biaya dan mengoptimalkan kinerja kueri secara efisien. Misalnya, Anda dapat menyimpan data dalam N partisi historis sebelumnya yang sering diakses di tingkat penyimpanan panas, dan menyimpan data dalam M partisi yang dibuat lebih awal daripada N partisi di tingkat penyimpanan dingin. Hal ini membantu mengurangi biaya penyimpanan. Partisi yang dibuat lebih awal daripada partisi historis M dan N dihapus secara dinamis.

Buat tabel partisi dan konfigurasikan pembagian partisi dinamis untuk tabel tersebut

Dalam contoh ini, tabel partisi dengan pembagian partisi dinamis dibuat. Partisi dibuat untuk setiap hari. Data dalam 7 partisi historis sebelumnya disimpan di tingkat penyimpanan panas, dan data dalam 23 partisi historis yang dibuat lebih awal daripada 7 partisi disimpan di tingkat penyimpanan dingin. Partisi yang dibuat lebih awal daripada 30 partisi historis dihapus. Contoh kode:

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

Gambar berikut menunjukkan hasil konfigurasi.

Ubah kebijakan penyimpanan

Anda dapat menggunakan parameter auto_partitioning.num_hot untuk menentukan jumlah partisi di tingkat penyimpanan panas. Perhatikan bahwa Anda tidak dapat memigrasikan partisi dari tingkat penyimpanan dingin ke tingkat penyimpanan panas. Dalam contoh ini, tabel partisi dibuat pada 1 Juli 2022. Contoh kode:

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

Penyimpanan partisi dapat berubah dalam skenario berikut:

• Skenario 1: Tingkatkan jumlah partisi di tingkat penyimpanan panas

  Untuk meningkatkan jumlah partisi di tingkat penyimpanan panas menjadi 4, eksekusi pernyataan berikut:

  CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '4');

  Tabel partisi anak yang disimpan di tingkat penyimpanan dingin tidak dimigrasikan ke tingkat penyimpanan panas. Gambar berikut menunjukkan efek konfigurasi.

• Skenario 2: Kurangi jumlah partisi di tingkat penyimpanan panas

  Untuk mengurangi jumlah partisi di tingkat penyimpanan panas menjadi 2, eksekusi pernyataan berikut:

  CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '2');

  Tabel partisi anak yang disimpan di tingkat penyimpanan panas dimigrasikan ke tingkat penyimpanan dingin. Gambar berikut menunjukkan efek konfigurasi.

Konversikan tabel partisi yang menggunakan mode penyimpanan dingin menjadi tabel partisi yang memiliki partisi dinamis

Dalam contoh ini, tabel partisi yang menggunakan mode penyimpanan dingin dikonversi menjadi tabel partisi yang berisi partisi dinamis. Partisi yang dibuat dalam 7 hari terakhir disimpan di tingkat penyimpanan panas. Prosedur:

1. Siapkan data.

   -- Buat tabel partisi dan atur mode penyimpanan tabel ke penyimpanan dingin.
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. Konversikan partisi tabel menjadi partisi dinamis dan simpan partisi yang dibuat dalam 7 hari terakhir di tingkat penyimpanan panas.

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); --Atur mode penyimpanan tabel partisi induk ke penyimpanan panas.
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); --Atur mode penyimpanan partisi yang tidak memerlukan konversi mode penyimpanan ke penyimpanan dingin.
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

Kueri konfigurasi pembagian partisi dinamis

Anda dapat mengeksekusi pernyataan SQL berikut untuk menanyakan konfigurasi pembagian partisi dinamis untuk sebuah tabel di database.

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

Tabel berikut menjelaskan parameter dalam pernyataan tersebut.

Gambar berikut menunjukkan hasil kueri.

Kueri log untuk membuat dan menghapus tabel partisi anak

Log untuk membuat dan menghapus tabel partisi anak tidak termasuk dalam log kueri. Anda dapat mengeksekusi pernyataan SQL berikut untuk menanyakan log untuk membuat dan menghapus tabel partisi anak:

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

Tabel berikut menjelaskan parameter dalam pernyataan tersebut.

Gambar berikut menunjukkan hasil kueri.

FAQ

Bagaimana cara mengaktifkan pembagian partisi dinamis untuk tabel partisi yang sudah ada?

Eksekusi pernyataan SQL berikut untuk mengaktifkan pembagian partisi dinamis untuk tabel partisi yang sudah ada.

-- Sintaksis di Hologres V2.1 dan yang lebih baru
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);

-- Sintaksis di semua versi Hologres
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

Jika saya mengaktifkan pembagian partisi dinamis untuk tabel partisi yang sudah ada, apakah tabel partisi anak yang sudah ada dihapus secara otomatis?

Hologres menentukan apakah akan menghapus tabel partisi anak berdasarkan nama tabel. Jika nama tabel partisi anak mengikuti aturan penamaan {parent_table}_{time_suffix}, tabel partisi anak dihapus secara otomatis setelah kedaluwarsa. Jika tidak, tabel partisi anak tidak dihapus secara otomatis.

Saya mengeksekusi pernyataan SQL untuk membuat tabel partisi dan mengonfigurasikan pembagian partisi dinamis untuk tabel tersebut dengan parameter num_precreate diatur ke 3. Namun, tabel partisi induk dibuat tetapi tidak ada tabel partisi anak yang dibuat. Mengapa?

Secara default, Hologres melakukan pemeriksaan setiap 10 menit pada tugas baru yang mana pembagian partisi dinamis dikonfigurasikan. Tabel partisi anak dibuat dalam waktu 10 menit. Anda dapat memeriksa tabel partisi anak nanti.