Hologres:BUAT TABEL PARTISI LOGIS

Batasan

• Hanya partisi LIST yang didukung. RANGE dan HASH tidak didukung.

• Kunci partisi dapat mencakup satu atau dua kolom.

• Tipe data kunci partisi yang didukung: INT, TEXT, VARCHAR, DATE, TIMESTAMP, dan TIMESTAMPTZ.

• Kunci partisi harus NOT NULL.

• Kunci partisi tabel partisi logis mendukung generated columns.

• Satu tabel partisi logis mendukung hingga 5.200 partisi. Satu database mendukung hingga total 200.000 partisi logis.

Catatan penggunaan

• Granularitas partisi: Hindari partisi dengan kurang dari 100 juta baris. Partisi yang terlalu halus mengurangi manfaat akselerasi kueri dan meningkatkan risiko akumulasi file kecil. Misalnya, partisi berdasarkan hari masuk akal untuk beban kerja volume tinggi; partisi berdasarkan ID client atau interval sub-jam biasanya terlalu halus.

• Pola penulisan: Tulis data ke partisi secara berurutan. Hindari menulis ke banyak partisi secara bersamaan.

• Kualitas data: Pastikan data masuk bersih. Data kotor—seperti timestamp yang tidak tepat pada tengah malam saat menggunakan partisi harian—dapat menyebabkan pertumbuhan partisi yang tidak terduga.

• Siklus hidup partisi: Jangan membuat atau menghapus partisi secara manual. Partisi hanya ada saat berisi data. Ketika semua data dalam partisi dihapus, Hologres menghapus partisi tersebut secara asinkron.

• TRUNCATE dan Binlog: TRUNCATE tidak menghasilkan Binlog. Untuk menonaktifkan pembuatan Binlog untuk sesi tertentu, jalankan SET hg_experimental_generate_binlog = off sebelum TRUNCATE.

• Perubahan properti tabel: Untuk mengubah properti tabel pada tabel partisi logis, gunakan sintaks REBUILD. Backend secara otomatis membagi tugas dan mengeksekusinya secara berurutan per partisi. Untuk operasi resharding (misalnya, memindahkan tabel ke Table Group berbeda), jangan gunakan prosedur tersimpan HG_MOVE_TABLE_TO_TABLE_GROUP. Lihat Panduan Operasi Table Group dan Jumlah Shard untuk pendekatan yang benar.

Buat tabel partisi logis

-- Buat tabel induk partisi logis
CREATE TABLE [IF NOT EXISTS] [<schema_name>.]<table_name> ([
  {
   <column_name> <column_type> [ <column_constraints>, [...]]
   | <table_constraints>
   [, ...]
  }
])
LOGICAL PARTITION BY LIST(<partition_column_1> [, <partition_column_2>])
[WITH(
  <property_name> = <property_value>
 [, ...]
)];

CREATE TABLE public.hologres_logical_parent_1 (
    a TEXT,
    b INT,
    c TIMESTAMP,
    ds DATE NOT NULL,
    PRIMARY KEY (b, ds))
LOGICAL PARTITION BY LIST (ds)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_expiration_time = '30 day',
    partition_keep_hot_window = '15 day',
    partition_require_filter = TRUE,
    binlog_level = 'replica',
    partition_generate_binlog_window = '3 day'
);

CREATE TABLE public.hologres_logical_parent_2 (
    a TEXT,
    b INT,
    c TIMESTAMP,
    ds TIMESTAMP GENERATED ALWAYS AS (date_trunc('day', c)) STORED NOT NULL,
    PRIMARY KEY (b, ds))
LOGICAL PARTITION BY LIST (ds)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_expiration_time = '30 day',
    partition_keep_hot_window = '15 day',
    partition_require_filter = TRUE,
    binlog_level = 'replica',
    partition_generate_binlog_window = '3 day'
);

CREATE TABLE public.hologres_logical_parent_3 (
    a TEXT,
    b INT,
    yy TEXT NOT NULL,
    mm TEXT NOT NULL)
LOGICAL PARTITION BY LIST (yy, mm)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_require_filter = TRUE
);

Kelola data

-- Menulis data; Hologres membuat partisi secara otomatis
INSERT INTO public.hologres_logical_parent_2
VALUES
    ('a', 1, '2025-03-16 10:00:00'),
    ('b', 2, '2025-03-17 11:00:00'),
    ('c', 3, '2025-03-18 12:00:00'),
    ('d', 4, '2025-03-19 13:00:00'),
    ('e', 5, '2025-03-20 14:00:00');

-- Menghapus baris (kunci tabel)
DELETE FROM public.hologres_logical_parent_2 WHERE ds = '2025-03-20';

-- Truncate seluruh tabel induk (tidak menghasilkan Binlog)
SET hg_experimental_generate_binlog = off;
TRUNCATE public.hologres_logical_parent_2;

-- Impor ke partisi tertentu
INSERT INTO public.hologres_logical_parent_1
PARTITION (ds = '2025-03-16')
VALUES
    ('a', 1, '2025-03-16 10:00:00', '2025-03-16');

-- Baris yang tidak sesuai partisi yang ditentukan akan dilewati diam-diam (tanpa error)
INSERT INTO public.hologres_logical_parent_1
PARTITION (ds = '2025-03-16')
VALUES
    ('a', 1, '2025-03-16 10:00:00', '2025-03-16'),
    ('b', 2, '2025-03-17 11:00:00', '2025-03-17');

-- Hapus baris dari partisi tertentu (kunci tabel)
DELETE FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16' or ds = '2025-03-17';

-- Truncate partisi tertentu (kunci partisi, tidak menghasilkan Binlog)
-- Tidak didukung dalam DML kelompok komputasi; jalankan di kelompok komputasi leader.
SET hg_experimental_generate_binlog = off;
TRUNCATE public.hologres_logical_parent_1 PARTITION (ds = '2025-03-16') PARTITION (ds = '2025-03-17');

Kueri tabel partisi logis

-- Kueri dengan kondisi filter partisi
SELECT * FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16';

-- Kueri tanpa kondisi filter partisi
-- Memerlukan partition_require_filter = FALSE pada tabel induk
SELECT * FROM public.hologres_logical_parent_1;

Jika partition_require_filter diatur ke TRUE, kueri tanpa kondisi filter partisi akan gagal.

Lihat metadata

Hologres menyediakan tabel sistem dan fungsi untuk mengkueri metadata tabel partisi logis.

Periksa apakah tabel merupakan tabel partisi logis:

SELECT *
FROM hologres.hg_table_properties
WHERE
    table_name = '<table_name>'
    AND property_key = 'is_logical_partitioned_table'
    AND property_value = 'true';

Daftar semua partisi:

SELECT * FROM hologres.hg_list_logical_partition('<schema_name>.<table_name>');

Daftar konfigurasi properti partisi:

Kueri ini hanya mengembalikan konfigurasi yang berbeda antara partisi anak dan tabel induk. Hasil kosong berarti tidak ada penggantian tingkat partisi yang diatur.

SELECT *
FROM hologres.hg_logical_partitioned_table_properties
WHERE
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>'
ORDER BY partition DESC;

Lihat ukuran penyimpanan hot dan cold:

SELECT * FROM hologres.hg_partition_file_status('<schema_name>.<table_name>');

Partisi logis juga kompatibel dengan tabel sistem Hologres standar.

Lihat DDL untuk tabel partisi logis:

SELECT hg_dump_script('<schema_name>.<table_name>');

Lihat properti tabel induk:

SELECT *
FROM hologres.hg_table_properties
WHERE
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>';

Lihat partisi terbesar:

Karena pembersihan data dan pembersihan partisi bersifat asinkron, MAX_PT mungkin mengembalikan hasil salah jika partisi terbesar telah dikosongkan. Gunakan INSERT OVERWRITE untuk menghapus data guna menghindari masalah ini.

SELECT MAX_PT('<schema_name>.<table_name>');

Periksa apakah ada tabel partisi yang melebihi batas partisi:

CREATE OR REPLACE PROCEDURE check_logical_partition_count()
LANGUAGE 'plpgsql'
AS $$
DECLARE
    table_max_partition_count bigint;
    table_partition_count bigint;
    exceeded_logical_partition_limit boolean;
    row_record record;
BEGIN
    SELECT substring(result FROM '^[^:]*: (\d+)')::INTEGER INTO table_max_partition_count
        FROM hg_admin_command('get_global_flag', 'flag=table_max_partition_count') AS result;

    RAISE NOTICE 'table_max_partition_count=%', table_max_partition_count;

    FOR row_record IN
        SELECT table_namespace, table_name
            FROM hologres.hg_table_properties
            WHERE property_key = 'is_logical_partitioned_table' AND (property_value = 'true' OR property_value = 't')
    LOOP
        SELECT count(*) INTO table_partition_count
            FROM hologres.hg_list_logical_partition(quote_ident(row_record.table_namespace) || '.' || quote_ident(row_record.table_name));
        IF table_partition_count > table_max_partition_count THEN
            RAISE NOTICE 'table %.% partition count exceeds limit (% > %)', row_record.table_namespace, row_record.table_name, table_partition_count, table_max_partition_count;
        END IF;
    END LOOP;
END;
$$;

CALL check_logical_partition_count();

Langkah berikutnya

• ALTER LOGICAL PARTITION TABLE

• DROP LOGICAL PARTITION TABLE

• Migrasi tabel partisi fisik ke tabel partisi logis