Hologres:BUAT TABEL PARTISI LOGIS

Batasan

• Hanya instans Hologres yang menjalankan versi 3.1 atau lebih baru yang mendukung tabel partisi logis.

• Tabel partisi logis hanya mendukung partisi LIST dan memungkinkan Anda menentukan kunci partisi yang terdiri dari maksimal dua kolom.

• Tipe data yang didukung untuk kunci partisi mencakup INT, TEXT, VARCHAR, DATE, TIMESTAMP, dan TIMESTAMPTZ.

• Kunci partisi harus didefinisikan sebagai NOT NULL.

• Kunci partisi pada tabel partisi logis mendukung generated columns.

• Satu tabel partisi logis mendukung hingga 5.200 partisi. Satu database mendukung hingga 200.000 partisi logis secara total.

• Saat menulis data ke tabel partisi logis, Hologres secara otomatis membuat partisi yang diperlukan. Batasan dan rekomendasi berikut berlaku:

  • Optimalkan pekerjaan ingesti data dan kualitas data Anda. Hindari data kotor—misalnya, hindari timestamp yang tidak jatuh tepat tengah malam saat menggunakan partisi harian. Hal ini membantu mencegah pertumbuhan partisi yang berlebihan.

  • Tulis data ke partisi secara berurutan. Hindari menulis ke banyak partisi secara bersamaan.

  • Pekerjaan impor batch untuk satu tabel memiliki batasan berikut:

    • Selama impor batch, satu pekerjaan mendukung hingga 50 partisi. Jika melebihi batas tersebut, Hologres akan mengembalikan error: Bulkload partition count exceed limit, partition count is xxx, limit is xxx.

    • Saat menggunakan Fixed Plan untuk mengimpor data, jika satu tabel menulis ke lebih dari 30 partisi secara bersamaan, permintaan penulisan partisi baru akan mengalami throttling. Hologres menunggu beberapa detik sebelum secara otomatis mengirimkan permintaan tersebut.

    • Saat menggunakan Fixed Plan untuk mengimpor data, jika satu tabel menulis ke lebih dari 100 partisi secara bersamaan, permintaan penulisan ke partisi baru akan gagal dengan error: mem partition count exceed reject limit.

  • Untuk menghindari kelebihan beban pada node pekerja akibat terlalu banyak partisi yang belum dipersist, setiap node pekerja menerapkan batasan berikut:

    • Jika jumlah partisi yang belum dipersist melebihi 500, permintaan penulisan partisi baru akan mengalami throttling. Hologres menunggu beberapa detik sebelum secara otomatis mengirimkan permintaan tersebut.

    • Jika jumlah partisi yang belum dipersist melebihi 5.000, permintaan penulisan partisi baru akan gagal dengan error: mem partition count exceed reject limit.

    • Catatan: “Partisi yang belum dipersist” adalah partisi yang ditulis ke memori tetapi belum disimpan ke disk. Jumlah ini mencakup partisi pengguna × jumlah shard × jumlah indeks per tabel. Jumlah shard mencakup shard replika. Oleh karena itu, batas ini bergantung pada distribusi shard dan cara tabel didistribusikan di seluruh node dalam instans.

Catatan penting

• Hindari membuat partisi dengan volume data yang sangat kecil—misalnya, kurang dari 100 juta baris. Partisi kecil mengurangi manfaat akselerasi kueri dan meningkatkan risiko pembuatan banyak file kecil. Gunakan partisi dengan granularitas lebih kasar sebagai gantinya.

• Jika Anda sering mengganti seluruh data dalam suatu partisi—misalnya, menggunakan TRUNCATE atau INSERT OVERWRITE—gunakan tabel partisi. Dalam skenario ini, TRUNCATE dan INSERT OVERWRITE memberikan performa lebih baik karena menghindari operasi penghapusan skala besar.

• Pernyataan TRUNCATE tidak menghasilkan binary logs (Binlog). Untuk menonaktifkan pembuatan Binlog dalam suatu sesi, jalankan: SET hg_experimental_generate_binlog = off.

• Anda tidak perlu membuat atau menghapus partisi secara manual untuk tabel partisi logis. Partisi hanya ada ketika berisi data. Saat semua data dalam suatu partisi dihapus, partisi tersebut secara otomatis dihapus.

  Catatan

  Karena Hologres membersihkan data secara asinkron, partisi juga dihapus secara asinkron.

• Untuk memodifikasi properti tabel pada tabel partisi logis, gunakan sintaks REBUILD. Backend secara otomatis membagi tugas dan mengeksekusinya berdasarkan partisi. Khusus untuk operasi Resharding pada tabel partisi logis—misalnya, memodifikasi Table Group tabel—jangan gunakan prosedur tersimpan HG_MOVE_TABLE_TO_TABLE_GROUP asli. Untuk informasi selengkapnya, lihat Panduan Operasi Table Group dan Jumlah Shard.

Buat tabel partisi logis

-- Buat tabel induk partisi logis
CREATE TABLE [IF NOT EXISTS] [<schema_name>.]<table_name>  ([
  {
   <column_name> <column_type> [ <column_constraints>, [...]]
   | <table_constraints>
   [, ...]
  }
])
LOGICAL PARTITION BY LIST(<partition_column_1> [, <partition_column_2>])
[WITH(
  <property_name> = <property_value>
 [, ...]
)];

Manajemen data untuk tabel partisi logis

Saat mengelola data dalam tabel partisi logis, kunci berikut berlaku:

• Impor batch atau pembaruan untuk partisi tertentu, atau TRUNCATE untuk partisi tertentu: Kunci partisi. Partisi lain tidak terpengaruh.

• Impor batch atau pembaruan tanpa menentukan partisi, TRUNCATE tanpa menentukan partisi, atau DELETE apa pun: Kunci tabel. Operasi manajemen data lainnya menunggu hingga kunci dilepas.

• Penulisan data, pembaruan, atau penghapusan menggunakan Fixed Plan: Kunci baris. Operasi ini bertentangan dengan operasi impor batch, pembaruan, atau penghapusan pada partisi atau tabel. Operasi ini tidak bertentangan dengan operasi Fixed Plan lainnya.

Kueri tabel partisi logis

Berbeda dengan tabel partisi fisik, tabel partisi logis memungkinkan Anda mengonfigurasi properti partition_require_filter. Jika properti ini diatur ke TRUE, kueri harus menyertakan kondisi filter partisi.

• Kueri tabel partisi logis dengan kondisi filter partisi.

  SELECT * FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16';

• Kueri pada tabel partisi logis tanpa kondisi filter partisi memerlukan properti partition_require_filter pada tabel induk diatur ke FALSE.

  SELECT * FROM public.hologres_logical_parent_1;

Operasi lainnya

Hologres menyediakan tabel sistem dan fungsi berikut untuk mengkueri metadata tabel partisi logis.

• hologres.hg_table_properties: Lihat properti tabel.

• hologres.hg_list_logical_partition('<table_name>'): Daftar semua partisi dalam tabel partisi logis.

• hologres.hg_logical_partitioned_table_properties: Daftar semua partisi logis dan propertinya dalam instans saat ini.

• hologres.hg_partition_file_status('<table_name>'): Kueri ukuran penyimpanan hot dan dingin serta jumlah file untuk semua partisi dalam tabel partisi logis. Didukung di Hologres versi 3.1.4 dan lebih baru.

Contoh:

• Tentukan apakah suatu tabel adalah tabel partisi logis.

  SELECT
      *
  FROM
      hologres.hg_table_properties
  WHERE
      table_name = '<table_name>'
      AND property_key = 'is_logical_partitioned_table'
      AND property_value = 'true';

• Daftar semua partisi logis untuk suatu tabel.

  SELECT * FROM hologres.hg_list_logical_partition ('<schema_name>.<table_name>');

• Daftar semua konfigurasi properti partisi logis untuk suatu tabel.

Catatan: Kueri ini hanya menampilkan konfigurasi yang berbeda antara partisi anak dan tabel induk. Hasil kosong berarti tidak ada konfigurasi khusus untuk partisi anak.

SELECT
    *
FROM
    hologres.hg_logical_partitioned_table_properties
WHERE 
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>'
ORDER BY partition DESC;

• Lihat ukuran penyimpanan hot dan dingin saat ini serta jumlah file untuk semua partisi logis dalam suatu tabel.

  SELECT * FROM hologres.hg_partition_file_status ('<schema_name>.<table_name>');

Selain tabel sistem yang telah dijelaskan sebelumnya, partisi logis—sebagai tabel fisik—juga kompatibel dengan tabel sistem Hologres lainnya dan mendukung metode kueri metadata yang sama seperti tabel standar. Contoh:

• Lihat DDL untuk tabel partisi logis.

  SELECT hg_dump_script('<schema_name>.<table_name>');

• Lihat properti tabel induk.

  SELECT
      *
  FROM
      hologres.hg_table_properties
  WHERE 
      table_namespace = '<schema_name>'
      AND table_name = '<table_name>';

• Lihat partisi terbesar untuk tabel partisi logis.

  Catatan

  Karena pembersihan data dan partisi dilakukan secara asinkron, max_pt mungkin mengembalikan hasil yang salah jika partisi terbesar telah dikosongkan. Untuk menghindari hal ini, gunakan INSERT OVERWRITE untuk menghapus data alih-alih metode lainnya.

  SELECT MAX_PT('<schema_name>.<table_name>');

• Periksa apakah jumlah partisi melebihi batas.

  Panggil prosedur tersimpan check_logical_partition_count() untuk memeriksa apakah terdapat tabel partisi logis dalam instans saat ini yang melebihi batas partisi.

  CREATE OR REPLACE PROCEDURE check_logical_partition_count()
  LANGUAGE 'plpgsql'
  AS $$
  DECLARE
      table_max_partition_count bigint;
      table_partition_count bigint;
      exceeded_logical_partition_limit boolean;
      row_record record;
  BEGIN
      SELECT substring(result FROM '^[^:]*: (\d+)')::INTEGER INTO table_max_partition_count
          FROM hg_admin_command('get_global_flag', 'flag=table_max_partition_count') AS result;
  
      RAISE NOTICE 'table_max_partition_count=%', table_max_partition_count;
  
      FOR row_record IN
          SELECT table_namespace, table_name
              FROM hologres.hg_table_properties
              WHERE property_key = 'is_logical_partitioned_table' AND (property_value = 'true' OR property_value = 't')
      LOOP
          SELECT count(*) INTO table_partition_count
              FROM hologres.hg_list_logical_partition(quote_ident(row_record.table_namespace) || '.' || quote_ident(row_record.table_name));
          IF table_partition_count > table_max_partition_count THEN
              RAISE NOTICE 'table %.% partition count exceeds limit (% > %)', row_record.table_namespace, row_record.table_name, table_partition_count, table_max_partition_count;
          END IF;
      END LOOP;
  END;
  $$;
  
  CALL check_logical_partition_count();

Referensi

• ALTER LOGICAL PARTITION TABLE

• DROP LOGICAL PARTITION TABLE

• Migrasi tabel partisi fisik ke tabel partisi logis