Hologres：BUAT TABEL PARTISI LOGIS

Batasan

• Hanya Hologres V3.1 dan versi yang lebih baru yang mendukung tabel partisi logis.

• Tabel partisi logis hanya mendukung partisi LIST. Anda dapat menentukan hingga dua kolom kunci partisi.

• Kunci partisi untuk tabel partisi logis mendukung tipe data berikut: INT, TEXT, VARCHAR, DATE, TIMESTAMP, dan TIMESTAMPTZ.

• Kunci partisi untuk tabel partisi logis harus memiliki properti NOT NULL.

• Kunci partisi untuk tabel partisi logis dapat berupa kolom yang dihasilkan.

• Satu tabel partisi logis mendukung maksimal 5.200 partisi. Satu database mendukung maksimal 200.000 partisi logis secara keseluruhan.

• Karena tabel partisi logis secara otomatis membuat partisi saat Anda menulis data, batasan dan rekomendasi berikut berlaku:

  • Optimalkan pekerjaan penulisan data dan gunakan Kualitas Data untuk menghindari data kotor. Misalnya, jika Anda mempartisi data berdasarkan hari, hindari data dengan stempel waktu selain pukul 00:00:00. Praktik ini mencegah ekspansi partisi yang berlebihan.

  • Tulis data ke partisi secara berurutan untuk menghindari penulisan ke terlalu banyak partisi secara bersamaan.

  • Berikut adalah batasan yang berlaku untuk tugas impor untuk satu tabel:

    • Saat impor batch, satu pekerjaan impor dapat mengimpor data ke maksimal 50 partisi. Jika batas ini dilampaui, pesan kesalahan Bulkload partition count exceed limit, partition count is xxx, limit is xxx dikembalikan.

    • Saat Anda mengimpor data menggunakan Fixed Plan, jika jumlah partisi yang ditulis secara bersamaan dalam satu tabel melebihi 30, permintaan tulis baru akan dikenai Pengendalian aliran. Permintaan tersebut akan dikomit secara otomatis setelah beberapa detik.

    • Saat Anda mengimpor data menggunakan Fixed Plan, jika jumlah partisi yang ditulis secara bersamaan dalam satu tabel melebihi 100, permintaan tulis baru gagal dengan pesan kesalahan mem partition count exceed reject limit.

  • Mekanisme pengendalian aliran berikut berlaku di tingkat instans atau kelompok komputasi:

    • Jika lebih dari 50 partisi baru dibuat per menit, permintaan pembuatan partisi baru akan dikenai Pengendalian aliran. Permintaan tersebut akan dikomit secara otomatis setelah beberapa detik.

    • Jika lebih dari 100 partisi baru dibuat per menit, permintaan pembuatan partisi baru gagal dengan pesan kesalahan mem partition count exceed reject limit.

    • Untuk tabel in-memory, saat Anda menggunakan Fixed Plan, jika jumlah total partisi yang ditulis secara bersamaan mencapai 500, permintaan tulis baru akan dikenai Pengendalian aliran. Permintaan tersebut akan dikomit secara otomatis setelah beberapa detik. Jumlah total dihitung menggunakan rumus berikut: (Jumlah partisi yang ditulis dalam satu tabel × Jumlah shard / Jumlah worker). Untuk tabel yang menggunakan penyimpanan baris dan kolom sekaligus, kalikan hasilnya dengan 2. Kemudian, jumlahkan hasilnya untuk semua tabel.

    • Untuk tabel in-memory, saat Anda menggunakan Fixed Plan, jika jumlah total partisi yang ditulis secara bersamaan mencapai 5.000, permintaan tulis baru gagal dengan pesan kesalahan mem partition count exceed reject limit. Jumlah total dihitung menggunakan rumus berikut: (Jumlah partisi yang ditulis dalam satu tabel × Jumlah shard / Jumlah worker). Untuk tabel yang menggunakan penyimpanan baris dan kolom sekaligus, kalikan hasilnya dengan 2. Kemudian, jumlahkan hasilnya untuk semua tabel.

Catatan

• Hindari menggunakan partisi dengan volume data yang sangat kecil, misalnya kurang dari 100 juta baris. Praktik ini dapat mengurangi performa akselerasi kueri dan menghasilkan banyak file kecil. Sebagai gantinya, gunakan granularitas partisi yang lebih besar.

• Jika Anda sering perlu mengganti seluruh data dalam suatu partisi menggunakan operasi seperti `TRUNCATE` atau `INSERT OVERWRITE`, gunakan tabel partisi. Tabel partisi memberikan performa yang lebih baik dan membantu menghindari operasi penghapusan skala besar.

• Operasi `TRUNCATE` tidak mendukung binary logging. Anda harus menjalankan perintah SET hg_experimental_generate_binlog = off di tingkat sesi.

• Anda tidak perlu membuat partisi secara manual untuk tabel partisi logis. Partisi hanya ada jika berisi data. Saat semua data dalam suatu partisi dihapus, partisi tersebut juga dihapus secara otomatis.

  Catatan

  Hologres melakukan pembersihan data sebagai operasi asinkron. Oleh karena itu, partisi juga dihapus secara asinkron.

• Untuk memodifikasi properti tabel partisi logis, gunakan sintaks REBUILD. Sistem secara otomatis membagi tugas dan mengeksekusinya secara berurutan berdasarkan partisi. Untuk melakukan operasi resharding, yang memodifikasi kelompok tabel tabel tersebut, jangan gunakan prosedur tersimpan `HG_MOVE_TABLE_TO_TABLE_GROUP`. Untuk informasi selengkapnya, lihat Operasi Kelompok Tabel dan jumlah shard.

Buat tabel partisi logis

-- Pernyataan untuk membuat tabel partisi induk logis
CREATE TABLE [IF NOT EXISTS] [<schema_name>.]<table_name>  ([
  {
   <column_name> <column_type> [ <column_constraints>, [...]]
   | <table_constraints>
   [, ...]
  }
])
LOGICAL PARTITION BY LIST(<partition_column_1> [, <partition_column_2>])
[WITH(
  <property_name> = <property_value>
 [, ...]
)];

Kelola data dalam tabel partisi logis

Kunci berikut diperoleh saat Anda mengelola data dalam tabel partisi logis:

• Impor batch atau pembaruan untuk partisi tertentu, atau `TRUNCATE` untuk partisi tertentu: Kunci metadata partisi diperoleh. Manajemen data di partisi lain tidak terpengaruh.

• Impor batch atau pembaruan tanpa menentukan partisi, `TRUNCATE` tanpa menentukan partisi, atau operasi `DELETE` apa pun: Kunci tabel diperoleh. Operasi manajemen data lainnya harus menunggu hingga kunci dilepaskan.

• Operasi tulis, pembaruan, atau penghapusan data menggunakan Fixed Plan: Kunci baris diperoleh. Operasi ini dapat mengganggu operasi impor batch, pembaruan, atau penghapusan pada partisi atau tabel. Operasi ini tidak memengaruhi operasi tulis, pembaruan, atau penghapusan data lainnya yang menggunakan Fixed Plan.

Kueri tabel partisi logis

Berbeda dengan tabel partisi fisik, tabel partisi logis mendukung properti `partition_require_filter`. Jika properti ini ditetapkan ke TRUE, pernyataan pencarian harus menyertakan kondisi filter pada kunci partisi saat Anda mengkueri tabel.

• Kueri tabel partisi logis dengan kondisi filter pada kunci partisi.

  SELECT * FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16';

• Kueri tabel partisi logis tanpa kondisi filter pada kunci partisi. Ini memerlukan properti `partition_require_filter` tabel induk bernilai FALSE.

  SELECT * FROM public.hologres_logical_parent_1;

Operasi lainnya

Hologres menyediakan tabel sistem dan fungsi sistem berikut untuk mengkueri metadata tabel partisi logis.

• hologres.hg_list_logical_partition('<table_name>'): Menampilkan semua partisi dari tabel partisi logis.

• hologres.hg_logical_partitioned_table_properties: Menampilkan semua partisi logis dan konfigurasi propertinya dalam instans saat ini.

• hologres.hg_partition_file_status('<table_name>'): Mulai dari Hologres V3.1.4, Anda dapat menggunakan fungsi ini untuk mengkueri jumlah data yang disimpan dalam penyimpanan panas dan dingin untuk semua partisi dalam tabel partisi logis.

Contoh:

• Lihat semua partisi logis dari sebuah tabel.

  SELECT * FROM hologres.hg_list_logical_partition ('<schema_name>.<table_name>');

• Lihat konfigurasi properti dari semua partisi logis dari sebuah tabel.

Catatan: Kueri ini hanya menampilkan konfigurasi subpartisi yang berbeda dari tabel induk. Jika hasilnya kosong, berarti subpartisi tidak memiliki konfigurasi khusus.

SELECT
    *
FROM
    hologres.hg_logical_partitioned_table_properties
WHERE 
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>'
ORDER BY partition DESC;

• Lihat jumlah data saat ini dalam penyimpanan panas dan dingin untuk semua partisi logis dalam tabel.

  SELECT * FROM hologres.hg_partition_file_status ('<schema_name>.<table_name>');

Selain tabel sistem di atas, tabel partisi logis adalah tabel fisik. Tabel ini kompatibel dengan tabel sistem Hologres lainnya dan mendukung metode kueri metadata yang sama seperti tabel standar. Contoh berikut menunjukkan cara mengkueri metadata:

• Lihat pernyataan DDL dari tabel partisi logis.

  SELECT hg_dump_script('<schema_name>.<table_name>');

• Lihat properti tabel induk dari tabel partisi logis.

  SELECT
      *
  FROM
      hologres.hg_table_properties
  WHERE 
      table_namespace = '<schema_name>'
      AND table_name = '<table_name>';

• Lihat partisi terbesar dari tabel partisi logis.

  Catatan

  Pembersihan data dan pembersihan partisi untuk tabel partisi logis adalah operasi asinkron. Untuk membersihkan data dari partisi terbesar, gunakan operasi `INSERT OVERWRITE` untuk menghapus data tersebut. Jika tidak, fungsi `MAX_PT` mungkin mengembalikan hasil yang salah.

  SELECT MAX_PT('<schema_name>.<table_name>');

Referensi

• ALTER LOGICAL PARTITION TABLE

• DROP LOGICAL PARTITION TABLE

• Migrasikan tabel partisi fisik ke tabel partisi logis