Hologres:Kelola kelompok tabel dan shard

Cara kerja Table Groups dan shard

Sebuah instans Hologres mengorganisasi data dalam hierarki dua tingkat:

• Table Group — Kontainer logis yang menampung satu atau beberapa tabel. Semua tabel dalam Table Group yang sama memiliki jumlah shard yang sama.

• Shard — Unit distribusi data. Shard tersebar di seluruh Worker (node komputasi) untuk pemrosesan paralel.

Setiap database memiliki Table Group default dengan jumlah shard yang sesuai dengan spesifikasi instans. Konfigurasi default ini cukup untuk sebagian besar workload.

Rekomendasi konfigurasi

Ikuti panduan berikut:

• Gunakan Table Group default kecuali workload Anda memerlukan jumlah shard yang berbeda. Jumlah shard default berdasarkan ukuran instans tercantum di Instance management.

• Instans besar (> 256 CUs): Pertimbangkan penggunaan beberapa Table Group untuk load balancing:

  • Volume data besar — buat Table Group terpisah dengan jumlah shard lebih tinggi.

  • Banyak tabel kecil — buat Table Group terpisah dengan jumlah shard lebih rendah untuk mengurangi overhead startup kueri.

• Tabel yang melakukan join harus berada dalam Table Group yang sama.

• Jangan membuat satu Table Group per tabel. Hal ini menambah overhead dan fragmentasi yang tidak perlu.

• Selaraskan jumlah shard dengan jumlah Worker. Atur jumlah shard sebagai kelipatan jumlah Worker untuk penggunaan sumber daya yang seimbang dan memudahkan scale-out.

SET hg_experimental_enable_shard_count_cap = off;

Izin

Hanya superuser yang dapat membuat, memodifikasi, atau menghapus Table Group, atau memindahkan tabel ke Table Group berbeda (resharding).

Untuk memberikan hak istimewa superuser kepada pengguna:

-- Ganti <ID akun Alibaba Cloud> dengan UID pengguna.
-- Untuk Pengguna RAM, tambahkan awalan "p4_" ke ID akun.
ALTER USER "<ID akun Alibaba Cloud>" SUPERUSER;

Menetapkan tabel baru ke Table Group hanya memerlukan izin pembuatan tabel.

Kueri metadata Grup Tabel

SELECT * FROM hologres.hg_table_group_properties
WHERE tablegroup_name IN (
  SELECT tablegroup_name FROM hologres.hg_table_group_properties
  WHERE property_key = 'is_default_tg' AND property_value = '1'
);

 tablegroup_name |   property_key   | property_value
-----------------+------------------+----------------
 test_tg_default | tg_version       | 1
 test_tg_default | table_num        | 1
 test_tg_default | is_default_tg    | 1
 test_tg_default | shard_count      | 3
 test_tg_default | replica_count    | 1
 test_tg_default | created_manually | 0
(6 rows)

SELECT tablegroup_name
FROM hologres.hg_table_group_properties GROUP BY tablegroup_name;

SELECT property_value AS shard_count
FROM hologres.hg_table_group_properties
WHERE property_key = 'shard_count' AND tablegroup_name = '<tg_name>';

SELECT table_namespace AS schema_name, table_name
FROM hologres.hg_table_properties
WHERE property_key = 'table_group' AND property_value = '<tg_name>';

SELECT property_value AS table_group_name
FROM hologres.hg_table_properties
WHERE property_key = 'table_group' AND table_name = '<table_name>';

Buat Table Group

CALL HG_CREATE_TABLE_GROUP('<new_tg_name>', <shard_count>);

Contoh:

-- Buat Table Group bernama tg_8 dengan 8 shard.
CALL HG_CREATE_TABLE_GROUP('tg_8', 8);

Ubah Table Group default

Tetapkan Table Group default yang berbeda agar tabel baru secara otomatis ditetapkan ke dalamnya.

CALL HG_UPDATE_DATABASE_PROPERTY('default_table_group', '<tg_name>');

Contoh:

-- Tetapkan tg_8 sebagai Table Group default.
CALL HG_UPDATE_DATABASE_PROPERTY('default_table_group', 'tg_8');

Tetapkan tabel baru ke Table Group tertentu

Bungkus panggilan CREATE TABLE dan SET_TABLE_PROPERTY dalam transaksi:

BEGIN;
CREATE TABLE <table_name> (
    col1 text,
    ...
);
CALL SET_TABLE_PROPERTY('<table_name>', 'table_group', '<tg_name>');
COMMIT;

Contoh:

-- Buat tabel tbl1 dan tetapkan ke Table Group tg_8.
BEGIN;
CREATE TABLE tbl1 (
    col1 text
);
CALL SET_TABLE_PROPERTY('tbl1', 'table_group', 'tg_8');
COMMIT;

Reshard tabel

Proses scale-up instans tidak mengubah jumlah shard untuk database yang sudah ada. Untuk memanfaatkan kapasitas tambahan, buat Table Group baru dengan jumlah shard lebih tinggi dan pindahkan tabel Anda ke dalamnya. Database baru yang dibuat setelah scale-up akan menggunakan nilai default yang telah diperbarui. Ikhtisar spesifikasi instans.

Tersedia tiga metode:

-- Untuk V1.1 dan versi lebih baru:
CALL HG_MOVE_TABLE_TO_TABLE_GROUP('<table_name>', '<new_table_group_name>');

-- Untuk V0.10 dan versi lebih baru:
CALL HG_UPDATE_TABLE_SHARD_COUNT('<table_name>', '<new_table_group_name>');

-- 1. Hapus flag read-only dari tabel asli.
CALL set_table_property('<schema_name>.<table_name>', 'readonly', 'false');

-- 2. Temukan nama tabel sementara.
-- Untuk tabel partisi:
SELECT schema_name, target_temp_table_name
FROM hologres.hg_resharding_properties
WHERE reshard_table_name = '<schema_name>.<table_name>' AND is_parent_table IS TRUE;

-- Untuk tabel non-partisi:
SELECT schema_name, target_temp_table_name
FROM hologres.hg_resharding_properties
WHERE reshard_table_name = '<schema_name>.<table_name>'
  AND is_parent_table IS FALSE AND is_sub_table IS FALSE;

-- 3. Hapus tabel sementara.
DROP TABLE IF EXISTS <schema_name>.<target_temp_table_name>;

-- 4. Hapus catatan progres resharding.
CALL hologres.hg_internal_clear_resharding_properties('<schema_name>.<table_name>');

Hapus Table Group

Hapus semua tabel dari Table Group terlebih dahulu, lalu jalankan:

CALL HG_DROP_TABLE_GROUP('<tg_name>');

Contoh:

CALL HG_DROP_TABLE_GROUP('tg_8');

Periksa distribusi shard ke Worker

Distribusi shard yang tidak merata di seluruh Worker menyebabkan ketidakseimbangan beban dan penggunaan sumber daya yang tidak efisien.

Mulai Hologres V1.3, gunakan view sistem worker_info untuk memeriksa pemetaan shard ke Worker. Konsep dasar menjelaskan hubungan shard ke node. Kueri alokasi shard di antara Worker menyediakan sintaks kueri.

Praktik terbaik

Table Group default cocok untuk sebagian besar workload. Konfigurasi khusus dijelaskan dalam Praktik terbaik untuk menetapkan kelompok tabel.

FAQ