Hologres:Migrasi dari tabel partisi fisik ke tabel partisi logis

Kapan harus migrasi

Lakukan migrasi ke tabel partisi logis jika tabel partisi fisik Anda memenuhi salah satu kondisi berikut:

• Kelompok tabel berisi lebih dari 10.000 tabel anak, menyebabkan skala metadata yang besar.

• Partisi baru ditambahkan setiap hari, mengakibatkan operasi DDL yang sering.

Pilih pendekatan migrasi

Migrasi menggunakan dual-write verification (direkomendasikan)

Pendekatan ini menjaga tabel lama dan baru tetap berjalan secara paralel selama migrasi sehingga meminimalkan dampak terhadap bisnis.

CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

SET statement_timeout = 0;
ASYNC CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

BEGIN;
ALTER TABLE <source_table_name> RENAME TO <source_table_name_archive>;
ALTER TABLE <target_table_name> RENAME TO <source_table_name>;
COMMIT;

Migrasi menggunakan REBUILD (tidak direkomendasikan)

Saat REBUILD selesai, tabel partisi fisik akan diganti namanya menjadi tmp_rebuild_old_<query_id>_<unique_id>_<table_name>. Tugas terkait mungkin menghasilkan error hingga Anda menyelesaikan adaptasi tugas.

1. Hentikan tugas write untuk tabel partisi fisik.

2. Jalankan REBUILD untuk mengonversi tabel:

   -- Tambahkan kendala NOT NULL ke bidang partisi.
   ASYNC REBUILD TABLE user_profile ALTER ds SET NOT NULL;
   
   -- Konversi tabel partisi fisik ke tabel partisi logis (mempertahankan aslinya).
   ASYNC REBUILD TABLE user_profile WITH (keep_source) TO logical partition;

   Untuk informasi lebih lanjut, lihat REBUILD.

3. Perbarui tugas write dan restart.

4. Adaptasi tugas kueri ke tabel partisi logis baru.

5. Adaptasi tugas O&M ke tabel partisi logis baru.

Konversi skema tabel

Saat membuat tabel partisi logis dari DDL tabel partisi fisik yang ada, lakukan perubahan berikut:

• Tambahkan kata kunci LOGICAL sebelum PARTITION BY.

• Tambahkan NOT NULL ke kolom kunci partisi.

• (Opsional) Tambahkan kunci partisi kedua. Tabel partisi fisik mendukung satu kunci partisi; tabel partisi logis mendukung hingga dua.

Tabel partisi fisik:

BEGIN;
CREATE TABLE user_profile (
    a TEXT,
    b TEXT,
    ds TEXT
)
PARTITION BY LIST (ds);
CREATE TABLE user_profile_202503 PARTITION OF user_profile FOR VALUES IN ('202503');
CREATE TABLE user_profile_202504 PARTITION OF user_profile FOR VALUES IN ('202504');
COMMIT;

Tabel partisi logis — satu kunci partisi:

CREATE TABLE user_profile_lp_1 (
    a TEXT,
    b TEXT,
    ds TEXT NOT NULL)
LOGICAL PARTITION BY LIST (ds);

Tabel partisi logis — dua kunci partisi (memisahkan ds menjadi yy untuk tahun dan mm untuk bulan):

CREATE TABLE user_profile_lp_2 (
    a TEXT,
    b TEXT,
    yy TEXT NOT NULL,
    mm TEXT NOT NULL)
LOGICAL PARTITION BY LIST (yy, mm);

Adaptasi tugas impor

Jika tugas impor Anda menulis ke tabel partisi fisik melalui Fixed Plan: tidak perlu perubahan.

Jika tugas impor Anda menulis ke tabel anak (partisi): lakukan perubahan berikut:

• Hapus pernyataan yang membuat tabel anak. Tabel partisi logis tidak memiliki partisi fisik.

• Ubah nama tabel target dari nama tabel anak ke nama tabel induk.

-- Tugas asli: impor data ke tabel partisi fisik
CREATE TABLE user_profile_202505 PARTITION OF user_profile FOR VALUES IN ('202505');
INSERT INTO user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Tugas diperbarui: impor data ke tabel partisi logis
INSERT INTO user_profile_lp_1 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Asli: tabel partisi fisik (metode temporary table)
CREATE TABLE tmp_user_profile_202505(a text, b text, ds text);
INSERT INTO tmp_user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

BEGIN;
DROP TABLE IF EXISTS user_profile_202505;
ALTER TABLE tmp_user_profile_202505 RENAME TO user_profile_202505;
ALTER TABLE user_profile ATTACH PARTITION user_profile_202505 FOR VALUES IN ('202505');
COMMIT;

-- Asli: tabel partisi fisik (metode hg_insert_overwrite)
CALL hg_insert_overwrite('user_profile', '202505', $$SELECT a, b, mm FROM <source_table> WHERE ds='202505'$$);

-- Diperbarui: tabel partisi logis (native INSERT OVERWRITE)
INSERT OVERWRITE user_profile_lp_1 PARTITION (ds = '202505') SELECT a, b, ds FROM <source_table> WHERE ds='202505';

Adaptasi tugas kueri

Jika kueri Anda mengarah ke tabel induk: tidak perlu perubahan.

Jika kueri Anda mengarah ke tabel anak: ubah agar mengkueri tabel induk dan tambahkan kondisi filter partisi.

-- Asli: tabel partisi fisik
SELECT * FROM user_profile_202504;

-- Diperbarui: tabel partisi logis
SELECT * FROM user_profile_lp_1 WHERE ds = '202504';

Adaptasi tugas O&M

Beberapa operasi O&M menggunakan tabel sistem atau fungsi yang berbeda untuk tabel partisi logis.

Pemetaan properti dan parameter

Tabel berikut memetakan parameter partisi otomatis dan properti tabel lainnya antara tabel partisi fisik dan logis.