Hologres：Migrasikan tabel partisi fisik ke tabel partisi logis

Konversi struktur tabel

Pernyataan untuk membuat tabel partisi logis berbeda dari pernyataan untuk membuat tabel partisi fisik dalam hal-hal berikut:

• Tambahkan kata kunci LOGICAL ke pernyataan DDL dan tambahkan kendala NOT NULL untuk kunci partisi.

• (Opsional) Tabel partisi fisik hanya mendukung satu kunci partisi, sedangkan tabel partisi logis mendukung hingga dua. Anda dapat menambahkan kunci partisi kedua jika diperlukan.

Pertimbangkan contoh berikut.

• Buat tabel partisi fisik:

  BEGIN;
  CREATE TABLE user_profile (
      a TEXT,
      b TEXT,
      ds TEXT
  )
  PARTITION BY LIST (ds);
  CREATE TABLE user_profile_202503 PARTITION OF user_profile FOR VALUES IN ('202503');
  CREATE TABLE user_profile_202504 PARTITION OF user_profile FOR VALUES IN ('202504');
  COMMIT;

• Buat tabel partisi logis:

  • Pertahankan satu kunci partisi.

    CREATE TABLE user_profile_lp_1 (
        a TEXT,
        b TEXT,
        ds TEXT NOT NULL)
    LOGICAL PARTITION BY LIST (ds);

  • Ubah menjadi dua kunci partisi: tahun dan bulan.

    CREATE TABLE user_profile_lp_2 (
        a TEXT,
        b TEXT,
        yy TEXT NOT NULL,
        mm TEXT NOT NULL)
    LOGICAL PARTITION BY LIST (yy, mm);

Pemetaan tabel

Tabel berikut menjelaskan pemetaan properti tabel dan partisi antara tabel partisi fisik dan tabel partisi logis.

CLONE

Jika skema tabel tidak perlu diubah dan volume data sedang, Anda dapat menggunakan sintaks CLONE.

Contoh:

CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

Jika Anda memigrasikan data dalam jumlah besar dan operasi diperkirakan memakan waktu lama, Anda dapat menggunakan perintah ASYNC untuk menjalankan tugas di latar belakang. Setelah perintah dikirimkan, query_id dari pernyataan CALL akan dikembalikan. Anda dapat menggunakan query_id ini untuk memeriksa status eksekusi tugas asinkron di Query Insight.

SET statement_timeout = 0;
ASYNC CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

Migrasi manual

Jika skema tabel perlu diubah, atau jika volume data besar dan beban migrasi tinggi, gunakan metode migrasi manual. Metode ini memberikan fleksibilitas lebih dalam mengontrol kecepatan migrasi.

Langkah-langkah migrasi:

1. Buat tabel.

   Untuk informasi lebih lanjut, lihat Buat Tabel Partisi Logis dalam topik ini.

2. Impor data historis menggunakan prosedur tersimpan hg_insert_overwrite.

   CALL hg_insert_overwrite('logical_partition_table', '{20250601, 20250602}'::text[], 'SELECT * FROM tb');

Sintaks REBUILD (tidak direkomendasikan)

Jika Anda dapat menerima jendela waktu perubahan yang lebih lama dan potensi kegagalan beberapa tugas baca-tulis, Anda dapat menggunakan sintaks REBUILD untuk migrasi. Untuk informasi selengkapnya, lihat REBUILD (Beta).

Perhatikan hal berikut:

• Saat Anda menggunakan fitur REBUILD untuk memigrasikan tabel partisi, nama tabel partisi logis baru sama dengan nama tabel asli. Tabel partisi fisik asli diubah namanya menjadi tmp_rebuild_old_<query_id>_<unique_id>_<table_name>.

• Setelah migrasi selesai, Anda harus menyesuaikan tugas impor, kueri, dan O&M.

• Sebelum penyesuaian selesai, tugas terkait mungkin gagal karena masalah kompatibilitas. Oleh karena itu, metode ini tidak direkomendasikan untuk memigrasikan tabel partisi.

Contoh:

-- Tambahkan kendala NOT NULL ke bidang partisi.
ASYNC REBUILD TABLE user_profile ALTER ds SET NOT NULL;

-- Konversi tabel partisi fisik menjadi tabel partisi logis dan pertahankan tabel partisi fisik asli.
ASYNC REBUILD TABLE user_profile WITH (keep_source) TO logical partition;

Skenario 1: Tambahkan tabel anak atau subpartisi dan impor data

-- Tugas impor untuk tabel partisi fisik asli
CREATE TABLE user_profile_202505 PARTITION OF user_profile FOR VALUES IN ('202505');
INSERT INTO user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Tugas impor untuk tabel partisi logis baru
INSERT INTO user_profile_lp_1 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

Skenario 2: Segarkan data di tabel anak atau subpartisi

-- Tugas segarkan untuk tabel partisi fisik asli (dengan membuat tabel sementara untuk mengimplementasikan INSERT OVERWRITE)
-- Buat tabel sementara dan impor data.
CREATE TABLE tmp_user_profile_202505(a text, b text, ds text);
INSERT INTO tmp_user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Ubah nama tabel sementara dan sambungkan ke tabel induk.
BEGIN;
DROP TABLE IF EXISTS user_profile_202505;
ALTER TABLE tmp_user_profile_202505 RENAME TO user_profile_202505;
ALTER TABLE user_profile ATTACH PARTITION user_profile_202505 FOR VALUES IN ('202505');
COMMIT;

-- Tugas segarkan untuk tabel partisi fisik asli (menggunakan perintah hg_insert_overwrite)
CALL hg_insert_overwrite('user_profile' , '202505', $$SELECT a, b, mm FROM <source_table> WHERE ds='202505'$$);

-- Tugas segarkan untuk tabel partisi logis baru (menggunakan sintaks INSERT OVERWRITE asli)
INSERT OVERWRITE user_profile_lp_1 PARTITION (ds = '202505') SELECT a, b, ds FROM <source_table> WHERE ds='202505';