Hologres：Panduan pengguna grup tabel dan jumlah shard

Pengaturan yang direkomendasikan tentang grup tabel dan jumlah shard

Izin

• Untuk membuat grup tabel, mengubah grup tabel default, menghapus grup tabel, atau menggunakan fitur resharding untuk memigrasi tabel ke grup tabel baru, Anda harus memiliki izin superuser di instance Hologres. Sebagai superuser, Anda dapat mengeksekusi pernyataan berikut untuk memberikan peran superuser kepada pengguna biasa:

  -- Ganti Account ID dengan ID akun Alibaba Cloud Anda. Jika pengguna RAM digunakan, awali ID akun dengan p4_. 
  ALTER USER "Account ID" SUPERUSER; 

• Untuk membuat tabel dan menambahkannya ke grup tabel tertentu, Anda memerlukan izin untuk membuat tabel.

Kueri metadata grup tabel

1. Kueri grup tabel default.

   SELECT * FROM hologres.hg_table_group_properties
   WHERE tablegroup_name IN (
     SELECT tablegroup_name FROM hologres.hg_table_group_properties
     WHERE property_key = 'is_default_tg' AND property_value = '1'
   );

   Hasil berikut akan dikembalikan:

   Catatan

   Dalam hasil yang dikembalikan, properti is_default_tg menunjukkan apakah grup tabel adalah grup tabel default, sedangkan properti shard_count menunjukkan jumlah shard pada grup tabel.

   tablegroup_name |   property_key   | property_value
   -----------------+------------------+----------------
    test_tg_default | tg_version       | 1
    test_tg_default | table_num        | 1               
    test_tg_default | is_default_tg    | 1               
    test_tg_default | shard_count      | 3
    test_tg_default | replica_count    | 1
    test_tg_default | created_manually | 0
   (6 baris)

2. Kueri grup tabel di database saat ini.

   SELECT tablegroup_name
   FROM hologres.hg_table_group_properties GROUP BY tablegroup_name;

   Hasil berikut akan dikembalikan:

   tablegroup_name
   -----------------
    test_tg_default
   (1 baris)

3. Kueri jumlah shard dari grup tabel.

   SELECT property_value AS shard_count
   FROM hologres.hg_table_group_properties
   WHERE property_key = 'shard_count' AND tablegroup_name ='<tg_name>';

   Hasil berikut akan dikembalikan:

   shard_count
   -------------
    3
   (1 baris)

4. Kueri tabel dalam grup tabel.

   SELECT table_namespace AS schema_name, table_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND property_value = '<tg_name>';

   Hasil berikut akan dikembalikan:

   schema_name | table_name
   -------------+------------
    public      | a
   (1 baris)

5. Kueri grup tabel tempat tabel milik.

   SELECT property_value AS table_group_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND table_name = '<table_name>';

   Hasil berikut akan dikembalikan:

   table_group_name
   ------------------
    test_tg_default
   (1 baris)

Buat grup tabel

CALL HG_CREATE_TABLE_GROUP ('<new_tg_name>', <shard_count>);

-- Buat grup tabel bernama tg_8 dan memiliki delapan shard.
CALL HG_CREATE_TABLE_GROUP ('tg_8', 8);

Ubah grup tabel default

Setelah membuat database, grup tabel default dengan jumlah shard default akan dibuat untuk database di instance Hologres. Untuk informasi lebih lanjut, lihat Tipe Instance. Jika database berisi beberapa grup tabel, Anda dapat mengeksekusi pernyataan berikut untuk mengubah grup tabel default sehingga tabel yang dibuat kemudian tersimpan di grup tabel default baru.

CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', '<tg_name>');

Tabel berikut menjelaskan parameter dalam sintaksis sebelumnya.

Contoh:

-- Di Hologres V0.9 dan lebih baru, Anda dapat mengonfigurasi grup tabel yang baru dibuat sebagai grup tabel default. Setelah pengaturan berlaku, tabel yang dibuat kemudian disimpan di grup tabel default baru.
CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', 'tg_8');

Buat tabel dan tambahkan ke grup tabel tertentu

BEGIN;
CREATE TABLE table_name (
    col type,
  ....
);
CALL SET_TABLE_PROPERTY('table_name', 'table_group', '<tg_name>');
COMMIT;

-- Buat tabel bernama tbl1 dan tambahkan ke grup tabel bernama tg_8.
BEGIN;
CREATE TABLE tbl1 (
    col1 text
);
CALL SET_TABLE_PROPERTY('tbl1', 'table_group', 'tg_8');
COMMIT;

Gunakan fitur resharding untuk memigrasi tabel ke grup tabel baru

Di Hologres, shard digunakan untuk meningkatkan paralelisme pemrosesan data. Anda dapat mengatur jumlah shard ke nilai yang sesuai untuk meningkatkan kinerja query atau penulisan. Dalam kebanyakan kasus, jumlah shard default untuk instance Hologres sudah memadai, sehingga Anda tidak perlu mengubah jumlah shard.

Sebagai contoh, setelah instance Hologres diskalakan dari 32 core CPU menjadi 128 core CPU, jumlah shard untuk database yang ada di instance tersebut tidak berubah. Jika Anda ingin meningkatkan kinerja database, disarankan untuk meningkatkan jumlah shard. Jika Anda membuat database baru di instance Hologres, jumlah shard default untuk spesifikasi instance saat ini akan berlaku. Informasi lebih lanjut tentang spesifikasi instance dan shard dapat ditemukan di Spesifikasi Instance.

Setelah instance Hologres diskalakan masuk atau keluar, jumlah shard untuk database yang ada tidak berubah. Anda dapat mengeksekusi pernyataan untuk mengubah jumlah shard dan mengimpor data lagi.

• Untuk tabel reguler dan tabel partisi fisik, sintaksis REBUILD dan prosedur tersimpan bawaan keduanya dapat digunakan.

• Untuk tabel partisi logis, disarankan untuk menggunakan sintaksis REBUILD, yang secara otomatis mengeksekusi operasi secara berurutan berdasarkan partisi.

  Gunakan REBUILD untuk resharding

  Mulai dari V3.1, Hologres mendukung sintaksis REBUILD untuk memodifikasi properti tabel, termasuk memigrasi tabel antara grup tabel. Sintaksis REBUILD memungkinkan eksekusi asinkron tugas migrasi dan mendukung pemantauan waktu nyata kemajuan tugas. Informasi lebih lanjut dapat ditemukan di REBUILD (Beta).

  Gunakan prosedur tersimpan bawaan untuk resharding

  Mulai dari V0.10, Hologres menyediakan fitur resharding. Setelah Anda mengubah jumlah shard, Anda dapat menggunakan fitur resharding untuk menyeimbangkan ulang tabel dan data yang ada di antara shard tanpa perlu membuat tabel dan mengimpor data lagi. Ini menyederhanakan prosedur dan mencapai kinerja optimal.

• Batasan

  • Fitur resharding didukung hanya di Hologres V0.10 dan versi lebih baru. Anda dapat melihat versi instance Hologres Anda di halaman detail instance di konsol Hologres. Jika versi instance Hologres Anda lebih lama dari V0.10, tingkatkan instance Hologres Anda secara manual di konsol Hologres atau bergabunglah dengan grup DingTalk Hologres untuk mengajukan permohonan peningkatan instance. Informasi lebih lanjut tentang cara meningkatkan instance Hologres secara manual dapat ditemukan di Peningkatan Instance. Informasi lebih lanjut tentang cara bergabung dengan grup DingTalk Hologres dapat ditemukan di Dapatkan dukungan online untuk Hologres.

  • Operasi resharding dilakukan pada satu tabel pada satu waktu. Saat melakukan operasi resharding pada tabel, penulisan data menggunakan Realtime Compute for Apache Flink atau Data Integration harus dihentikan. Anda masih dapat menanyakan data di tabel. Di Hologres V1.1 dan versi lebih baru, Anda dapat menentukan set table readonly untuk mengimplementasikan failover otomatis untuk penulisan data real-time.

  • Resharding mengonsumsi sumber daya CPU dan penyimpanan tambahan. Kami merekomendasikan agar Anda melakukan operasi resharding selama jam-jam sepi.

  • Jika binary logging diaktifkan untuk tabel, Anda harus menonaktifkannya sebelum melakukan operasi resharding pada tabel. Anda dapat mengaktifkan binary logging lagi setelah resharding selesai. Informasi lebih lanjut dapat ditemukan di Berlangganan Log Biner Hologres.

  • Anda tidak dapat melakukan operasi resharding pada tabel jika tabel berisi bidang auto-increment dari tipe data SERIAL atau tabel dibuat dengan batasan DEFAULT. Jika tabel berisi bidang auto-increment dari tipe data SERIAL, kesalahan terjadi selama resharding. Jika tabel dibuat dengan batasan DEFAULT, batasan DEFAULT menjadi tidak efektif setelah resharding selesai.

  • Anda tidak dapat melakukan operasi resharding pada tabel yang memiliki objek dependen, seperti view. Anda harus menghapus objek dependen yang relevan sebelum melakukan operasi resharding. Jika tidak, pesan kesalahan ERROR: resharding table xxx can not executed because other objects depend on it akan dilaporkan.

  • Di Hologres V2.2.29 dan versi lebih baru, serta di Hologres V3.0.36 dan versi lebih baru, fitur resharding didukung untuk tabel yang dirujuk oleh satu atau lebih view. Anda dapat mengaktifkan resharding untuk tabel tersebut dengan menjalankan perintah set hg_experimental_hg_insert_overwrite_enable_view=on;.

  • Anda dapat melakukan operasi resharding hanya di database yang menggunakan model izin sederhana (SPM). Database yang menggunakan model otorisasi PostgreSQL standar tidak mendukung resharding. Informasi lebih lanjut tentang model izin Hologres dapat ditemukan di Ikhtisar.

  • Properti partisi dinamis tidak dipertahankan setelah operasi resharding.

  • Di Hologres V2.0 dan versi lebih baru, komentar kolom dipertahankan setelah operasi resharding. Jika versi instance Hologres Anda lebih lama dari V2.0, cadangkan komentar kolom sebelum operasi resharding dan tambahkan komentar secara manual setelah operasi selesai.

• Sintaksis

  • Jika versi instance Hologres Anda adalah V2.0.24 atau lebih baru, kami merekomendasikan agar Anda melakukan operasi resharding di konsol HoloWeb. Informasi lebih lanjut dapat ditemukan di Resharding Tabel.

  • Jika versi instance Hologres Anda lebih lama dari V2.0.24, Anda dapat mengeksekusi pernyataan berikut untuk memigrasikan beberapa tabel bisnis ke grup tabel baru. Jika versi instance Hologres Anda lebih lama dari V0.10, tingkatkan instance Anda.

  Catatan

  • Anda harus membuat grup tabel sebelum memigrasikan tabel ke grup tabel. Informasi lebih lanjut tentang cara membuat grup tabel dapat ditemukan di Buat Grup Tabel.

  • Saat memigrasikan tabel, Anda harus menghentikan penulisan data ke tabel. Anda masih dapat menanyakan data dari tabel-tabel ini.

  • Setelah semua tabel di grup tabel asli dimigrasikan, grup tabel asli secara otomatis dihapus. Jika Anda ingin membuat beberapa grup tabel berdasarkan kebutuhan bisnis Anda, kami merekomendasikan agar Anda mengatur jumlah shard ke nilai yang sesuai untuk setiap grup tabel.

  • Saat memigrasikan tabel partisi, Anda hanya perlu memigrasikan tabel induk.

  • Jika Anda menggunakan instance gudang virtual dan ingin memigrasikan tabel dari Table Group A ke Table Group B, Anda harus menggunakan gudang virtual pemimpin dari Table Group B untuk melakukan tugas migrasi ini. Selain itu, Anda harus memastikan bahwa gudang virtual pemimpin dari Table Group B memiliki izin akses pada Table Group A. Oleh karena itu, gudang virtual pemimpin dari Table Group B harus dimuat sebagai gudang virtual pengikut dari Table Group A. Informasi lebih lanjut tentang otorisasi izin terkait dapat ditemukan di Kelola Izin pada Grup Tabel yang Dimuat ke Gudang Virtual.

  -- Sintaksis yang didukung oleh Hologres V1.1 dan lebih baru:
  CALL HG_MOVE_TABLE_TO_TABLE_GROUP('<table_name>','<new_table_group_name>');
  
  -- Sintaksis yang didukung oleh Hologres V0.10:
  CALL HG_UPDATE_TABLE_SHARD_COUNT('<table_name>','<new_table_group_name>');

• Parameter

  Parameter	Deskripsi	Contoh
  table_name	Nama tabel yang ingin Anda migrasikan. Anda dapat mengeksekusi salah satu pernyataan sebelumnya untuk memigrasikan satu tabel pada satu waktu. Jika Anda ingin memigrasikan beberapa tabel, eksekusi pernyataan beberapa kali. Jika tabel yang ingin Anda migrasikan adalah tabel partisi, Anda hanya perlu memigrasikan tabel induk.	new_table
  table_group_name	Nama grup tabel ke mana Anda ingin memigrasikan tabel.	new_tg

• Penanganan Pengecualian

  Selama proses resharding tabel, tabel dikonfigurasikan sebagai read-only dan kemudian dimigrasikan ke grup tabel baru menggunakan tabel sementara. Tugas resharding melibatkan impor data dan memakan waktu. Selama proses tersebut, pengecualian seperti out of memory (OOM) dan terminasi manual tugas mungkin terjadi. Saat pengecualian terjadi, tabel asli tetap dalam keadaan read-only, dan tabel sementara bernama <initial_table_name>_xxxxxxxx ada di database. Untuk menangani pengecualian, ikuti instruksi berikut:

  • Jika versi instance Hologres Anda lebih lama dari V2.0.24, tingkatkan instance atau ajukan tiket. Informasi lebih lanjut tentang cara meningkatkan instance dapat ditemukan di Peningkatan Instance.

  • Jika versi instance Hologres Anda adalah V2.0.24 atau lebih baru, patuhi aturan berikut:

    • Jika Anda melakukan operasi resharding di konsol HoloWeb, klik Lanjutkan atau Batalkan sesuai kebutuhan. Informasi lebih lanjut dapat ditemukan di Resharding Tabel.

    • Jika Anda melakukan operasi resharding dengan mengeksekusi pernyataan sebelumnya, lakukan salah satu operasi berikut untuk melanjutkan atau membatalkan operasi resharding:

      1. Jika Anda ingin melanjutkan operasi resharding, perbaiki masalah dan eksekusi pernyataan CALL HG_MOVE_TABLE_TO_TABLE_GROUP pada tabel lagi.

      2. Jika Anda ingin membatalkan operasi resharding dan mengembalikan ke keadaan semula, eksekusi pernyataan berikut secara berurutan:

         -- Nonaktifkan properti read-only dari tabel asli.
         CALL set_table_property('<schema_name>.<table_name>','readonly','false');
         
         -- Bersihkan tabel sementara.
           -- Dapatkan nama tabel partisi sementara.
         SELECT schema_name,target_temp_table_name FROM hologres.hg_resharding_properties WHERE reshard_table_name = <schema_name>.<table_name> AND is_parent_table IS TRUE;
           -- Dapatkan nama tabel non-partisi sementara.
         SELECT schema_name,target_temp_table_name FROM hologres.hg_resharding_properties WHERE reshard_table_name = <schema_name>.<table_name> AND is_parent_table IS FALSE AND is_sub_table IS FALSE;
           -- Bersihkan tabel sementara.
         DROP TABLE IF EXISTS <schema_name>.<target_temp_table_name>;
         
         -- Bersihkan tabel sistem. Tabel sistem mencatat kemajuan resharding dari tabel saat ini. Jika Anda ingin membatalkan tugas resharding, Anda harus membersihkan data di tabel sistem.
         CALL hologres.hg_internal_clear_resharding_properties('<schema_name>.<table_name>'); 

Hapus grup tabel

CALL HG_DROP_TABLE_GROUP('<tg_name>');

-- Hapus grup tabel bernama tg_8.
CALL HG_DROP_TABLE_GROUP('tg_8');

Kueri hubungan alokasi antara shard dan node pekerja

Shard perlu dialokasikan secara merata ke pekerja. Informasi lebih lanjut dapat ditemukan di bagian Hubungan antara Jumlah Shard dan Node Komputasi Pekerja di topik "Konsep Dasar". Jika shard tidak dialokasikan secara merata ke pekerja, kemiringan sumber daya mungkin terjadi, yang menyebabkan penggunaan sumber daya yang tidak efisien. Hologres V1.3 memungkinkan Anda menanyakan hubungan alokasi di antara node pekerja, grup tabel, dan jumlah shard di database saat ini di tampilan sistem worker_info. Ini membantu menyelesaikan masalah alokasi sumber daya yang tidak merata. Informasi lebih lanjut tentang cara menanyakan alokasi shard di antara node pekerja dapat ditemukan di Kueri Alokasi Shard di Antara Pekerja.

Praktik Terbaik

Dalam kebanyakan kasus, kami merekomendasikan agar Anda tidak membuat grup tabel atau mengubah jumlah shard dari grup tabel. Jika Anda ingin membuat grup tabel berdasarkan kebutuhan bisnis Anda, Anda dapat merencanakan grup tabel berdasarkan praktik terbaik. Informasi lebih lanjut dapat ditemukan di Praktik Terbaik untuk Menentukan Grup Tabel.

Pemecahan Masalah

Resharding adalah proses yang kompleks yang melibatkan beberapa langkah, seperti pembuatan tabel sementara, perubahan status read-only tabel sumber, penulisan data ke tabel tujuan, perubahan nama tabel, dan pencatatan status sinkronisasi. Jika pengecualian terjadi saat Anda melakukan satu atau lebih langkah, sistem mungkin memasuki keadaan yang tidak diketahui. Dalam hal ini, Anda dapat menggunakan solusi berikut untuk pemecahan masalah.