Hologres：format penyimpanan tabel: berorientasi kolom, berorientasi baris, dan hibrida

Berorientasi Kolom

Pada tabel berorientasi kolom, data disimpan per kolom. Penyimpanan berorientasi kolom menggunakan format ORC secara default. Data dikodekan menggunakan berbagai algoritma pengkodean (seperti RLE dan dictionary encoding), lalu dikompresi lebih lanjut dengan algoritma kompresi utama (seperti Snappy, Zlib, Zstd, dan Lz4). Pendekatan ini, dikombinasikan dengan mekanisme seperti indeks bitmap dan materialisasi terlambat, meningkatkan efisiensi penyimpanan maupun performa kueri.

Berorientasi Baris

Pada tabel berorientasi baris, data disimpan per baris. Penyimpanan berorientasi baris menggunakan format SST secara default. Data disimpan dalam blok terkompresi yang diurutkan berdasarkan kunci. Indeks seperti Block Index dan Bloom Filter, bersama dengan mekanisme kompaksi latar belakang, mengorganisasi file untuk mengoptimalkan efisiensi kueri titik.

• (Direkomendasikan) Atur Primary Key

  Sistem menyimpan file indeks kunci primer untuk setiap tabel di lapisan penyimpanan dasar. Untuk informasi selengkapnya, lihat Primary Key. Saat tabel berorientasi baris memiliki kunci primer (PK), sistem secara otomatis menghasilkan row identifier (RID) untuk menemukan seluruh baris data. Sistem juga menetapkan PK sebagai Distribution Key sekaligus Clustering Key, sehingga memungkinkan penentuan lokasi shard dan file yang berisi data secara cepat. Untuk kueri berdasarkan kunci primer, sistem hanya memindai satu indeks kunci primer untuk mengambil semua kolom dari seluruh baris secara cepat, sehingga meningkatkan efisiensi kueri. Berikut adalah contoh SQL-nya.

  • Sintaksis pembuatan tabel yang didukung mulai V2.1:

    CREATE TABLE public.tbl_row (
        id TEXT NOT NULL,
        name TEXT NOT NULL,
        class TEXT,
        PRIMARY KEY (id)
    )
    WITH (
        orientation = 'row',
        clustering_key = 'id',
        distribution_key = 'id'
    );
    -- Contoh kueri titik berbasis PK
    SELECT * FROM public.tbl_row WHERE id ='1111';
    
    -- Kueri beberapa kunci
    SELECT * FROM public.tbl_row WHERE id IN ('1111','2222','3333');   

  • Sintaksis pembuatan tabel yang didukung oleh semua versi:

    BEGIN;
    CREATE TABLE public.tbl_row (
        id TEXT NOT NULL,
        name TEXT NOT NULL,
        class TEXT ,
    PRIMARY KEY (id)
    );
    CALL set_table_property('public.tbl_row', 'orientation', 'row');
    CALL set_table_property('public.tbl_row', 'clustering_key', 'id');
    CALL set_table_property('public.tbl_row', 'distribution_key', 'id');
    COMMIT;
    
    -- Contoh kueri titik berbasis PK
    SELECT * FROM public.tbl_row WHERE id ='1111';
    
    -- Kueri beberapa kunci
    SELECT * FROM public.tbl_row WHERE id IN ('1111','2222','3333');    

  Diagramnya sebagai berikut.

• (Tidak Direkomendasikan) Pengaturan PK dan Clustering Key yang tidak konsisten

  Jika Anda membuat tabel berorientasi baris dan menetapkan bidang yang berbeda untuk PK dan Clustering Key, sistem terlebih dahulu menemukan Clustering Key dan RID berdasarkan PK selama kueri. Kemudian sistem menggunakan Clustering Key dan RID tersebut untuk mengambil data baris lengkap. Hal ini memerlukan dua kali pemindaian dan mengakibatkan penurunan performa. Contoh SQL-nya sebagai berikut.

  • Sintaksis pembuatan tabel yang didukung mulai V2.1, mengatur tabel berorientasi baris dengan PK dan Clustering Key yang tidak konsisten:

    CREATE TABLE public.tbl_row (
        id TEXT NOT NULL,
        name TEXT NOT NULL,
        class TEXT,
        PRIMARY KEY (id)
    )
    WITH (
        orientation = 'row',
        clustering_key = 'name',
        distribution_key = 'id'
    );

  • Sintaksis pembuatan tabel yang didukung oleh semua versi, mengatur tabel berorientasi baris dengan PK dan Clustering Key yang tidak konsisten:

    BEGIN;
    CREATE TABLE public.tbl_row (
        id TEXT NOT NULL,
        name TEXT NOT NULL,
        class TEXT ,
    PRIMARY KEY (id)
    );
    CALL set_table_property('public.tbl_row', 'orientation', 'row');
    CALL set_table_property('public.tbl_row', 'clustering_key', 'name');
    CALL set_table_property('public.tbl_row', 'distribution_key', 'id');
    COMMIT;

  Diagramnya sebagai berikut.

Ringkasnya: Tabel berorientasi baris sangat cocok untuk skenario kueri titik berbasis kunci primer, memungkinkan kueri titik QPS tinggi. Saat membuat tabel, cukup definisikan PK saja. Sistem secara otomatis mengonfigurasi PK sebagai Distribution Key sekaligus Clustering Key untuk mengoptimalkan performa kueri. Hindari menetapkan bidang yang berbeda untuk PK dan Clustering Key karena akan menurunkan performa.