Hologres:Roaringbitmap

Cara kerja

Roaring bitmap membagi bilangan bulat 32-bit menjadi 2^16 chunk. Bilangan bulat dalam chunk yang sama memiliki 16 bit paling signifikan yang identik, sedangkan 16 bit paling tidak signifikannya disimpan dalam sebuah Kontainer. Kontainer-Kontainer tersebut disimpan dalam sebuah array dinamis sebagai Indeks primer.

Dua jenis container digunakan untuk menyeimbangkan penyimpanan dan performa:

Struktur ini memungkinkan pengambilan nilai yang cepat serta operasi bitwise efisien (AND, OR, XOR) antar container.

Batasan

• Hanya instans eksklusif Hologres V0.10 dan versi lebih baru yang mendukung fungsi roaring bitmap.

  Periksa versi instans Anda di Konsol Hologres. Jika versinya lebih lama dari V0.10, upgrade instans melalui konsol atau bergabung dengan grup DingTalk untuk dukungan teknis. Lihat Kesalahan umum saat persiapan upgrade gagal dan Dapatkan dukungan online untuk Hologres.

• Fungsi roaring bitmap dimuat ke skema public secara default dan hanya dapat dimuat ke skema public.

• Mulai dari Hologres V3.1, tipe data RoaringBitmap64 didukung. Beberapa fungsi roaring bitmap dapat memproses data bertipe RoaringBitmap64. Namun, saat memproses data RoaringBitmap64, fungsi-fungsi tersebut tidak mendukung parameter input konstan.

• Sebelum menggunakan fungsi roaring bitmap, aktifkan ekstensi dengan pernyataan berikut. Ekstensi ini berlaku dalam cakupan database—jalankan sekali per database. Ulangi prosedur ini untuk setiap database baru yang Anda buat.

  -- Aktifkan ekstensi.
  CREATE EXTENSION roaringbitmap;

  Untuk menghapus ekstensi:

  DROP EXTENSION roaringbitmap;

  Penting

  Hindari DROP EXTENSION <extension_name> CASCADE;. Opsi CASCADE menghapus ekstensi beserta seluruh datanya dan objek dependennya—termasuk data PostGIS, data roaring bitmap, data Proxima, data log biner, dan data BSI, serta metadata, tabel, tampilan, dan objek server yang dependen.

• Kolom roaring bitmap tidak dapat ditentukan sebagai indeks bitmap atau dictionary.

• Saat membuat tabel dengan kolom roaring bitmap, tentukan secara eksplisit tipe kolom sebagai roaringbitmap (32-bit) atau roaringbitmap64 (64-bit). Perhitungan campuran antara kedua tipe tersebut tidak didukung.

  -- Buat tabel dengan kolom roaring bitmap 32-bit.
  CREATE TABLE t_rb_32 (
      bucket int,
      x roaringbitmap
  );
  
  -- Buat tabel dengan kolom roaring bitmap 64-bit.
  CREATE TABLE t_rb_64 (
      bucket int,
      x roaringbitmap64
  );
  
  -- Perhitungan campuran menghasilkan error.
  -- ERROR: operator does not exist: roaringbitmap & roaringbitmap64
  SELECT
      a.x & b.x
  FROM
      t_rb_32 a
  JOIN t_rb_64 b ON a.bucket = b.bucket;

Operator

Semua operator di bawah ini mendukung tipe RoaringBitmap dan RoaringBitmap64 kecuali dinyatakan lain.

Fungsi roaring bitmap

-- Persiapkan data.
CREATE TABLE public.tn (
    id INT,
    num BIGINT[]
);
INSERT INTO public.tn ("id", "num") VALUES (01, '{1,2}');

SELECT rb64_build(num) rb_num, num FROM public.tn;

rb_num                                                                          | num
--------------------------------------------------------------------------------+------
\x030100000000000000000000003a30000001000000000001001000000001000200             | {1,2}

-- Buat tabel contoh.
CREATE TABLE rb_text (
    id int,
    a text
);

-- Masukkan data.
INSERT INTO rb_text
    VALUES (1, '\x3a300000010000000000090010000000010002000300040005000600070008000900c800');

-- Konversi ke RoaringBitmap dan hitung kardinalitas AND.
SELECT
    rb_and_cardinality_agg(roaringbitmap_in(a::cstring))
FROM
    rb_text;

 rb_and_cardinality_agg
------------------------
                     10

Fungsi agregat roaring bitmap

-- Agregasi OR: mengembalikan gabungan semua bitmap input.
SELECT rb_or_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Hasil: {1,2,3,4}

-- Agregasi AND: mengembalikan irisan semua bitmap input.
SELECT rb_and_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Hasil: {2,3}

-- Agregasi kardinalitas OR.
SELECT rb_or_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Hasil: 4

-- Agregasi kardinalitas AND.
SELECT rb_and_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Hasil: 2

-- Agregasi XOR: mengembalikan elemen yang hanya ada di salah satu dari dua bitmap.
SELECT rb_xor_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Hasil: {1,4}

-- Agregasi kardinalitas XOR.
SELECT rb_xor_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Hasil: 2

Fungsi roaring bitmap lainnya

Fungsi berikut hanya mendukung tipe RoaringBitmap (32-bit).

Contoh

Contoh end-to-end berikut menunjukkan alur kerja lengkap: aktifkan ekstensi, buat tabel, masukkan data, jalankan operasi bitwise, dan periksa hasilnya.

1. Aktifkan ekstensi.

   CREATE EXTENSION roaringbitmap;

2. Buat tabel untuk menyimpan data roaring bitmap.

   -- Buat tabel t1.
   CREATE TABLE public.t1 (id integer, bitmap roaringbitmap);

3. Masukkan data roaring bitmap.

   -- Bangun bitmap dari array eksplisit.
   INSERT INTO public.t1 SELECT 1, RB_BUILD(ARRAY[1,2,3,4,5,6,7,8,9,200]);
   
   -- Bangun bitmap dengan mengagregasi deret yang di-generate.
   INSERT INTO public.t1 SELECT 2, RB_BUILD_AGG(e) FROM GENERATE_SERIES(1,100) e;

4. Jalankan operasi bitwise.

   -- OR kedua bitmap.
   SELECT RB_OR(a.bitmap, b.bitmap)
   FROM (SELECT bitmap FROM public.t1 WHERE id = 1) AS a,
        (SELECT bitmap FROM public.t1 WHERE id = 2) AS b;

   Output yang diharapkan (gabungan {1..9, 200} dan {1..100}):

    rb_or
   -------
    {1,2,3,4,5,6,7,8,9,10,...,100,200}

5. Jalankan operasi agregat untuk menggabungkan semua bitmap dalam tabel.

   SELECT RB_OR_AGG(bitmap)  FROM public.t1;  -- gabungan semua bitmap
   SELECT RB_AND_AGG(bitmap) FROM public.t1;  -- irisan semua bitmap
   SELECT RB_XOR_AGG(bitmap) FROM public.t1;  -- selisih simetris
   SELECT RB_BUILD_AGG(id)   FROM public.t1;  -- bangun bitmap dari kolom id

6. Hitung kardinalitas (jumlah bit yang di-set).

   SELECT RB_CARDINALITY(bitmap) FROM public.t1;

   Output yang diharapkan:

    id | rb_cardinality
   ----+----------------
     1 |             10
     2 |            100

7. Daftar semua offset yang di-set.

   SELECT RB_ITERATE(bitmap) FROM public.t1 WHERE id = 1;

   Output yang diharapkan:

    rb_iterate
   ------------
             1
             2
             3
             4
             5
             6
             7
             8
             9
           200

8. Konversi roaring bitmap ke array.

   SELECT RB_TO_ARRAY(bitmap) FROM public.t1 WHERE id = 1;

   Output yang diharapkan:

              rb_to_array
   --------------------------------
    {1,2,3,4,5,6,7,8,9,200}