Hologres:Roaringbitmap

Çalışma mekanizması

Bir roaring bitmap, 32 bitlik tamsayıları 2^16 parçaya böler. Aynı parçadaki tamsayılar aynı 16 en anlamlı biti paylaşır; 16 en az anlamlı bit ise bir kapsayıcıda saklanır. Kapsayıcılar, birincil dizin olarak dinamik bir dizi içinde tutulur.

İki tür kapsayıcı, depolama alanı ve performansı dengeler:

Bu yapı, hızlı değer erişimi ve kapsayıcılar arasında verimli bit düzeyinde işlemler (AND, OR, XOR) gerçekleştirmeyi sağlar.

Sınırlamalar

• Yalnızca Hologres V0.10 ve sonraki sürümlerin özel örnekleri roaring bitmap işlevlerini destekler.

  Örnek sürümünüzü Hologres konsolunda kontrol edin. Sürüm V0.10'dan önceyse örneği konsolda yükseltin veya teknik destek için DingTalk grubuna katılın. Bkz. Yaygın yükseltme hazırlık hata mesajları ve Hologres için çevrimiçi destek alma .

• Roaring bitmap işlevleri varsayılan olarak public şemasına yüklenir ve yalnızca public şemasına yüklenebilir.

• Hologres V3.1'den itibaren RoaringBitmap64 veri türü desteklenir. Bazı roaring bitmap işlevleri RoaringBitmap64 türündeki verileri işleyebilir. Bu işlevler RoaringBitmap64 verilerini işlerken sabit giriş parametrelerini desteklemez.

• Roaring bitmap işlevlerini kullanmadan önce aşağıdaki ifadeyle uzantıyı etkinleştirin. Uzantı veritabanı kapsamındadır; her veritabanı için bu işlemi bir kez çalıştırın. Oluşturduğunuz her yeni veritabanı için tekrarlayın.

  -- Enable the extension.
  CREATE EXTENSION roaringbitmap;

  Uzantıyı kaldırmak için:

  DROP EXTENSION roaringbitmap;

  Önemli

  DROP EXTENSION <extension_name> CASCADE; kullanımından kaçının. CASCADE seçeneği, uzantıyı tüm verileri ve bağımlı nesnelerle birlikte kaldırır; buna PostGIS verileri, roaring bitmap verileri, Proxima verileri, ikili günlük verileri ve BSI verileri ile bağımlı meta veriler, tablolar, görünümler ve sunucu nesneleri dahildir.

• Roaring bitmap sütunları bitmap veya sözlük dizini olarak belirtilemez.

• Roaring bitmap sütunu içeren bir tablo oluştururken sütun türünü açıkça roaringbitmap (32 bit) veya roaringbitmap64 (64 bit) olarak belirtin. İki tür arasında karma hesaplamalar desteklenmez.

  -- Create a table with a 32-bit roaring bitmap column.
  CREATE TABLE t_rb_32 (
      bucket int,
      x roaringbitmap
  );
  
  -- Create a table with a 64-bit roaring bitmap column.
  CREATE TABLE t_rb_64 (
      bucket int,
      x roaringbitmap64
  );
  
  -- Mixed calculations return an error.
  -- ERROR: operator does not exist: roaringbitmap & roaringbitmap64
  SELECT
      a.x & b.x
  FROM
      t_rb_32 a
  JOIN t_rb_64 b ON a.bucket = b.bucket;

İşleçler

Aksi belirtilmedikçe aşağıdaki tüm işleçler hem RoaringBitmap hem de RoaringBitmap64 türlerini destekler.

Roaring bitmap işlevleri

-- Prepare data.
CREATE TABLE public.tn (
    id INT,
    num BIGINT[]
);
INSERT INTO public.tn ("id", "num") VALUES (01, '{1,2}');

SELECT rb64_build(num) rb_num, num FROM public.tn;

rb_num                                                                          | num
--------------------------------------------------------------------------------+------
\x030100000000000000000000003a30000001000000000001001000000001000200             | {1,2}

-- Create a sample table.
CREATE TABLE rb_text (
    id int,
    a text
);

-- Insert data.
INSERT INTO rb_text
    VALUES (1, '\x3a300000010000000000090010000000010002000300040005000600070008000900c800');

-- Convert to RoaringBitmap and compute AND cardinality.
SELECT
    rb_and_cardinality_agg(roaringbitmap_in(a::cstring))
FROM
    rb_text;

 rb_and_cardinality_agg
------------------------
                     10

Roaring bitmap toplama işlevleri

-- OR aggregate: returns the union of all input bitmaps.
SELECT rb_or_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Result: {1,2,3,4}

-- AND aggregate: returns the intersection of all input bitmaps.
SELECT rb_and_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Result: {2,3}

-- OR cardinality aggregate.
SELECT rb_or_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Result: 4

-- AND cardinality aggregate.
SELECT rb_and_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Result: 2

-- XOR aggregate: returns elements in exactly one of the two bitmaps.
SELECT rb_xor_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Result: {1,4}

-- XOR cardinality aggregate.
SELECT rb_xor_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- Result: 2

Diğer roaring bitmap işlevleri

Aşağıdaki işlevler yalnızca RoaringBitmap (32 bit) türünü destekler.

Örnekler

Aşağıdaki uçtan uca örnek, eksiksiz bir iş akışı gösterir: uzantıyı etkinleştirme, tablo oluşturma, veri ekleme, bit düzeyinde işlemler çalıştırma ve sonuçları inceleme.

1. Uzantıyı etkinleştirin.

   CREATE EXTENSION roaringbitmap;

2. Roaring bitmap verilerini depolamak için bir tablo oluşturun.

   -- Create table t1.
   CREATE TABLE public.t1 (id integer, bitmap roaringbitmap);

3. Roaring bitmap verilerini ekleyin.

   -- Build a bitmap from an explicit array.
   INSERT INTO public.t1 SELECT 1, RB_BUILD(ARRAY[1,2,3,4,5,6,7,8,9,200]);
   
   -- Build a bitmap by aggregating a generated series.
   INSERT INTO public.t1 SELECT 2, RB_BUILD_AGG(e) FROM GENERATE_SERIES(1,100) e;

4. Bit düzeyinde işlemleri çalıştırın.

   -- OR the two bitmaps.
   SELECT RB_OR(a.bitmap, b.bitmap)
   FROM (SELECT bitmap FROM public.t1 WHERE id = 1) AS a,
        (SELECT bitmap FROM public.t1 WHERE id = 2) AS b;

   Beklenen çıktı ({1..9, 200} ve {1..100} kümelerinin birleşimi):

    rb_or
   -------
    {1,2,3,4,5,6,7,8,9,10,...,100,200}

5. Tablodaki tüm bitmap'leri birleştirmek için toplama işlemlerini çalıştırın.

   SELECT RB_OR_AGG(bitmap)  FROM public.t1;  -- union of all bitmaps
   SELECT RB_AND_AGG(bitmap) FROM public.t1;  -- intersection of all bitmaps
   SELECT RB_XOR_AGG(bitmap) FROM public.t1;  -- symmetric difference
   SELECT RB_BUILD_AGG(id)   FROM public.t1;  -- build a bitmap from the id column

6. Kardinaliteyi (ayarlanan bitlerin sayısını) hesaplayın.

   SELECT RB_CARDINALITY(bitmap) FROM public.t1;

   Beklenen çıktı:

    id | rb_cardinality
   ----+----------------
     1 |             10
     2 |            100

7. Tüm ayarlanan ofsetleri listeleyin.

   SELECT RB_ITERATE(bitmap) FROM public.t1 WHERE id = 1;

   Beklenen çıktı:

    rb_iterate
   ------------
             1
             2
             3
             4
             5
             6
             7
             8
             9
           200

8. Bir roaring bitmap'i bir diziye dönüştürün.

   SELECT RB_TO_ARRAY(bitmap) FROM public.t1 WHERE id = 1;

   Beklenen çıktı:

              rb_to_array
   --------------------------------
    {1,2,3,4,5,6,7,8,9,200}