Hologres:Roaringbitmap

仕組み

Roaring ビットマップは、32 ビット整数を 2^16 個のチャンクに分割します。同じチャンク内の整数は、同じ 16 ビットの最上位ビットを共有します。16 ビットの最下位ビットはコンテナに格納されます。コンテナは、プライマリインデックスとして動的配列に保持されます。

2 種類のコンテナタイプが、ストレージとパフォーマンスのバランスを保ちます。

この構造は、高速な値の取得と、コンテナ間での効率的なビット単位の演算 (AND, OR, XOR) を可能にします。

制限

• RoaringBitmap 関数は、Hologres V0.10 以降の専有インスタンスでのみサポートされています。

  Hologres コンソールでインスタンスバージョンを確認してください。バージョンが V0.10 より前の場合は、コンソールでインスタンスをアップグレードするか、DingTalk グループに参加してテクニカルサポートにお問い合わせください。詳細については、「Common upgrade preparation failure errors」および「Obtain online support for Hologres」をご参照ください。

• RoaringBitmap 関数は、デフォルトで public スキーマにロードされ、public スキーマにのみロードできます。

• Hologres V3.1 以降、RoaringBitmap64 データ型がサポートされています。一部の RoaringBitmap 関数は、RoaringBitmap64 型のデータを処理できます。RoaringBitmap64 データを処理する場合、これらの関数は定数入力パラメーターをサポートしません。

• RoaringBitmap 関数を使用する前に、次のステートメントで拡張を有効化してください。拡張はデータベーススコープであるため、データベースごとに 1 回実行します。新しいデータベースを作成した場合は、再度実行してください。

  -- 拡張を有効にします。
  CREATE EXTENSION roaringbitmap;

  拡張を削除するには、次のステートメントを実行してください。

  DROP EXTENSION roaringbitmap;

  重要

  DROP EXTENSION <extension_name> CASCADE; の使用は避けてください。CASCADE オプションを使用すると、拡張とそのすべてのデータおよび依存オブジェクト (PostGIS データ、RoaringBitmap データ、Proxima データ、バイナリログデータ、BSI データ、依存メタデータ、テーブル、ビュー、サーバーオブジェクトを含む) が削除されます。

• RoaringBitmap 列は、ビットマップインデックスまたは辞書インデックスとして指定できません。

• RoaringBitmap 列を含むテーブルを作成する場合は、列の型を roaringbitmap (32 ビット) または roaringbitmap64 (64 ビット) として明示的に指定してください。2 つの型間の混合計算はサポートされていません。

  -- 32 ビットの RoaringBitmap 列を含むテーブルを作成します。
  CREATE TABLE t_rb_32 (
      bucket int,
      x roaringbitmap
  );
  
  -- 64 ビットの RoaringBitmap 列を含むテーブルを作成します。
  CREATE TABLE t_rb_64 (
      bucket int,
      x roaringbitmap64
  );
  
  -- 混合計算はエラーになります。
  -- ERROR: operator does not exist: roaringbitmap & roaringbitmap64
  SELECT
      a.x & b.x
  FROM
      t_rb_32 a
  JOIN t_rb_64 b ON a.bucket = b.bucket;

演算子

以下のすべての演算子は、特に明記されていない限り、 RoaringBitmap と RoaringBitmap64 の両方の型をサポートしています。

RoaringBitmap 関数

-- データを準備します。
CREATE TABLE public.tn (
    id INT,
    num BIGINT[]
);
INSERT INTO public.tn ("id", "num") VALUES (01, '{1,2}');

SELECT rb64_build(num) rb_num, num FROM public.tn;

rb_num                                                                          | num
--------------------------------------------------------------------------------+------
\x030100000000000000000000003a30000001000000000001001000000001000200             | {1,2}

-- サンプルテーブルを作成します。
CREATE TABLE rb_text (
    id int,
    a text
);

-- データを挿入します。
INSERT INTO rb_text
    VALUES (1, '\x3a300000010000000000090010000000010002000300040005000600070008000900c800');

-- RoaringBitmap に変換し、カーディナリティを計算します。
SELECT
    rb_cardinality(roaringbitmap_in(a::cstring))
FROM
    rb_text;

 rb_cardinality
----------------
             10

RoaringBitmap 集計関数

-- OR 集約：すべての入力ビットマップの和集合を返します。
SELECT rb_or_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- 結果：{1,2,3,4}

-- AND 集約：すべての入力ビットマップの積集合を返します。
SELECT rb_and_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- 結果：{2,3}

-- OR カーディナリティ集約。
SELECT rb_or_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- 結果：4

-- AND カーディナリティ集約。
SELECT rb_and_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- 結果：2

-- XOR 集約：奇数個の入力ビットマップに存在する要素を返します。
SELECT rb_xor_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- 結果：{1,4}

-- XOR カーディナリティ集約。
SELECT rb_xor_cardinality_agg(bitmap)
FROM (VALUES
    (rb_build('{1,2,3}')),
    (rb_build('{2,3,4}'))
) t(bitmap);
-- 結果：2

その他の RoaringBitmap 関数

以下の関数は、RoaringBitmap (32 ビット) 型のみをサポートします。

例

次のエンドツーエンドの例では、拡張の有効化、テーブルの作成、データの挿入、ビットワイズ演算の実行、結果の確認までの一連のワークフローを示します。

1. 拡張を有効にします。

   CREATE EXTENSION roaringbitmap;

2. Roaring ビットマップデータを格納するテーブルを作成します。

   -- テーブル t1 を作成します。
   CREATE TABLE public.t1 (id integer, bitmap roaringbitmap);

3. Roaring ビットマップデータを挿入します。

   -- 明示的な配列からビットマップを作成します。
   INSERT INTO public.t1 SELECT 1, RB_BUILD(ARRAY[1,2,3,4,5,6,7,8,9,200]);
   
   -- 生成した連番を集計してビットマップを作成します。
   INSERT INTO public.t1 SELECT 2, RB_BUILD_AGG(e) FROM GENERATE_SERIES(1,100) e;

4. ビットワイズ演算を実行します。

   -- 2 つのビットマップの OR を実行します。
   SELECT RB_OR(a.bitmap, b.bitmap)
   FROM (SELECT bitmap FROM public.t1 WHERE id = 1) AS a,
        (SELECT bitmap FROM public.t1 WHERE id = 2) AS b;

   想定される出力 ({1..9, 200} と {1..100} の和集合)：

    rb_or
   -------
    {1,2,3,4,5,6,7,8,9,10,...,100,200}

5. 集計操作を実行して、テーブル内のすべてのビットマップを結合します。

   SELECT RB_OR_AGG(bitmap)  FROM public.t1;  -- すべてのビットマップの和集合
   SELECT RB_AND_AGG(bitmap) FROM public.t1;  -- すべてのビットマップの積集合
   SELECT RB_XOR_AGG(bitmap) FROM public.t1;  -- 対称差
   SELECT RB_BUILD_AGG(id)   FROM public.t1;  -- id 列からビットマップを作成します。

6. カーディナリティ (セットされたビット数) を計算します。

   SELECT RB_CARDINALITY(bitmap) FROM public.t1;

   想定される出力：

    id | rb_cardinality
   ----+----------------
     1 |             10
     2 |            100

7. セットされたすべてのオフセットを一覧表示します。

   SELECT RB_ITERATE(bitmap) FROM public.t1 WHERE id = 1;

   想定される出力：

    rb_iterate
   ------------
             1
             2
             3
             4
             5
             6
             7
             8
             9
           200

8. Roaring ビットマップを配列に変換します。

   SELECT RB_TO_ARRAY(bitmap) FROM public.t1 WHERE id = 1;

   想定される出力：

              rb_to_array
   --------------------------------
    {1,2,3,4,5,6,7,8,9,200}