ApsaraDB for SelectDB:BITMAP を用いた精密重複排除

ステップ 1：テーブルの作成

集約キー（Aggregate Key）モデルを用いてテーブルを作成し、ビットマップ型の Value フィールドとハッシュバケット化用の hid 列を定義します。

CREATE TABLE `user_tag_bitmap` (
  `tag`     BIGINT(20)  NULL COMMENT "ユーザー タグ",
  `hid`     SMALLINT(6) NULL COMMENT "バケット ID",
  `user_id` BITMAP BITMAP_UNION NULL COMMENT "ユーザー ビットマップ"
) ENGINE=OLAP
AGGREGATE KEY(`tag`, `hid`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`hid`) BUCKETS 3;

hid 列は、user_id の範囲をグループに分割し、各グループを単一のバケットに割り当てます。これにより、バケット間のビットマップ値が直交となることが保証されます。

ステップ 2：データのインポート

LOAD LABEL 文を用いてデータをロードします。ceil(tmp_user_id/500) 式により各行の hid 値を算出し、to_bitmap(tmp_user_id) 関数により整数値をビットマップエントリに変換します。

LOAD LABEL user_tag_bitmap_test
(
    DATA INFILE('hdfs://abc')
    INTO TABLE user_tag_bitmap
    COLUMNS TERMINATED BY ','
    (tmp_tag, tmp_user_id)
    SET (
        tag     = tmp_tag,
        hid     = ceil(tmp_user_id/500),
        user_id = to_bitmap(tmp_user_id)
    )
)

ソースデータの形式は、カンマ区切りの 2 列（タグ、ユーザー ID）です：

11111111,1
11111112,2
11111113,3
11111114,4

インポート処理中、SelectDB は [1, 5000000) の範囲にあるユーザー ID に同一の hid 値を割り当て、同一バケットに配置します。これにより、バケット間のビットマップ値は引き続き直交状態を維持し、インターセクションおよびユニオン操作の計算コストが削減されます。

ステップ 3：直交ビットマップ関数を用いたクエリ実行

データをインポートした後、次のセクションで説明する直交ビットマップ関数を使用します。標準ビットマップ関数の一覧については、「SQL リファレンス」をご参照ください。

bitmap_orthogonal_intersect

指定されたフィルター値にわたるビットマップ値のインターセクションを計算し、その結果をビットマップとして返します。

構文

bitmap_orthogonal_intersect(bitmap_column, column_to_filter, filter_values)

パラメーター

例

SELECT BITMAP_COUNT(bitmap_orthogonal_intersect(user_id, tag, 13080800, 11110200))
FROM user_tag_bitmap
WHERE tag IN (13080800, 11110200);

以下と同等です：

-- 指定されたすべてのタグに出現するユーザー数を返す
SELECT COUNT(DISTINCT user_id)
FROM user_tag_bitmap
WHERE tag IN (13080800, 11110200)
  AND <user_id がすべてのタグに出現>;

実行時、ステージ 1 では指定されたタグで行をフィルターし、各バケット内で該当タグのビットマップインターセクションを計算します。ステージ 2 では、各バケットのインターセクションビットマップを反復的にマージして最終結果を得ます。

orthogonal_bitmap_intersect_count

ビットマップ値のインターセクションを計算し、そのカウントを直接返します。intersect_count とセマンティクスは一致しますが、実行はバケット間で分散されます。構文は `intersect_count` 関数と同じですが、実装が異なります。構文は `bitmap_union_count` 関数と同じですが、実装が異なります。

構文

orthogonal_bitmap_intersect_count(bitmap_column, column_to_filter, filter_values)

パラメーター

例

SELECT orthogonal_bitmap_intersect_count(user_id, tag, 1150000, 1150001, 390006)
FROM user_tag_bitmap
WHERE tag IN (1150000, 1150001, 390006);

実行時、ステージ 1 では指定されたタグでフィルターし、該当タグのビットマップインターセクションを計算した後、各バケットごとにそのカウントを算出します。ステージ 2 では、各バケットのカウントを合計して最終的な合計値を得ます。

orthogonal_bitmap_union_count

ビットマップ値のユニオンを計算し、そのカウントを返します。BITMAP_UNION_COUNT とセマンティクスは一致しますが、実行はバケット間で分散されます。

構文

orthogonal_bitmap_union_count(bitmap_column)

パラメーター

例

SELECT orthogonal_bitmap_union_count(user_id)
FROM user_tag_bitmap
WHERE tag IN (1150000, 1150001, 390006);

以下と同等です：

SELECT COUNT(DISTINCT user_id)
FROM user_tag_bitmap
WHERE tag IN (1150000, 1150001, 390006);

実行時、ステージ 1 では各バケットごとにビットマップユニオンを計算し、そのカウントを算出します。ステージ 2 では、各バケットのカウントを合計して最終的な合計値を得ます。

orthogonal_bitmap_expr_calculate

ビットマップ列にわたる集合演算式を評価し、その結果をビットマップとして返します。カウントではなく、ビットマップ自体を後続処理で利用する必要がある場合に使用します。

構文

orthogonal_bitmap_expr_calculate(bitmap_column, filter_column, input_string)

パラメーター

input_string では、以下の演算子がサポートされます：

例

SELECT orthogonal_bitmap_expr_calculate(
    user_id,
    tag,
    '(833736|999777)&(1308083|231207)&(1000|20000-30000)'
)
FROM user_tag_bitmap
WHERE tag IN (833736, 999777, 130808, 231207, 1000, 20000, 30000);

実行時、ステージ 1 では input_string を解析してタグフィルターを特定し、データをフィルターした上で、各バケット内のフィルター済み行にビットマップ演算式を適用します。ステージ 2 では、各バケットのビットマップ結果をユニオンし、最終的なビットマップを返します。

orthogonal_bitmap_expr_calculate_count

ビットマップ列にわたる集合演算式を評価し、そのカウントを返します。構文およびパラメーターは orthogonal_bitmap_expr_calculate と同一です。

構文

orthogonal_bitmap_expr_calculate_count(bitmap_column, filter_column, input_string)

パラメーター

例

SELECT orthogonal_bitmap_expr_calculate_count(
    user_id,
    tag,
    '(833736|999777)&(1308083|231207)&(1000|20000-30000)'
)
FROM user_tag_bitmap
WHERE tag IN (833736, 999777, 130808, 231207, 1000, 20000, 30000);

実行時、ステージ 1 では input_string を解析し、データをフィルターした上でビットマップ演算式を適用し、各バケットごとにそのカウントを算出します。ステージ 2 では、各バケットのビットマップ結果をユニオンし、最終的なカウントを返します。