E-MapReduce:RoaringBitmap を使用した正確な重複排除

ステップ 1：UDF の登録

ビットマップ関連の UDF を登録します。この例では一時 UDF を使用しますが、必要に応じて一時 UDF または永続 UDF を登録できます。

CREATE TEMPORARY FUNCTION to_bitmap AS 'org.apache.paimon.spark.bitmap.ToBitmapUDF' USING JAR 'oss://bucket/path/to/paimon-spark-bitmap-1.0-SNAPSHOT.jar';
CREATE TEMPORARY FUNCTION bitmap_count AS 'org.apache.paimon.spark.bitmap.BitmapCountUDF' USING JAR 'oss://bucket/path/to/paimon-spark-bitmap-1.0-SNAPSHOT.jar';
CREATE TEMPORARY FUNCTION bitmap_contains AS 'org.apache.paimon.spark.bitmap.BitmapContainsUDF' USING JAR 'oss://bucket/path/to/paimon-spark-bitmap-1.0-SNAPSHOT.jar';
CREATE TEMPORARY FUNCTION bitmap_to_string AS 'org.apache.paimon.spark.bitmap.BitmapToStringUDF' USING JAR 'oss://bucket/path/to/paimon-spark-bitmap-1.0-SNAPSHOT.jar';

ステップ 2：Paimon 集計テーブルの作成

rbm32 集計関数を使用する Paimon プライマリキーテーブルを作成します。

CREATE TABLE user_page_visits (
    user_id INT,
    page_visits BINARY
) USING paimon
TBLPROPERTIES (
    'primary-key' = 'user_id',
    'merge-engine' = 'aggregation',
    'fields.page_visits.aggregate-function' = 'rbm32'
);

主なパラメーター：

• 'primary-key' = 'user_id'： user_id をプライマリキーとして指定します。

• 'merge-engine' = 'aggregation'： Aggregation マージエンジンを有効にします。

• 'fields.page_visits.aggregate-function' = 'rbm32'： page_visits 列に rbm32 集計関数を適用し、INT 値を処理します。

ステップ 3：データの書き込み

to_bitmap を使用してページ ID をビットマップバイトに変換し、テーブルに書き込みます。

-- 初回書き込み
INSERT INTO user_page_visits VALUES
    (1, to_bitmap(100, 101, 102)),   -- ユーザー 1 がページ 100、101、102 を訪問
    (2, to_bitmap(101, 103)),        -- ユーザー 2 がページ 101、103 を訪問
    (3, to_bitmap(102, 104));        -- ユーザー 3 がページ 102、104 を訪問

-- 増分書き込み (Paimon が同じ user_id のビットマップを自動的に OR マージします)
INSERT INTO user_page_visits VALUES
    (1, to_bitmap(103, 105)),        -- ユーザー 1 がページ 103、105 も訪問
    (2, to_bitmap(104, 106));        -- ユーザー 2 がページ 104、106 も訪問

ステップ 4：重複排除結果のクエリ

各ユーザーが訪問した一意のページ数をクエリします。

SELECT user_id, bitmap_count(page_visits) AS unique_pages
FROM user_page_visits;

想定される結果：

その他の操作として、次のクエリも実行できます。

-- ユーザーが特定のページを訪問したかどうかを確認
SELECT user_id, bitmap_contains(page_visits, 101) AS visited_page_101
FROM user_page_visits;

-- デバッグ用にビットマップ内の値を表示
SELECT user_id, bitmap_to_string(page_visits) AS pages
FROM user_page_visits;

ステップ 1：テーブルの作成

rbm64 集計関数を使用する Paimon プライマリキーテーブルを作成します。デバイス ID は INT の範囲を超えるため、rbm64 を使用します。

CREATE TABLE app_device_visits (
    app_id INT,
    device_bitmap BINARY
) USING paimon
TBLPROPERTIES (
    'primary-key' = 'app_id',
    'merge-engine' = 'aggregation',
    'fields.device_bitmap.aggregate-function' = 'rbm64'
);

ステップ 2：データの書き込み

BIGINT 値を to_bitmap に渡すと、自動的に 64 ビット形式が生成されます。

-- 初回書き込み
INSERT INTO app_device_visits VALUES
    (1001, to_bitmap(CAST(8000000001 AS BIGINT), CAST(8000000002 AS BIGINT), CAST(8000000003 AS BIGINT))),
    (1002, to_bitmap(CAST(8000000002 AS BIGINT), CAST(8000000004 AS BIGINT)));

-- 増分書き込み (自動的にマージされます)
INSERT INTO app_device_visits VALUES
    (1001, to_bitmap(CAST(8000000004 AS BIGINT), CAST(8000000006 AS BIGINT)));

ステップ 3：重複排除結果のクエリ

SELECT app_id,
       bitmap_count(device_bitmap) AS unique_devices,
       bitmap_contains(device_bitmap, CAST(8000000002 AS BIGINT)) AS has_device
FROM app_device_visits;

想定される結果：

ビットマップ内の値を表示することもできます。

SELECT app_id, bitmap_to_string(device_bitmap) AS devices
FROM app_device_visits;