Hologres:BSI (ベータ版)

• 次の図は、生データを示しています。

• 次の図は、rb_tagテーブルの基本的なユーザー属性とuidのビットマップを示しています。このテーブルのtag_name列には、都道府県や性別などのタグが含まれています。

  

• 次の図は、BSIアルゴリズムを使用して、ユーザー行動タグ値とuidに基づいて生成されたビットスライスを示しています。タグ値はバイナリ値に変換され、4つのスライスのuidビットマップはbsi_gmvテーブルに記録されます。

BSIテーブル

上記のテーブルを作成するために使用されるデータ定義言語 (DDL) ステートメント:

• dws_userbaseテーブルを作成します。

  CREATE TABLE dws_userbase (
      uid int NOT NULL PRIMARY KEY,
      province text,
      gender text
      ... -- その他の属性列。
  )
  WITH (
      distribution_key = 'uid'
  );

• dws_uid_dictテーブルを作成します。

  CREATE TABLE dws_uid_dict (
      encode_uid serial,
      uid int PRIMARY KEY
  );

• usershop_behaviorテーブルを作成します。

  CREATE TABLE usershop_behavior (
      uid int NOT NULL,
      gmv int
  )
  WITH (
      distribution_key = 'uid'
  );

• rb_tagテーブルを作成します。

  CREATE TABLE rb_tag (
      tag_name text,
      tag_val text,
      bitmap roaringbitmap
  );

• bsi_gmvテーブルを作成します。

  CREATE TABLE bsi_gmv (
      gmv_bsi bsi
  );

データのインポート

• dws_userbaseテーブルとdws_uid_dictテーブルに基づいて属性タグ値のroaring bitmapを生成し、異なるバケットに格納します。

  INSERT INTO rb_tag
  SELECT
      'province',
      province,
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      province;
  
  INSERT INTO rb_tag
  SELECT
      'gender',
      gender,
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      gender;

• usershop_behaviorテーブルとdws_uid_dictテーブルに基づいて行動タグ値のBSIデータを生成し、異なるバケットにテーブルデータを格納します。

  INSERT INTO bsi_gmv
  SELECT
      bsi_build(array_agg(b.encode_uid),array_agg(a.gmv)) AS bitmap
  FROM
      usershop_behavior a
      JOIN dws_uid_dict b ON a.uid = b.uid
  ;

プロファイル分析

BSIアルゴリズムを使用して、ユーザー属性タグと行動タグに基づいて関連分析を実行できます。たとえば、特定のユーザーグループの行動タグに関する洞察を得たり、行動タグでユーザーグループをフィルタリングしたりできます。

BSIテーブル

上記のテーブルを作成するために使用されるDDLステートメント:

• rb_tagテーブルを作成し、異なるバケットにデータを格納します。

  CREATE TABLE rb_tag (
      tag_name text,
      tag_val text,
      bucket int,
      bitmap roaringbitmap
  )
  WITH (
      distribution_key = 'bucket ' -- バケットIDを分散キーとして使用します。
  );

• bsi_gmvテーブルを作成し、異なるバケットにデータを格納します。

  CREATE TABLE bsi_gmv (
      category text,
      bucket int,
      gmv_bsi bsi,
      ds date
  )
  WITH (
      distribution_key = 'bucket' -- バケットIDを分散キーとして使用します。
  );

データのインポート

• dws_userbaseテーブルとdws_uid_dictテーブルに基づいて属性タグ値のroaring bitmapを生成し、異なるバケットに格納します。

  INSERT INTO rb_tag
  SELECT
      'province',
      province,
      encode_uid / 65536 AS "bucket",
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      province,
      "bucket";
  
  INSERT INTO rb_tag
  SELECT
      'gender',
      gender,
      encode_uid / 65536 AS "bucket",
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      gender,
      "bucket";

• usershop_behaviorテーブルとdws_uid_dictテーブルに基づいて行動タグ値のBSIデータを生成し、異なるバケットにテーブルデータを格納します。

  INSERT INTO bsi_gmv
  SELECT
      a.category,
      b.encode_uid / 65536 AS "bucket",
      bsi_build(array_agg(b.encode_uid),array_agg(a.gmv)) AS bitmap,
      a.ds
  FROM
      usershop_behavior a
      JOIN dws_uid_dict b ON a.uid = b.uid
  WHERE
      ds = CURRENT_DATE - interval '1 day'
  GROUP BY
      category,
      "bucket",
      ds;