Hologres:マテリアライズドビューの包括的ガイド

マテリアライズドビューは現在、次の集計関数をサポートしています。

• SUM

• COUNT

• AVG

• MIN

• MAX

• RB_BUILD_CARDINALITY_AGG (BIGINT データ型のみをサポートします。roaringbitmap 拡張機能を作成する必要があります。)

正確なユニーク訪問者 (UV) 計算は、計算の複雑さが高い演算子であり、しばしばシステムのパフォーマンスボトルネックになります。Hologres は RB_BUILD_CARDINALITY_AGG 集計関数をサポートしています。RoaringBitmap データ構造を使用すると、通常はビジネス ID フィールドを表す BIGINT データをマテリアライズドビューに事前集計できます。このプロセスにより、UV 統計のリアルタイム重複排除が実現します。次のようにマテリアライズドビューを作成できます。現在、BIGINT フィールドの集計と重複排除のみがサポートされています。

-- UV 計算は RoaringBitmap データ型に依存します。事前に RoaringBitmap 拡張機能を作成する必要があります。
CREATE EXTENSION if not exists roaringbitmap;

BEGIN;
CREATE TABLE base_sales_r(
  day text not null,
  hour int ,
  ts timestamptz,
  amount float,
  userid bigint,
  pk text not null primary key
);
CALL SET_TABLE_PROPERTY('base_sales_r', 'mutate_type', 'appendonly');

CREATE MATERIALIZED VIEW mv_sales_r AS
  SELECT
    day,
    hour,
    avg(amount) AS amount_avg,
    rb_build_cardinality_agg(userid) as user_count
  FROM base_sales_r
  GROUP BY day, hour;

COMMIT;

insert into base_sales_r values(to_char(now(),'YYYYMMDD'),'12',now(),100,1,'pk1');
insert into base_sales_r values(to_char(now(),'YYYYMMDD'),'12',now(),200,2,'pk2');
insert into base_sales_r values(to_char(now(),'YYYYMMDD'),'12',now(),300,3,'pk3');
select user_count as UV from mv_sales_r where day = to_char(now(),'YYYYMMDD') AND hour = 12;

rb_build_cardinality_agg 関数は、個別値の数を計算します。mv_sales_r ビューでは、user_count は userid の個別値の数を表します。user_count フィールドをクエリして、個別値の数を取得できます。

mv_sales マテリアライズドビューを定義し、base_sales ベーステーブルに次のデータが含まれていると仮定します。

sales_mv に対する直接クエリは、次の結果を返します。

postgres=> select * from mv_sales;
    day    |   hour  |   amount_avg
-----------+---------+--------------
  20210101 |    12   |     3
  20210101 |    13   |     6

次に、マテリアライズドビューの集計ディメンションを変更しようとすると、たとえば day ディメンションで avg を使用して集計すると、誤った結果が得られます。これは、平均の平均が全体の平均と等しくないためです。

postgres=> select day, avg(amount_avg) from mv_sales group by day;
    day    |   avg
-----------+--------
  20210101 |   4.5

1 つの解決策は、日ごとに集計される別のマテリアライズドビューを作成することです。ただし、これによりマテリアライズドビューの数が増加します。Hologres は、中間集計状態に基づいたメソッドを提供し、単一のマテリアライズドビューを使用して異なるディメンションにわたる集計クエリを実行できるようにします。次の例では AVG 関数を使用します。ビューの定義を次のように変更できます。

BEGIN;
CREATE TABLE base_sales(
  day text not null,
  hour int ,
  ts timestamptz,
  amount float,
  pk text not null primary key
);
CALL SET_TABLE_PROPERTY('base_sales', 'mutate_type', 'appendonly');

CREATE MATERIALIZED VIEW mv_sales_partial AS
  SELECT
    day,
    hour,
    avg(amount) as avg,
    avg_partial(amount) AS amt_avg_partial
  FROM base_sales
  GROUP BY day, hour;

COMMIT;

元の avg 集計関数は avg_partial 集計関数として再定義されます。amount_avg_partial 列には、集計結果の中間状態が格納されます。クエリを実行するときは、クエリを avg_final 関数を使用するように変更します。これは、クエリが中間状態に対して最終的な集計を実行していることを示します。

postgres=> select day, avg(avg) as avg_avg, avg_final(amt_avg_partial) as real_avg from mv_sales_partial group by day;
    day    |   avg_avg |  real_avg
-----------+-----------+----------
  20210101 |    4.5    |     4

サポートされている集計関数とそれに対応する部分集計関数は次のとおりです。

base_sales_table テーブルに TTL が設定されています。TTL の有効期限が切れたためにデータが回収された場合、ベーステーブルに対するクエリは次の結果を返します。

postgres=> SELECT
    day,
    hour,
    avg(amount) AS amount_avg
  FROM base_sales
  GROUP BY day, hour;

--クエリ結果
    day    |   hour  |   amount_avg
-----------+---------+--------------
  20210101 |    12   |     4
  20210101 |    13   |     6

ただし、回収されたデータはすでにビューにマテリアライズ化されているため、マテリアライズドビューに対するクエリは次の結果を返す可能性があります。

postgres=> select * from mv_sales;
--クエリ結果
    day    |   hour  |   amount_avg
-----------+---------+--------------
  20210101 |    12   |     3
  20210101 |    13   |     6

クエリ結果に不整合が生じます。次の解決策を推奨します：

• 詳細テーブルに TTL を設定しない。

• ベーステーブルに TTL を設定するが、マテリアライズドビューの `GROUP BY` キーに時間ベースのフィールドが含まれていることを確認する。マテリアライズドビューをクエリするときは、TTL の有効期限のしきい値に近いデータのクエリを避ける。

• ベーステーブルをパーティションテーブルとして作成し、TTL を設定しない。子パーティションを削除してデータを回収する。

クエリでマテリアライズドビュー名を明示的に指定する必要はありません。代わりに、ベーステーブルを直接クエリすることが可能です。一致するマテリアライズドビューが存在する場合、オプティマイザーはクエリを高速化するために、最も適切なマテリアライズドビューにクエリをインテリジェントにルーティングします。オプティマイザーは、次の基準に基づいてマテリアライズドビューを選択します：

• マテリアライズドビューに、クエリされたすべての列、またはクエリされた値を間接的に計算できる列が含まれている。

• マテリアライズドビューの `GROUP BY` 列に、元のクエリの `GROUP BY` 句のすべての列が含まれている。

• 複数のマテリアライズドビューが上記の基準を満たす場合、オプティマイザーは `GROUP BY` キーの列数が最も少ないものを選択する。

インテリジェントルーティングをサポートする集計関数は、SUM、COUNT、MIN、および MAX です。