Hologres:内部テーブルのクエリパフォーマンス最適化

統計情報が最新かどうかの確認

クエリに対して EXPLAIN を実行し、各テーブルの rows の推定値を確認します。

大規模なテーブルで rows=1000 (デフォルト) と表示される場合、統計情報が古くなっています。

統計情報の更新

analyze <tablename>;

統計情報を更新するタイミングの特定

次の場合に analyze <tablename> を実行します：

• データのインポート後。

• 複数回の INSERT、UPDATE、または DELETE 操作の後。

• 内部テーブルと外部テーブルの両方。

• パーティションテーブルの親テーブル。

結合中に OOM エラーが発生する場合やクエリが遅い場合は、analyze <tablename> を実行してください。

デフォルトのシャード数

Hologres は、インスタンス仕様に基づいて、利用可能なクエリ CU とほぼ等しいデフォルトのシャード数を設定します。スケーリング後、既存のデータベースは元のシャード数を維持し、新規データベースにのみ更新後のデフォルト値が適用されます。

JOIN クエリのための統計情報の更新

統計情報の維持で説明しているように、古い統計情報により、大きい方のテーブルでハッシュテーブルが作成され、JOIN 効率が低下する可能性があります。 ANALYZE を実行して、テーブルの統計情報を更新してください。

ローカル結合のための分散キーの選択

分散キーは、データがシャード間でどのように分散されるかを決定します。適切に選択することで、ローカル結合が可能になり、データシャッフルが削減されます。

-- 一致する分散キーを持つテーブルを作成
BEGIN;
CREATE TABLE orders (order_id INT, customer_id INT, amount DECIMAL);
CALL set_table_property('orders', 'distribution_key', 'customer_id');
COMMIT;

BEGIN;
CREATE TABLE customers (id INT, name TEXT);
CALL set_table_property('customers', 'distribution_key', 'id');
COMMIT;

分散キーが正しく設定されていると、実行計画に Redistribute Motion 演算子が表示されなくなり、ローカル結合が行われていることを確認できます。

JOIN におけるランタイムフィルターの使用

V2.0 以降、Hologres は大きいテーブルと小さいテーブルの JOIN に対して、自動的にランタイムフィルターによる複数テーブル結合の高速化を適用し、手動設定なしでスキャン対象のデータを削減します。

結合順序アルゴリズムのチューニング

多数のテーブルを JOIN するクエリの場合、オプティマイザが最適な結合順序を見つけるのに時間がかかりすぎることがあります。必要に応じてアルゴリズムを調整してください：

set optimizer_join_order = '<value>'; 

JOIN における Motion 演算子の最適化

Hologres は Motion 演算子を使用して、シャード間でデータを再分散します：

実行計画でコストの高い Motion 演算子を確認し、テーブル設計を調整してください：

• 時間のかかる Motion 演算子：分散を再設計してください。

• 古い統計情報によって Motion の動作が非効率になっている場合： analyze で統計情報を更新してください。

• 小さいテーブルのブロードキャスト：シャード数を減らして Broadcast Motion の効率を最適化してください。

COUNT DISTINCT の最適化

• わずかなばらつきが許容される場合は、正確な COUNT DISTINCT (リソース集約型) を APPROX_COUNT_DISTINCT (高速、エラー率 0.1%～1%) に置き換えます。

• COUNT DISTINCT を UNIQ (V1.3+) に置き換えます。

• 適切な分散キーの設定

  シャード間のデータシャッフルを回避するため、COUNT DISTINCT キーを分散キーとして使用します。

• 組み込み最適化のための V2.1+ へのアップグレード

  V2.1+ には、1 つ以上の COUNT DISTINCT、データスキュー、GROUP BY なしのクエリなど、COUNT DISTINCT シナリオ向けの組み込みの最適化が含まれています。

格納形式の選択

Hologres は、行ストア、列ストア、ハイブリッド行列ストアをサポートしています。ワークロードに基づいて選択します。

データ型の選択

• 可能な限り小さい型を使用します (例： BIGINT の代わりに INT を使用)

• DECIMAL/NUMERIC 型には精度を指定します。

• FLOAT または DOUBLE を GROUP BY 列には使用しないでください。

• 汎用性のために TEXT を使用します。VARCHAR(N) または CHAR(N) を使用する場合は、N は最小限に抑えます。

• 日付には TIMESTAMPTZ と DATE を使用し、TEXT の使用は避けてください。

• 暗黙的な変換を避けるため、結合条件ではデータ型を統一します。

プライマリキーの設計

適切なプライマリキーは、特に GROUP BY クエリの実行計画を改善します。

列ストアモードでは、プライマリキーによって書き込みが遅くなります。通常、プライマリキーがない場合のスループットは 3 倍高くなります。

パーティションテーブルの使用

適切なインデックスの選択

例：

BEGIN;
CREATE TABLE events (
    event_id INT NOT NULL,
    user_id INT NOT NULL,
    event_time TIMESTAMPTZ NOT NULL,
    event_type TEXT
);
CALL set_table_property('events', 'clustering_key', 'event_time');
CALL set_table_property('events', 'segment_key', 'event_time');
CALL set_table_property('events', 'bitmap_columns', 'user_id,event_type');
COMMIT;

クエリでインデックスが使用されているか確認するには、EXPLAIN を実行します。

EXPLAIN SELECT * FROM events WHERE event_time > '2026-01-01';

文字列列における辞書エンコードの無効化

辞書エンコードは文字列比較を高速化しますが、エンコード/デコードのオーバーヘッドが発生します。比較コストが低い列では無効にしてください。

BEGIN;
CREATE TABLE logs (id INT, message TEXT);
CALL set_table_property('logs', 'dictionary_encoding_columns', '');
COMMIT;

NOT IN などの外部 SQL (Postgres) の回避

Hologres は、最高のパフォーマンスを得るために Hologres クエリエンジン (HQE) を使用します。サポートされていない演算子は Postgres クエリエンジン (PQE) にフォールバックし、速度が低下します。

EXPLAIN SELECT * FROM orders WHERE id NOT IN (SELECT id FROM cancelled_orders);

select * from tmp where not exists (select a from tmp1 where a = tmp.a);

select name,unnest(string_to_array(age,',')) from demo;

select cast(substring(c1, 13, 2) as int) AS hour from t2;

select extract(hour from to_timestamp(c1, 'YYYYMMDD HH24:MI:SS')) from t2;

select regexp_replace(c1::text,'-','0') from t2;

select replace(c1::text,'-','0') from t2;

select date_trunc('day',to_timestamp(c1, 'YYYYMMDD HH24:MI:SS')  at time zone 'utc') from t2

select date_trunc('day',to_timestamp(c1, 'YYYYMMDD HH24:MI:SS') ) from t2;

select cast(c1 as timestamp) from t2;

select to_timestamp(c1, 'yyyyMMdd hh24:mi:ss') from t2;

select c1::text from t2;

select to_char(c1, 'yyyyMMdd hh24:mi:ss') from t2;

あいまいな LIKE クエリの回避

LIKE 操作のようなあいまい検索は、インデックスを使用しないため回避してください。

ORDER BY LIMIT クエリの最適化

V1.3 以降、 Hologres は ORDER BY ... LIMIT クエリに対してマージソートをサポートし、冗長なソート操作を排除します。

GROUP BY クエリの最適化

GROUP BY 列を分散キーとして設定すると、データ再分散が削減されます。

-- データが列 a の値に基づいて分散されている場合、実行時のデータ再分散が削減され、シャードの並列計算能力が最大限に活用されます。
select a, count(1) from t1 group by a; 

V4.0 以降、 Hologres は関連する GROUP BY 列を自動的に書き換えることでマージを削減します (最大検索深度: 5 層)。 GROUP BY COL_A, ((COL_A + 1)), ((COL_A + 2)) のような句は GROUP BY COL_A に書き換えられます。例：

CREATE TABLE tbl (
    a int,
    b int,
    c int
);

-- クエリ
SELECT
    a,
    a + 1 as a1,
    a + 2 as a2,
    sum(b)
FROM tbl
GROUP BY
    a,
    a1,
    a2;

実行計画で書き換えを確認できます。GROUP BY 句には列 a のみが含まれています。

QUERY PLAN
Gather  (cost=0.00..5.00 rows=1 width=20)
  -> Project  (cost=0.00..5.00 rows=1 width=20)
    -> HashAggregate  (cost=0.00..5.00 rows=1 width=12)
          Group Key: a
        -> Redistribution  (cost=0.00..5.00 rows=1 width=8)
              Hash Key: a
            -> Local Gather  (cost=0.00..5.00 rows=1 width=8)
              -> Seq Scan on tbl  (cost=0.00..5.00 rows=1 width=8)
Query Queue: init_warehouse.default_queue
Optimizer: HQO version 4.0.0

無効化するには、次のコマンドを実行します：

-- セッションレベルで機能を無効化します。
SET hg_experimental_remove_related_group_by_key = off; 

-- データベースレベルで機能を無効化します。
ALTER DATABASE <database_name> SET hg_experimental_remove_related_group_by_key = off; 

CTE 再利用の有効化

CTE が複数回参照される場合、 CTE の再利用を有効化することで再計算を回避します (V1.3 以降)：

SET optimizer_cte_inlining=off;

Top-N 分析の最適化

• OLAP シナリオでは、グループ内の上位 N 件のレコードを取得することが一般的な要件です。たとえば、次の SQL クエリは、t テーブルの各 b パーティションについて、a でソートした上位 2 件のレコードを取得します。

  CREATE TABLE t (
    a int,
    b int
  );
  
  INSERT INTO t VALUES (2, 1), (3, 1), (4, 1), (5, 2), (6, 2);
  
  SELECT
      *
  FROM (
    SELECT
    a,
    b,
    row_number() OVER (PARTITION BY b ORDER BY a) AS rn
    FROM
    t) t1
  WHERE
      rn <= 2;

  実行結果は次のとおりです。

  a	b	rn
  5	2	1
  6	2	2
  2	1	1
  3	1	2

• Hologres V4.1 から、Partition Sort 演算子は LIMIT 句を Partition にプッシュし、ソート中にデータを早期にフィルタリングします。これにより、Top-N シナリオにおける row_number や rank などのウィンドウ関数のメモリが削減され、OOM のリスクが低下します。デフォルトで有効になっています。無効にするには：

  -- セッションレベルで機能を無効化します。
  SET hg_experimental_enable_hash_partitioned_sort_v2 = off; 
  
  -- データベースレベルで機能を無効化します。
  ALTER DATABASE <database_name> SET hg_experimental_enable_hash_partitioned_sort_v2 = off;