Hologres:インデックスの概要

TPC-H Q1 クエリ

TPC-H Q1 は、lineitem テーブルの特定の列に対して集計およびフィルタリングを行います。

l_shipdate <=：クエリのフィルタリング条件です。範囲フィルタリングをサポートし、データフィルタリングを高速化するために、インデックスを設定する必要があります。

--TPC-H Q1
SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) AS count_order
FROM
        lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus
ORDER BY
        l_returnflag,
        l_linestatus;

TPC-H Q4 クエリ

TPC-H Q4 は、主に lineitem テーブルと orders テーブルの結合クエリを実行します。

• o_orderdate >= DATE '1996-07-01'：フィルタリング条件です。範囲フィルタリングをサポートし、必要なデータを迅速に特定するために、インデックスを設定できます。

• l_orderkey = o_orderkey：2 つのテーブル間の結合条件です。両テーブルで同一のインデックスを設定できます。2 つのテーブル間のインタラクション時にデータシャッフリング操作を削減するため、ローカル JOIN を実行することを推奨します。

  --TPC-H Q4 Query
  SELECT
          o_orderpriority,
          COUNT(*) AS order_count
  FROM
          orders
  WHERE
          o_orderdate >= DATE '1996-07-01'
          AND o_orderdate < DATE '1996-07-01' + INTERVAL '3' MONTH
          AND EXISTS (
                  SELECT
                          *
                  FROM
                          lineitem
                  WHERE
                          l_orderkey = o_orderkey
                          AND l_commitdate < l_receiptdate
          )
  GROUP BY
          o_orderpriority
  ORDER BY
          o_orderpriority;

hologres_dataset_tpch_100g.lineitem

Q1 および Q4 の両クエリで lineitem テーブルが使用されますが、使用されるフィールドおよびクエリ条件は異なります。

• Q1 クエリの場合：クエリでは主に l_shipdate を使用して範囲フィルタリングを行います。クラスタリングキー（clustering_key）は、ファイル内のデータの順序を利用して範囲フィルタリングを高速化します。したがって、l_shipdate をクラスタリングキーとして設定できます。 セグメントキー（event_time_column）は、ファイル間の順序を維持するために使用されます。単調増加または単調減少する日付フィールドについては、セグメントキーとしても設定することを推奨します。これにより、ファイルレベルでの効果的なフィルタリングが可能になります。したがって、l_shipdate をセグメントキーとしても設定できます。

• Q4 クエリの場合：クエリでは、lineitem テーブルの l_orderkey フィールドを用いて、orders テーブルの o_orderkey フィールドと結合します。分散キー（distribution_key）は、データ分布ポリシーを指定します。システムは、同一の distribution_key 値を持つデータを同一シャード上に格納します。2 つのテーブルが同一テーブルグループに属し、その結合フィールドが分散キーである場合、データ書き込み時に、両テーブルの同一キー値を持つレコードが自動的に同一シャードに分散されます。これらのテーブルを結合する際には、現在のノード上でローカル JOIN が実行されます。これにより、実行時に結合キーに基づくデータシャッフリングおよび再配布を回避でき、実行効率を大幅に向上させることができます。したがって、l_orderkey を分散キーとして設定してください。

• lineitem テーブルの最終的なテーブルスキーマは以下のとおりです：

  BEGIN;
  CREATE TABLE hologres_dataset_tpch_100g.lineitem
  (
      l_ORDERKEY      BIGINT      NOT NULL,
      L_PARTKEY       INT         NOT NULL,
      L_SUPPKEY       INT         NOT NULL,
      L_LINENUMBER    INT         NOT NULL,
      L_QUANTITY      DECIMAL(15,2) NOT NULL,
      L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
      L_DISCOUNT      DECIMAL(15,2) NOT NULL,
      L_TAX           DECIMAL(15,2) NOT NULL,
      L_RETURNFLAG    TEXT        NOT NULL,
      L_LINESTATUS    TEXT        NOT NULL,
      L_SHIPDATE      TIMESTAMPTZ NOT NULL,
      L_COMMITDATE    TIMESTAMPTZ NOT NULL,
      L_RECEIPTDATE   TIMESTAMPTZ NOT NULL,
      L_SHIPINSTRUCT  TEXT        NOT NULL,
      L_SHIPMODE      TEXT        NOT NULL,
      L_COMMENT       TEXT        NOT NULL,
      PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
  )
  WITH (
      distribution_key = 'L_ORDERKEY',--テーブル結合時にローカル JOIN を有効化します。
      clustering_key = 'L_SHIPDATE',--範囲フィルタリングを高速化します。
      event_time_column = 'L_SHIPDATE'--ファイルプルーニングを高速化します。
    );
  COMMIT;

hologres_dataset_tpch_100g.orders

本例では、Q4 クエリで orders テーブルが使用されます。

• ローカル JOIN 機能を活用し、結合クエリの効率を向上させるために、orders テーブルの o_orderkey フィールドを分散キーとして設定してください。

• o_orderdate フィールドは、主に日付フィールドに対するフィルタリングクエリで使用されます。ファイルプルーニングを高速化するために、セグメントキーとして設定できます。

• orders テーブルの最終的なテーブルスキーマは以下のとおりです：

  BEGIN;
  CREATE TABLE hologres_dataset_tpch_100g.orders
  (
      O_ORDERKEY      BIGINT      NOT NULL PRIMARY KEY,
      O_CUSTKEY       INT         NOT NULL,
      O_ORDERSTATUS   TEXT        NOT NULL,
      O_TOTALPRICE    DECIMAL(15,2) NOT NULL,
      O_ORDERDATE     timestamptz NOT NULL,
      O_ORDERPRIORITY TEXT        NOT NULL,
      O_CLERK         TEXT        NOT NULL,
      O_SHIPPRIORITY  INT         NOT NULL,
      O_COMMENT       TEXT        NOT NULL
  )
  WITH (
      distribution_key = 'O_ORDERKEY',--テーブル結合時にローカル JOIN を有効化します。
      event_time_column = 'O_ORDERDATE'--ファイルプルーニングを高速化します。
    );
  COMMIT;