Hologres:イベントタイム列 (セグメントキー)

概要

Hologres V0.9 では、segment_key プロパティの名前がデフォルトで event_time_column に変更されました。ただし、segment_key プロパティは Hologres V0.9 以前でも使用できます。

イベントタイム列は、次のシナリオに適用できます。

• 等価条件を含む、範囲フィルター条件を含むクエリ。

• 主キーに基づく UPDATE 操作。

-- Hologres V2.1 以降でサポートされている構文
CREATE TABLE <table_name> (...) WITH (event_time_column = '[<columnName>[,...]]');

-- すべての Hologres バージョンでサポートされている構文
BEGIN;
CREATE TABLE <table_name> (...);
call set_table_property('<table_name>', 'event_time_column', '[<columnName> [,...]]');
COMMIT;

使用上の注意

• タイムスタンプ列など、データが単調に増加または減少する列をイベントタイム列として設定することをお勧めします。 event_time_column プロパティは、ログ列やトラフィック列など、時間と強い相関関係のある列に適用できます。このプロパティを適切に設定することで、クエリのパフォーマンスを向上させることができます。複数のファイルがマージされた後、イベントタイム列のデータが順序付けられていない場合、各ファイルのデータには識別機能がなく、順序付けられていません。この場合、データフィルタリングの効果は低くなります。

• テーブルにデータが単調に増加または減少する列が含まれていない場合は、update_time 列を追加し、イベントタイム列として使用できます。 UPSERT 操作を実行するたびに、現在の時刻が update_time 列に書き込まれます。

• イベントタイム列に基づくデータクエリは、左端一致の原則に従います。したがって、テーブルに複数のイベントタイム列を指定しないことをお勧めします。指定した場合、イベントタイム列に基づくデータクエリが一部のシナリオで高速化されない可能性があります。ほとんどの場合、テーブルに 1 つまたは 2 つのイベントタイム列を指定することをお勧めします。

制限事項

• テーブルのイベントタイム列は、NOT NULL 制約を満たす必要があります。 Hologres V1.3.20 から V1.3.27 では、NULL 値を含む列をイベントタイム列として指定できます。 Hologres V1.3.28 以降では、NULL 値を含む列をイベントタイム列として指定することはできません。これは、イベントタイム列に NULL 値が含まれていると、データの精度に悪影響を与える可能性があるためです。ビジネス要件に基づいて NULL 値を含む列をイベントタイム列として指定する必要がある場合は、CREATE TABLE ステートメントの前に次の SET コマンドを追加できます。

  set hg_experimental_enable_nullable_segment_key = true;

  SQL ステートメントを実行して、イベントタイム列に NULL 値が含まれているかどうかを確認できます。ステートメントの例:

  WITH t_base AS (
      SELECT
          *
      FROM
          hologres.hg_table_info
      WHERE
          collect_time::date = CURRENT_DATE
  ),
  t1 AS (
      SELECT
          db_name,
          schema_name,
          table_name,
          jsonb_array_elements(table_meta::jsonb -> 'columns') cols
      FROM
          t_base
  ),
  t2 AS (
      SELECT
          db_name,
          schema_name,
          table_name,
          cols ->> 'name' col_name
      FROM
          t1
      WHERE
          cols -> 'nullable' = 'true'::jsonb
  ),
  t3 AS (
      SELECT
          db_name,
          schema_name,
          table_name,
          regexp_replace(regexp_split_to_table(table_meta::jsonb ->> 'segment_key', ','), ':asc|:desc$', '') segment_key_col
      FROM
          t_base
      WHERE
          table_meta::jsonb -> 'segment_key' IS NOT NULL
  )
  SELECT
      CURRENT_DATE,
      t3.db_name,
      t3.schema_name,
      t3.table_name,
      jsonb_build_object('nullable_segment_key_column', string_agg(t3.segment_key_col, ',')) as nullable_segment_key_column
  FROM
      t2,
      t3
  WHERE
      t3.db_name = t2.db_name
      AND t3.schema_name = t2.schema_name
      AND t3.table_name = t2.table_name
      AND t2.col_name = t3.segment_key_col
  GROUP BY
      t3.db_name,
      t3.schema_name,
      t3.table_name;
  

• event_time_column プロパティは変更できません。プロパティを変更する場合は、別のテーブルを作成してください。

• 行指向テーブルの event_time_column プロパティは設定できません。

• デフォルトでは、列指向テーブルの TIMESTAMP または TIMESTAMPTZ データ型の最初の非 NULL 列がイベントタイム列として使用されます。そのような列が存在しない場合、デフォルトでは DATE データ型の最初の非 NULL 列がイベントタイム列として使用されます。 Hologres V0.9 より前のバージョンでは、デフォルトでテーブルにイベントタイム列は指定されていません。

• DECIMAL、NUMERIC、FLOAT、DOUBLE、ARRAY、JSON、JSONB、BIT、MONEY データ型、およびその他の複合データ型の列はサポートされていません。

仕組

例

• テーブルを作成するときに、列をイベントタイム列として設定します。

  • Hologres V2.1 以降でサポートされている構文:

    CREATE TABLE tbl_segment_test (
        a int NOT NULL,
        b timestamptz NOT NULL
    )
    WITH (
        event_time_column = 'b'
    );
    
    INSERT INTO tbl_segment_test values
    (1,'2022-09-05 10:23:54+08'),
    (2,'2022-09-05 10:24:54+08'),
    (3,'2022-09-05 10:25:54+08'),
    (4,'2022-09-05 10:26:54+08');
    
    EXPLAIN SELECT * FROM tbl_segment_test WHERE b > '2022-09-05 10:24:54+08';

  • すべての Hologres バージョンでサポートされている構文:

    BEGIN;
    CREATE TABLE tbl_segment_test (
        a int NOT NULL,
        b timestamptz NOT NULL
        );
    CALL set_table_property('tbl_segment_test', 'event_time_column', 'b');
    COMMIT;
    
    INSERT INTO tbl_segment_test VALUES 
    (1,'2022-09-05 10:23:54+08'),
    (2,'2022-09-05 10:24:54+08'),
    (3,'2022-09-05 10:25:54+08'),
    (4,'2022-09-05 10:26:54+08');
    
    EXPLAIN SELECT * FROM tbl_segment_test WHERE b > '2022-09-05 10:24:54+08';

  EXPLAIN ステートメントを実行することで、実行プランをクエリできます。実行プランに Segment Filter が含まれている場合、クエリはイベントタイム列にヒットします。

• テーブルを作成するときに、複数の列をイベントタイム列として設定します。

  • Hologres V2.1 以降でサポートされている構文:

    CREATE TABLE tbl_segment_test_2 (
        a int NOT NULL,
        b timestamptz NOT NULL
    )
    WITH (
        event_time_column = 'a,b'
    );
    
    INSERT INTO tbl_segment_test_2 VALUES 
    (1,'2022-09-05 10:23:54+08'),
    (2,'2022-09-05 10:24:54+08'),
    (3,'2022-09-05 10:25:54+08'),
    (4,'2022-09-05 10:26:54+08')
    ;
    
    -- クエリはイベントタイム列にヒットしません。
    SELECT * FROM tbl_segment_test_2 WHERE b > '2022-09-05 10:24:54+08';
    
    -- クエリはイベントタイム列にヒットします。
    SELECT * FROM tbl_segment_test_2 WHERE a = 3 and b > '2022-09-05 10:24:54+08';
    SELECT * FROM tbl_segment_test_2 WHERE a > 3 and b < '2022-09-05 10:26:54+08';
    SELECT * FROM tbl_segment_test_2 WHERE a > 3 and b > '2022-09-05 10:24:54+08';

  • すべての Hologres バージョンでサポートされている構文:

    BEGIN;
    CREATE TABLE tbl_segment_test_2 (
        a int NOT NULL,
        b timestamptz NOT NULL
        );
    CALL set_table_property('tbl_segment_test_2', 'event_time_column', 'a,b');
    COMMIT;
    
    INSERT INTO tbl_segment_test_2 VALUES 
    (1,'2022-09-05 10:23:54+08'),
    (2,'2022-09-05 10:24:54+08'),
    (3,'2022-09-05 10:25:54+08'),
    (4,'2022-09-05 10:26:54+08')
    ;
    
    -- クエリはイベントタイム列にヒットしません。
    SELECT * FROM tbl_segment_test_2 WHERE b > '2022-09-05 10:24:54+08';
    
    -- クエリはイベントタイム列にヒットします。
    SELECT * FROM tbl_segment_test_2 WHERE a = 3 and b > '2022-09-05 10:24:54+08';
    SELECT * FROM tbl_segment_test_2 WHERE a > 3 and b < '2022-09-05 10:26:54+08';
    SELECT * FROM tbl_segment_test_2 WHERE a > 3 and b > '2022-09-05 10:24:54+08';

関連情報

• ビジネスクエリシナリオに基づいてテーブルプロパティを設定する方法の詳細については、「シナリオ固有のテーブル作成とチューニングのガイド」をご参照ください。

• Hologres 内部テーブルの DDL ステートメントの詳細については、以下のトピックをご参照ください。

  • CREATE TABLE

  • CREATE TABLE AS

  • CREATE TABLE LIKE

  • ALTER TABLE

  • DROP TABLE