PolarDB:クイックスタート

用語

• 時系列データ： 時系列順に記録されたデータポイントの列です。各データポイントには数値とタイムスタンプが含まれます。時系列データは、変数が時間とともにどのように変化するかを示し、金融、気象モニタリング、センサネットワーク、Web トラフィック分析、疾病追跡など幅広い分野で利用されます。主な要素は以下のとおりです：

  • タイムスタンプ： 各データポイントの正確な時刻を示すマーカー。

  • 観測値： 各タイムスタンプにおける測定または記録された値。

  • 順序性： データポイントは時系列順に並べられます。この自然な順序性により、時系列分析が可能になります。

  • トレンドおよび季節性： 一般的なパターンには、長期的なトレンド、季節的な変動、周期的動作、ランダムノイズなどがあります。

• メトリック： 時間とともに追跡される定量可能な測定値（例：温度、株価、ネットワークトラフィックなど）。メトリックは、動作パターンの把握、将来値の予測、異常の迅速な検出に役立ちます。

• 集約： 高頻度の時系列データを低頻度の要約に結合する処理です。たとえば、1 秒ごとの読み取り値を 1 分ごとの平均値に変換します。集約は、データ量を削減しつつ主要なトレンドを保持します。次元削減、トレンド分析、異常検出、予測モデリングをサポートします。

• ダウンサンプリング： 時系列データのサンプリング周波数を低下させながら、その主な特徴やトレンドを保持する処理です。一般的な手法は以下のとおりです：

  • デシメーション： N 番目のデータポイントのみを保持します。たとえば、1 秒間に 10 サンプルを 1 秒間に 2 サンプルに減らす場合、5 つのポイントのうち最初の 1 つだけを保持します。シンプルですが、高周波数の詳細を失う可能性があります。

  • 平均化： N 個の連続するポイントの平均値を新しいポイントとして計算します。データを滑らかにし、ノイズを低減しますが、急激な変化をぼかす可能性があります。

  • 中央値： 平均値の代わりに中央値を使用します。外れ値が存在する場合にロバスト性が高まります。

  • 最大値／最小値： 各グループ内の最高値または最低値を保持します。ピークまたは谷を捉えるのに有用です。

  • 再サンプリング： 新しい時系列グリッド上にデータを補間した後、一様にサンプリングします。線形補間、ニアレストネイバー補間、キュービック補間などの手法があります。柔軟性が高く、形状をよく保持します。

  • モデルベースのダウンサンプリング： 統計的または機械学習モデル（ARIMA や LSTM など）を使用して、低いサンプリングレートでの値を予測します。よりスマートですが、計算コストが高くなります。

GanosBase TSDB と TimescaleDB の比較

• TimescaleDB： PostgreSQL を基盤とするオープンソースの時系列データベースです。センサデータ、メトリック、金融データなどの時系列ワークロード向けに最適化されています。完全な PostgreSQL SQL サポートを維持しつつ、高速な書き込み、効率的なストレージ、複雑なクエリを実現します。

• GanosBase TSDB は、オープンソースの時系列データベース TimescaleDB を基盤として開発された時系列エンジンです。PolarDB for PostgreSQL クラスター用のプラグインとして提供され、PolarDB の共有ストレージ、シングルライター・マルチリーダー、バックアップ、回復などのすべての機能を完全に継承します。

主な違い

両者の主な違いは機能セットにあります。TimescaleDB Apache 2 Edition は Apache 2.0 ライセンスでリリースされており、自由な利用およびサービス提供が許可されますが、コア機能のみが含まれます。

一方、GanosBase TSDB は TimescaleDB を完全にサポートし、連続集約、データ圧縮、ホットデータおよびコールドデータ向けの OSS レイヤードストレージなどの高度な機能を追加しています。

時系列データベースの有効化

PolarDB for PostgreSQL クラスターで時系列データベース機能を有効にするには、shared_preload_libraries パラメーターに timescaledb を追加します。このパラメーターはコンソールで変更できます。shared_preload_libraries パラメーターを変更する。

-- まず timescaledb をアップグレードします
ALTER EXTENSION timescaledb UPDATE;

-- 次に ganos_tsdb をアップグレードします
ALTER EXTENSION ganos_tsdb UPDATE;

ハイパーテーブル

ハイパーテーブルは、時系列データ向けに最適化された特殊なテーブルタイプです。標準テーブルに対するすべての操作をハイパーテーブルに対しても実行できます。

特徴

• ハイパーテーブルは、自動的に時系列でデータをパーティション分割します。通常のテーブルと同じように操作できますが、時系列管理を容易にする追加機能を提供します。

• ハイパーテーブルは通常のテーブルと共存します。時系列データをハイパーテーブルに格納することで、書き込みおよびクエリのパフォーマンスを向上させることができます。また、ハイパーテーブルに対して時系列関数も使用できます。

• ハイパーテーブルは時系列データを時系列でパーティション分割します。データベースがバックグラウンドでパーティションの設定およびメンテナンスを自動的に処理します。

ハイパーテーブルの作成

以下の構文を使用して、標準テーブルをハイパーテーブルに変換します：

SELECT create_hypertable(
    'table_name',
    'time_column_name',
    'partitioning_column_name',
    number_partitions,
    'associated_schema_name',
    'associated_table_prefix',
    chunk_time_interval,
    create_default_indexes,
    if_not_exists,
    partitioning_func,
    migrate_data,
    chunk_target_size,
    chunk_sizing_func,
    time_partitioning_func
);

パラメーターの説明：

ハイパーテーブルのパーティション分割

• ハイパーテーブルを作成および使用すると、自動的に時系列でデータがパーティション分割されます。また、空間でもパーティション分割できます。

• 各ハイパーテーブルは、チャンクと呼ばれる子テーブルで構成されます。各チャンクは特定の時間範囲をカバーし、その範囲内のデータのみを格納します。ハイパーテーブルが空間でもパーティション分割されている場合、各チャンクは空間値のサブセットをカバーします。

• ハイパーテーブル内の各チャンクは、特定の時間範囲のデータのみを格納します。まだチャンクがない時間範囲のデータを挿入すると、システムが自動的にそのデータを格納するためのチャンクを作成します。

デフォルトでは、データは 7 日間隔でパーティション分割されます。以下の SQL 文を使用して、パーティション間隔を変更することもできます。

SELECT set_chunk_time_interval(
    'table_name',
    chunk_time_interval,
    'dimension_name'
);

パラメーターの説明は以下のとおりです：

例

たとえば、トランザクションデータを使用して時系列ハイパーテーブルを作成します：

1. 標準テーブルを作成します：

   CREATE TABLE transaction_data(
      tm TIMESTAMPTZ NOT NULL,
      id INT NOT NULL,
      price double precision);

2. 標準テーブルのレプリケーション IDENTITY を DEFAULT に設定します：

   ALTER TABLE transaction_data replica IDENTITY DEFAULT;

3. 標準テーブルをハイパーテーブルに変換します：

   SELECT create_hypertable('transaction_data', 'tm', chunk_time_interval => INTERVAL '1 day');

   説明

   テーブルにデータが含まれている場合は、migrate_data パラメーターを追加し、true に設定してください。テーブルのデータ量が大きい場合、変換に長時間を要する可能性があります。

4. （任意）ハイパーテーブルのパーティション間隔を変更します。

   SELECT set_chunk_time_interval('transaction_data', chunk_time_interval => INTERVAL '2 day');

連続集約

連続集約は、自動化された事前計算メカニズムです。1 時間ごとの平均値など、あらかじめ定義された集約を定期的または継続的に更新し、複雑なクエリを事前計算結果の高速な読み取りに変換します。マテリアライズドビューと同様に、時系列データ向けに最適化されており、増分更新をサポートします。これにより、履歴データの再計算を回避し、大規模データセットに対するクエリの高速化を実現します。

メリット

• クエリの高速化： 生データをスキャンする代わりに、事前計算結果を読み取ります。

• リソース使用量の削減： 実時間の CPU およびメモリ負荷を低減します。

• 自動メンテナンス： 手動のトリガーなしで、新規および既存のデータに対する集約を更新します。

CREATE MATERIALIZED VIEW transaction_min_cagg
    WITH (timescaledb.continuous) -- 連続集約として宣言
    AS
    SELECT id,
        time_bucket(INTERVAL '1 min', tm) AS bucket, -- 1 分間隔で集約
        AVG(price),
        MAX(price),
        MIN(price)
    FROM transaction_data
    GROUP BY id, bucket;

integer add_job(
                proc REGPROC,
                schedule_interval INTERVAL,
                config JSONB DEFAULT NULL,
                initial_start TIMESTAMPTZ DEFAULT NULL,
                scheduled BOOL DEFAULT true,
                check_config REGPROC DEFAULT NULL,
                fixed_schedule BOOL DEFAULT TRUE,
                timezone TEXT DEFAULT NULL
                );

void alter_job(    job_id INTEGER,
        schedule_interval INTERVAL = NULL,
        max_runtime INTERVAL = NULL,
        max_retries INTEGER = NULL,
        retry_period INTERVAL = NULL,
        scheduled BOOL = NULL,
        config JSONB = NULL,
        next_start TIMESTAMPTZ = NULL,
        if_exists BOOL = FALSE,
        check_config REGPROC = NULL,
        fixed_schedule BOOL = NULL,
        initial_start TIMESTAMPTZ = NULL,
        timezone TEXT DEFAULT NULL
        );

SELECT alter_job(1002, schedule_interval => INTERVAL '2 hours');

void run_job(job_id int);

CALL run_job(1002);

void delete_job(job_id int);

SELECT delete_job(1002);

refresh_continuous_aggregate(
    cagg     REGCLASS,
    window_start             "any",
    window_end               "any"
    );

CALL refresh_continuous_aggregate('transaction_min_cagg', '2024-03-11 00:00:00+08'::timestamptz, NULL);

integer add_continuous_aggregate_policy(
                cagg REGCLASS,
                start_offset "any",
                end_offset "any",
                schedule_interval INTERVAL,
                if_not_exists BOOL = false,
                initial_start TIMESTAMPTZ = NULL,
                timezone TEXT = NULL
                );

SELECT add_continuous_aggregate_policy('transaction_min_cagg',
    start_offset => '1 hour', -- 1 時間前のデータから処理（完全性を保証）
    end_offset => INTERVAL '0', -- 現在時刻までのデータを処理
    schedule_interval => INTERVAL '1 sec' -- 1 秒ごとにリフレッシュ
    );

リアルタイムクエリ

連続集約をクエリする際、リアルタイムクエリが有効になっていない限り、完了した集約のみにアクセスできます。リアルタイムクエリを有効化すると、集約される前に新しく取り込まれたデータを読み取ることができます。

• リアルタイムクエリの有効化

  ALTER MATERIALIZED VIEW transaction_min_cagg SET (timescaledb.materialized_only = false);

• リアルタイムクエリの無効化

  ALTER MATERIALIZED VIEW transaction_min_cagg SET (timescaledb.materialized_only = true);

ネスト集約

ネスト集約は、他の連続集約の上位に連続集約を構築するものです。たとえば、時間単位の集約から日単位の集約を作成したり、日単位の集約から月単位の集約を作成したりします。これにより、冗長性が削減され、パフォーマンスが向上します。

1. 第 1 層目の集約（ここでは分単位）を作成します。

   CREATE MATERIALIZED VIEW transaction_min_cagg
       WITH (timescaledb.continuous) AS
       SELECT id,
           time_bucket(INTERVAL '1 min', tm) AS bucket,
           AVG(price) as avg,
           MAX(price) as max,
           MIN(price) as min
       FROM transaction_data
       GROUP BY id, bucket;

2. ネスト集約（ここでは分単位の上位に時間単位）を作成します。

   CREATE MATERIALIZED VIEW transaction_one_hour_mview
       WITH (timescaledb.continuous) AS
       SELECT id,
           time_bucket(INTERVAL '1 hour', bucket) AS bucket,
           AVG(avg) as avg,
           MAX(max) as max,
           MIN(min) as min
       FROM transaction_min_cagg
       GROUP BY id, time_bucket(INTERVAL '1 hour', bucket);

時系列データ圧縮

• 時系列パーティションが既存データと判断された場合、時系列データ圧縮を有効化します。GanosBase TSDB は、テーブル全体または個別のパーティションの圧縮をサポートしています。圧縮により、ストレージ容量を 70 % 以上削減でき、ストレージコストを大幅に低減できます。

• 圧縮されたデータは読み取り専用です。

プラグインのアンインストール

DROP EXTENSION ganos_tsdb CASCADE;
DROP EXTENSION timescaledb CASCADE;