PolarDB:クイックスタート

用語

• 時系列データ: 時系列で記録されたデータを指します。 このデータタイプの特性は、データポイントに数値情報が含まれているだけでなく、特定のタイムスタンプにも関連付けられており、時間の経過に伴う変数の傾向やパターンを反映していることです。 時系列データは、金融取引、気象観測、センサー監視、Web トラフィック分析、疾病伝播調査など、多くの分野で広く使用されています。 時系列データの主要な要素は次のとおりです。

  • タイムスタンプ: 各データポイントには、データがいつ収集されたかを示す明確なタイムスタンプがあります。

  • 観測値: さまざまな時点で測定または記録されたデータ値。

  • 順序性: データポイントは時系列で配置され、データポイント間の時間関係と時系列の特性を反映しています。

  • 傾向と周期性: 時系列データ分析では、多くの場合、長期的な傾向、季節変動、循環的変化、データのランダムな変動に焦点を当てます。

• メトリック: 温度、株価、ネットワークトラフィックなど、定量化および測定できる監視メトリック。 メトリックは、時系列データの動作パターンの描写、将来の傾向の予測、異常のタイムリーな発見と対応に役立ちます。

• 集約: 時系列データ分析において、高頻度データを低頻度データと集約するプロセス。 データは時間ディメンションでマージまたは集約され、データの主要な傾向または特性を維持しながら、データの粒度が減少します。 このアプローチは、データの次元削減、傾向分析、異常検出、予測モデルの構築に役立ちます。

• ダウンサンプリング: 時系列データのサンプリング周波数 (またはデータポイントの数) を減らし、生データのコア機能または傾向を維持できます。 時系列のダウンサンプリングには、次の方法がよく使用されます。

  • 間引き: これは最も簡単な方法です。N ポイントごとにデータポイントを取得します。 たとえば、元のシーケンスが 1 秒あたり 10 回サンプリングされる場合、5 つのデータポイントごとに最初の 1 つだけを保持することで、1 秒あたり 2 回のサンプリングを実現できます。 この方法は簡単ですが、高周波数情報が失われる可能性があります。

  • 平均化: ダウンサンプリングの前に、連続するデータポイントを平均化します。 たとえば、連続する 5 つのデータポイントを平均して、新しいデータポイントを取得します。 この方法では、データを平滑化してノイズを低減できますが、変化する詳細が不明瞭になる場合があります。

  • 中央値: この方法は平均化の方法に似ていますが、平均ではなく連続するデータポイントの中央値を使用します。 外れ値を含む時系列を扱う場合、より堅牢です。

  • 最大値または最小値: 連続するデータポイントの中で最大値または最小値を新しいデータポイントとして選択します。 この方法は、ピーク値またはボトム値を保持する必要があるシナリオに適用できます。

  • リサンプリング: 補間などの方法を使用してデータを新しい時点に調整し、新しいタイムラインで均一サンプリングを実行します。 一般的なリサンプリング方法には、線形補間、最近傍補間、3 次補間などがあります。 リサンプリング方法は柔軟性があり、元のデータ形式を維持しながら、任意のサンプリング周波数に調整できます。

  • モデル予測ダウンサンプリング: 統計モデルまたは機械学習モデルを使用して、低いサンプリングレートでデータポイントを予測します。 たとえば、ARIMA や LSTM などのモデルを使用して、新しい各時点の値を予測し、これらの予測値をダウンサンプリング後のデータとして使用できます。 この方法はよりインテリジェントにダウンサンプリングを実装しますが、計算コストが高くなります。

比較GanosBase TSDB と TimescaleDB の

• TimescaleDB: PostgreSQL 上に構築されたオープンソースの時系列データベースであり、センサーの読み取り値、監視メトリック、財務データなどの時系列データを管理するために最適化されています。 PostgreSQL の完全な SQL 機能を保持し、時系列データに対して効率的なストレージ、高速書き込み、複雑なクエリ機能を提供します。

• GanosBase TSDB: TimescaleDB 上に開発された時系列エンジン。 PolarDB for PostgreSQL クラスタの拡張機能として提供され、共有ストレージ、1 つのプライマリノードと複数の読み取り専用ノード、バックアップとリストアなど、PolarDB のすべての機能を継承しています。

違い

GanosBase TSDB と TimescaleDB の主な違いは機能です。 TimescaleDB Apache 2 Edition は、ユーザーがソースコードを使用または変更できるオープンソースライセンスである Apache 2.0 ライセンスでリリースされています。 ただし、このエディションは基本機能のみを提供します。

GanosBase TSDB は、TimescaleDB が提供する基本機能に加えて、継続的集計、データ圧縮、コールドホット階層型ストレージなどの高度な機能を提供します。

GanosBase TSDB を有効にする

PolarDB for PostgreSQL クラスタで GanosBase TSDB を有効にするには、timescaledb を shared_preload_libraries パラメータに追加する必要があります。 PolarDB コンソールで shared_preload_libraries パラメータを変更できます。

--最初に TimescaleDB をスペックアップします。
ALTER EXTENSION timescaledb UPDATE;

--GanosBase TSDB をスペックアップします。
ALTER EXTENSION ganos_tsdb UPDATE;

時系列ハイパーテーブル

ハイパーテーブルは、時系列データベースで提供される特別なテーブルタイプです。 時系列データを簡単に処理できます。 通常のテーブルで実行できるすべての操作は、ハイパーテーブルで実行できます。

SELECT create_hypertable(
    'table_name',
    'time_column_name',
    'partitioning_column_name',
    number_partitions,
    'associated_schema_name',
    'associated_table_prefix',
    chunk_time_interval,
    create_default_indexes,
    if_not_exists,
    partitioning_func,
    migrate_data,
    chunk_target_size,
    chunk_sizing_func,
    time_partitioning_func
);

SELECT set_chunk_time_interval(
    'table_name',
    chunk_time_interval,
    'dimension_name'
);

継続的集計

継続的集計は、時間平均などの事前定義された集計結果を定期的にまたは継続的に更新するように設計された自動事前計算メカニズムです。 これらの集計を毎回最初から再計算する代わりに、クエリは事前計算された結果に直接アクセスできるため、データ取得がより迅速かつ効率的になります。 従来のマテリアライズドビューとは異なり、継続的集計は時系列データ向けに特に最適化されており、増分更新をサポートしています。 更新中は、新規または変更されたデータのみが処理されるため、データセット全体を再計算する必要はありません。 このアプローチにより、計算オーバーヘッドが大幅に削減され、大規模なデータセットに対するクエリが高速化されます。

メリット:

• クエリの高速化: 継続的集計により、事前計算された結果を直接クエリできるため、生データの全表スキャンが不要になります。

• リソースの節約: その場で再計算を回避することにより、継続的集計は CPU とメモリリソースの消費を大幅に削減します。

• 自動メンテナンス: 継続的集計は、手動介入なしで、新規データと既存データの両方の更新を自動的に管理します。

継続的集計を作成する

CREATE MATERIALIZED VIEW transaction_min_cagg
    WITH (timescaledb.continuous) -- マテリアライズドビューを継続的集計として宣言します。
    AS
    SELECT id,
        time_bucket(INTERVAL '1 min', tm) AS bucket, -- データを 1 分間隔でグループ化します。
        AVG(price),
        MAX(price),
        MIN(price)
    FROM transaction_data
    GROUP BY id, bucket;

integer add_job(
                proc REGPROC,
                schedule_interval INTERVAL,
                config JSONB DEFAULT NULL,
                initial_start TIMESTAMPTZ DEFAULT NULL,
                scheduled BOOL DEFAULT true,
                check_config REGPROC DEFAULT NULL,
                fixed_schedule BOOL DEFAULT TRUE,
                timezone TEXT DEFAULT NULL
                );

void alter_job(    job_id INTEGER,
        schedule_interval INTERVAL = NULL,
        max_runtime INTERVAL = NULL,
        max_retries INTEGER = NULL,
        retry_period INTERVAL = NULL,
        scheduled BOOL = NULL,
        config JSONB = NULL,
        next_start TIMESTAMPTZ = NULL,
        if_exists BOOL = FALSE,
        check_config REGPROC = NULL,
        fixed_schedule BOOL = NULL,
        initial_start TIMESTAMPTZ = NULL,
        timezone TEXT DEFAULT NULL
        );

SELECT alter_job(1002, schedule_interval => INTERVAL '2 hours');

void run_job(job_id int);

CALL run_job(1002);

void delete_job(job_id int);

SELECT delete_job(1002);

refresh_continuous_aggregate(
    cagg     REGCLASS,
    window_start             "any",
    window_end               "any"
    );

CALL refresh_continuous_aggregate('transaction_min_cagg', '2024-03-11 00:00:00+08'::timestamptz, NULL);

integer add_continuous_aggregate_policy(
                cagg REGCLASS,
                start_offset "any",
                end_offset "any",
                schedule_interval INTERVAL,
                if_not_exists BOOL = false,
                initial_start TIMESTAMPTZ = NULL,
                timezone TEXT = NULL
                );

SELECT add_continuous_aggregate_policy('transaction_min_cagg',
    start_offset => '1 hour', -- リフレッシュウィンドウは現在の時刻の 1 時間前に開始されます (データの完全性を確保するため)。
    end_offset => INTERVAL '0', -- リフレッシュウィンドウは現在の時刻に終了します。
    schedule_interval => INTERVAL '1 sec' -- 毎秒リフレッシュします。
    );

リアルタイムクエリ

継続的集計クエリを実行するときにリアルタイムクエリが無効になっている場合、クエリは完全に集計済みのデータに基づく結果のみを返します。 まだ集計されていない新しく受信した生データも表示するには、リアルタイムクエリを有効にします。

• リアルタイムクエリを有効にします。

  ALTER MATERIALIZED VIEW transaction_min_cagg SET (timescaledb.materialized_only = false);

• リアルタイムクエリを無効にします。

  ALTER MATERIALIZED VIEW transaction_min_cagg SET (timescaledb.materialized_only = true);

ネストされた集計

ネストされた集計は、継続的集計によって生成された マテリアライズドビューに基づいて継続的集計を作成します。 たとえば、時間集計結果に基づいて日次集計を作成したり、日次集計結果に基づいて月次集計を作成したりします。 これにより、データの冗長性が削減され、集計 パフォーマンスが向上します。

1. 第 1 レベルの集計を作成します。 この例では、集計は 1 分間隔で実行されます。

   CREATE MATERIALIZED VIEW transaction_min_cagg
       WITH (timescaledb.continuous) AS
       SELECT id,
           time_bucket(INTERVAL '1 min', tm) AS bucket,
           AVG(price) as avg,
           MAX(price) as max,
           MIN(price) as min
       FROM transaction_data
       GROUP BY id, bucket;

2. 1 分集計の結果に基づいて 1 時間間隔でデータを集計するネストされた集計を作成します。

   CREATE MATERIALIZED VIEW transaction_one_hour_mview
       WITH (timescaledb.continuous) AS
       SELECT id,
           time_bucket(INTERVAL '1 hour', bucket) AS bucket,
           AVG(avg) as avg,
           MAX(max) as max,
           MIN(min) as min
       FROM transaction_min_cagg
       GROUP BY id, time_bucket(INTERVAL '1 hour', bucket);

時系列圧縮

• 時系列パーティションが既存データであると判断された場合は、データ圧縮機能を有効にできます。 GanosBase TSDB は、テーブル全体と指定されたパーティションの圧縮機能を提供します。 圧縮により、データストレージスペースを節約できます。 圧縮率は 70% 以上で、ストレージコストを大幅に削減できます。

• 圧縮データは読み取りのみが可能で、書き込みはできません。

• 現在のバージョンでは、時系列圧縮機能はサポートされていません。 時系列圧縮機能を有効にするには、お問い合わせください。

拡張機能を削除する

DROP EXTENSION ganos_tsdb CASCADE;
DROP EXTENSION timescaledb CASCADE;