Lindorm:時系列データテーブルの設計

データモデルの概要

LindormTSDB の時系列データテーブルの各レコードは、次の 4 つのコンポーネントで構成されています。

次の図は、AQM データを使用してこれらのコンポーネントがどのように関連しているかを示しています。

タグとして使用する列の決定

これは最も重要なスキーマ決定です。これを誤ると、時系列インデックスが際限なく増大し、書き込みおよびクエリパフォーマンスの両方が低下します。

タグは ID のため、フィールドは測定値のためです。

• データのソースまたはコンテキスト (都市、デバイス ID、リージョン、ホストなど) を識別する場合は、列をタグとして定義します。

• 時間の経過とともに変化する測定値 (温度、CPU 使用率、PM2.5 濃度など) を保存する場合は、列をフィールドとして定義します。

テーブルの作成

テーブルには、それが表すメジャーメントの名前を付けます。CREATE TABLE 文で TAG キーワードを使用して、タグ列をマークします。TAG キーワードは LindormTSDB SQL 拡張です。TAG で宣言された列のみがプライマリキーとして使用できます。

次の例では、3 つのタグ列と 4 つのフィールド列を持つ AQM テーブルを作成します。

CREATE TABLE aqm (
    city        VARCHAR TAG,
    district    VARCHAR TAG,
    id          VARCHAR TAG,
    time        TIMESTAMP,
    pm2_5       DOUBLE,
    pm10        DOUBLE,
    so2         DOUBLE,
    no2         DOUBLE,
    PRIMARY KEY (id)  -- 単一ノードの Lindorm インスタンスではプライマリキーがサポートされていないため、この行を削除します。
);

テーブルを作成した後、INSERT INTO を使用してレコードを挿入します。

INSERT INTO aqm (city, district, id, time, pm2_5, pm10, so2, no2)
VALUES ('hangzhou', 'yuhang', 'HY00001', '2019-04-18 10:00:00', 31.0, 66.0, 10.0, 43.0);

INSERT INTO aqm (city, district, id, time, pm2_5, pm10, so2, no2)
VALUES ('hangzhou', 'yuhang', 'HY00001', '2019-04-18 10:01:00', 31.2, 66.0, 10.5, 43.1);

単一の文で複数のレコードを挿入するには、次のようにします。

INSERT INTO aqm (city, district, id, time, pm2_5, pm10, so2, no2)
VALUES
    ('hangzhou', 'yuhang', 'HY00001', '2019-04-18 10:02:00', 31.3, 66.0, 10.0, 42.9),
    ('hangzhou', 'yuhang', 'HY00001', '2019-04-18 10:03:00', 31.2, 66.4, 10.3, 43.0);

プライマリキーの選択

LindormTSDB はプライマリキーを使用してデータをパーティション分割し、クエリを最適化します。WHERE 句にプライマリキーを含むクエリは、より高速に実行されます。

データソースの一意の識別子をプライマリキーとして使用します。

AQM の例では、id は各監視ステーションを一意に識別します。ほとんどのクエリがステーション ID でフィルタリングする場合、id をプライマリキーとして使用します。

PRIMARY KEY (id)

データの型の選択