Lindorm:列指向データへのアクセス

CHS パラメーター

テーブルを作成または変更する際に、TBLPROPERTIES でコールド/ホットストレージ (CHS) 属性を設定します。

サポートされるストレージタイプ

クラウドストレージの場合：CAPACITY_CLOUD_STORAGE (デフォルト)、STANDARD_CLOUD_STORAGE、PERFORMANCE_CLOUD_STORAGE、CLOUD_ARCHIVE_STORAGE

アーカイブストレージ (CLOUD_ARCHIVE_STORAGE) は内部プレビュー段階です。有効にするには、Lindorm のテクニカルサポート (DingTalk ID: s0s3eg3) にご連絡ください。

ローカルディスクの場合：CAPACITY_CLOUD_STORAGE (デフォルト)、LOCAL_SSD_STORAGE、LOCAL_HDD_STORAGE、LOCAL_EBS_STORAGE

`CHS_EXP` パターントークン

toSec() 関数は、一致するパーティションの最大データ時間を計算します。たとえば、パーティション year=2023, month=10, day=2 の場合：

• toSec(year, yyyy) は 2023-12-31 23:59:59 を返します

• toSec(year, yyyy, month, MM) は 2023-10-31 23:59:59 を返します

• toSec(year, yyyy, month, MM, day, dd) は 2023-10-02 23:59:59 を返します

単一の結合された日付フィールド、たとえば date=2023-10-02 の場合：

• toSec(date, yyyy-MM-dd) は 2023-10-02 23:59:59 を返します

例

例 1：1 か月 (2,592,000 秒) より古いデータを容量ストレージ (L2) に移動します：

CREATE TABLE table0 (col0 INT, year STRING, month STRING, day STRING)
PARTITIONED BY (year, month)
TBLPROPERTIES (
  'CHS'    = '2592000',
  'CHS_L2' = 'storagetype=CAPACITY_CLOUD_STORAGE',
  'CHS_EXP'= 'toSec(year,yyyy,month,MM,day,dd)'
);

例 2：table0 のポリシーを更新します。1 か月より古いデータを容量ストレージに移動し、3 か月 (5,184,000 秒) より古いデータをアーカイブストレージに移動します：

ALTER TABLE table0
SET TBLPROPERTIES (
  'CHS'    = '2592000,5184000',
  'CHS_L2' = 'storagetype=CAPACITY_CLOUD_STORAGE',
  'CHS_L3' = 'storagetype=CLOUD_ARCHIVE_STORAGE',
  'CHS_EXP'= 'toSec(year,yyyy,month,MM,day,dd)'
);

例 3：単一の dt パーティションフィールド (フォーマット：yyyy/MM/dd、例：2020/12/1) を持つテーブルを作成します。1 か月より古いデータを容量ストレージに移動し、3 か月より古いデータをアーカイブストレージに移動します：

CREATE TABLE table1 (col0 INT, dt STRING)
PARTITIONED BY (dt)
TBLPROPERTIES (
  'CHS'    = '2592000,5184000',
  'CHS_L2' = 'storagetype=CAPACITY_CLOUD_STORAGE',
  'CHS_L3' = 'storagetype=CLOUD_ARCHIVE_STORAGE',
  'CHS_EXP'= 'toSec(dt,yyyy/MM/dd)'
);

注意事項

• テーブルの作成時に CHS を設定するか、後で ALTER TABLE ... SET TBLPROPERTIES を使用して更新します。

• CHS が正しく設定されていない場合、テーブルは正常に作成または更新されますが、データはストレージ階層間で自動的に移動されません。

• ダンプは非同期で実行されます。このプロセス中もデータはアクセス可能ですが、アクセスパフォーマンスはストレージ階層によって異なる場合があります。

• コールド・ホット分離は、時間ベースのパーティションでのみサポートされます。

ポイントクエリのためのプライマリキーの指定

プライマリキールックアップは最速のクエリパスです。大規模なテーブルでは、最高のパフォーマンスを得るために、プライマリキーを指定し、狭いキー範囲内でクエリを実行してください。

サンプルテーブル：

USE lindorm_columnar;
CREATE TABLE orders (
  o_orderkey      INT    NOT NULL,
  o_custkey       INT,
  o_orderstatus   STRING,
  o_totalprice    DOUBLE,
  o_orderdate     STRING,
  o_orderpriority STRING,
  o_clerk         STRING,
  o_shippriority  INT,
  o_comment       STRING)
PARTITIONED BY (bucket(1024, o_orderkey))
TBLPROPERTIES (
  'primary-key' = 'o_orderkey');

ポイントルックアップ：

USE lindorm_columnar;
SELECT * FROM orders WHERE o_orderkey = 18394;

範囲スキャン (狭い範囲の方がパフォーマンスが向上します)：

USE lindorm_columnar;
SELECT count(*) FROM orders WHERE o_orderkey > 100000 AND o_orderkey < 200000;

データの分離のためのパーティションの追加

列指向ストレージエンジン内のパーティションは物理的に分離されています。パーティションキーでフィルター処理するクエリは、関連のないパーティションを完全にスキップします。

日付パーティションを持つサンプルテーブル：

USE lindorm_columnar;
CREATE TABLE orders (
  o_orderkey      INT    NOT NULL,
  o_custkey       INT,
  o_orderstatus   STRING,
  o_totalprice    DOUBLE,
  o_orderdate     STRING  NOT NULL,
  o_orderpriority STRING,
  o_clerk         STRING,
  o_shippriority  INT,
  o_comment       STRING)
PARTITIONED BY (o_orderdate, bucket(1024, o_orderkey))
TBLPROPERTIES (
  'primary-key' = 'o_orderdate,o_orderkey');

1 日分のデータをクエリします：

USE lindorm_columnar;
SELECT o_orderdate, count(*) FROM orders WHERE o_orderdate = '2022-01-01' GROUP BY o_orderdate;

日付範囲をクエリします：

USE lindorm_columnar;
SELECT o_orderdate, count(*)
FROM orders
WHERE o_orderdate >= '2022-01-01' AND o_orderdate <= '2022-01-07'
GROUP BY o_orderdate;

データコンパクションによるスキャンパフォーマンスの向上

rewrite_data_files によるコンパクション後、データは各パーティション内でプライマリキーによってソートされ、スキャンパフォーマンスが大幅に向上します。コンパクションされたデータのみをクエリし、増分書き込みをスキップするには、read.scan-major-rewritten-files-only を true に設定します。

サンプルテーブル：

CREATE TABLE mydb.mytable (
  id    INT    NOT NULL,
  city  STRING NOT NULL,
  name  STRING,
  score INT)
PARTITIONED BY (city, bucket(4, id))
TBLPROPERTIES (
  'primary-key' = 'id,city');

テーブル全体をコンパクションします：

CALL lindorm_columnar.system.rewrite_data_files(table => 'mydb.mytable');

特定のパーティションをコンパクションします：

CALL lindorm_columnar.system.rewrite_data_files(table => 'mydb.mytable', where => 'city=\"beijing\"');

クエリをコンパクションされたデータのみに制限します：

ALTER TABLE mydb.mytable SET TBLPROPERTIES ('read.scan-major-rewritten-files-only' = true);

ソートキーによる非プライマリキーのクエリの高速化

コンパクション後、データはプライマリキーによってソートされます。非プライマリキー列に対するクエリを高速化するには、ソートキーを指定してからデータを再コンパクションします。

サンプル表：

USE lindorm_columnar;
CREATE TABLE orders (
  o_orderkey      INT    NOT NULL,
  o_custkey       INT,
  o_orderstatus   STRING,
  o_totalprice    DOUBLE,
  o_orderdate     STRING,
  o_orderpriority STRING,
  o_clerk         STRING,
  o_shippriority  INT,
  o_comment       STRING)
PARTITIONED BY (bucket(1024, o_orderkey))
TBLPROPERTIES (
  'primary-key'                          = 'o_orderkey',
  'read.scan-major-rewritten-files-only' = 'true');

ソートキーを設定する：

ALTER TABLE orders WRITE ORDERED BY o_shippriority, o_totalprice;

ソート順を適用するには、[Compact]：

CALL lindorm_columnar.system.rewrite_data_files(table => 'orders');

ソートキーを使用したクエリ:

USE lindorm_columnar;
SELECT count(*) FROM orders WHERE o_shippriority = 0;

USE lindorm_columnar;
SELECT count(*) FROM orders WHERE o_shippriority = 0 AND o_totalprice > 999.9;