Hologres:ホットデータとコールドデータの階層型ストレージ

SET_TABLE_PROPERTY ステートメントの storage_mode パラメータを設定して、非パーティションテーブルのストレージモードを指定できます。このパラメータの有効な値：

• hot

• cold

たとえば、tbl1 という名前のテーブルを作成し、テーブルのストレージモードをコールドストレージに設定できます。ステートメントの例：

-- テーブルを作成するときに、ストレージモードをコールドストレージとして指定します。
/* テーブルを作成するときに、ストレージモードをコールドストレージとして指定します。 */
BEGIN;
CREATE TABLE tbl1 (
 "id" int NOT NULL,
 "name" text NOT NULL
);
CALL set_table_property('tbl1', 'storage_mode', 'cold');
COMMIT;

Hologres では、テーブルを作成した後にストレージモードを変更できます。たとえば、tbl1 テーブルのストレージモードをホットストレージに変更できます。システムはデータをホットストレージ層に非同期的に移行します。ステートメントの例：

-- テーブルを作成した後に、ストレージモードをホットストレージに変更します。
/* テーブルを作成した後に、ストレージモードをホットストレージに変更します。 */
CALL set_table_property('tbl1', 'storage_mode', 'hot');

SET_TABLE_PROPERTY パラメータを指定して、パーティションテーブルのストレージモードを設定できます。子テーブルは、デフォルトで親テーブルのストレージモードを継承します。子テーブルのストレージモードを個別に指定することもできます。有効な値：

• hot

• cold

たとえば、tbl2 という名前の親テーブルのストレージモードをコールドストレージに設定できます。親テーブルの tbl2_v1 という名前の子テーブルにデータを書き込むと、データはコールドストレージ層に書き込まれます。ステートメントの例：

-- テーブルを作成するときに、ストレージモードをコールドストレージとして指定します。
/* テーブルを作成するときに、ストレージモードをコールドストレージとして指定します。 */
BEGIN;
CREATE TABLE tbl2(
  c1 text NOT NULL,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'storage_mode', 'cold');
CREATE TABLE tbl2_v1 PARTITION OF tbl2 FOR VALUES IN ('v1');
COMMIT;

Hologres では、テーブルを作成した後にストレージモードを変更できます。たとえば、tbl2 親テーブルのストレージモードをホットストレージに変更できます。システムは、この親テーブルのすべての子テーブルのデータをホットストレージ層に非同期的に移行します。ステートメントの例：

-- テーブルを作成した後に、ストレージモードをホットストレージに変更します。
/* テーブルを作成した後に、ストレージモードをホットストレージに変更します。 */
CALL set_table_property('tbl2', 'storage_mode', 'hot');

たとえば、子テーブルの storage_mode パラメータを cold に設定することで、子テーブルのストレージモードをコールドストレージに変更できます。ステートメントの例：

-- tbl2 親テーブルに tbl2_v2 と tbl2_v3 という名前の子テーブルを作成します。
/* tbl2 親テーブルに tbl2_v2 と tbl2_v3 という名前の子テーブルを作成します。 */

CREATE TABLE tbl2_v2 PARTITION OF tbl2 FOR VALUES IN ('v2');
CREATE TABLE tbl2_v3 PARTITION OF tbl2 FOR VALUES IN ('v3');

-- 子テーブルのストレージモードをクエリします。子テーブルは、デフォルトで親テーブルのストレージモードを継承します。
/* 子テーブルのストレージモードをクエリします。子テーブルは、デフォルトで親テーブルのストレージモードを継承します。 */

SELECT * FROM hg_table_storage_status('public', 'tbl2');

-- tbl2_v3 子テーブルのストレージモードをコールドストレージに変更します。
/* tbl2_v3 子テーブルのストレージモードをコールドストレージに変更します。 */

CALL set_table_property('tbl2_v3', 'storage_mode', 'cold');
                

hg_table_storage_status 関数を呼び出して、テーブル内のデータのストレージ状態をクエリできます。 hg_table_storage_status 関数の戻り値には、メタデータのストレージサイズではなく、ユーザーデータのストレージサイズが含まれます。ステートメントの例：

SELECT * FROM hg_table_storage_status('<schema_name>', '<table_name>');

次の表に、関数が返す結果の列を示します。

ステートメントの例：

-- 非パーティションテーブルのデータのストレージ状態をクエリします。
/* 非パーティションテーブルのデータのストレージ状態をクエリします。 */
SELECT * FROM hg_table_storage_status('public', 'tbl1'); -- 戻り値のデータサイズはバイト単位です。
/* 戻り値のデータサイズはバイト単位です。 */
 table_name | hot_size |   cold_size   | status
------------+----------+---------------+--------
 tbl1       |  145643  |      3685     | transferring

-- パーティションテーブルのデータのストレージ状態をクエリします。
/* パーティションテーブルのデータのストレージ状態をクエリします。 */
SELECT * FROM hg_table_storage_status('public', 'tbl2');-- 戻り値のデータサイズはバイト単位です。
/* 戻り値のデータサイズはバイト単位です。 */
   table_name    | hot_size | cold_size | status
-----------------+----------+-----------+--------
 tbl2_2022062222 |        0 |         0 | hot
 tbl2_2022062221 |     1125 |         0 | hot
 tbl2_2022062220 |     1245 |         0 | hot
 tbl2_2022062219 |     1358 |         0 | hot
 tbl2_2022062218 |        0 |      1875 | cold
 tbl2_2022062217 |        0 |      1143 | cold
 tbl2_2022062216 |        0 |      1299 | cold

すべてのパーティションのアクセス頻度をクエリします。

SELECT parent_table_name,count(*) AS partition_cnt, 
       sum(hot_storage_size)/1024/1024/1024 AS hot_size_gb 
FROM hologres.hg_table_info
WHERE type = 'PARTITION' AND collect_time::DATE = CURRENT_DATE - interval '1 day'
GROUP BY parent_table_name
ORDER BY hot_size_gb DESC;

指定されたパーティションのアクセス頻度をクエリします。

SELECT a.table_name,
      (a.total_read_count - b.total_read_count) as read_count,
      (a.total_write_count - b.total_write_count) as write_count,
       a.hot_storage_size
FROM (SELECT * FROM hologres.hg_table_info
      WHERE type = 'PARTITION'
      AND parent_table_name = '${p_table_name}'
      AND collect_time::DATE = CURRENT_DATE - interval '1 day') a
JOIN
     (SELECT * FROM hologres.hg_table_info
     WHERE type = 'PARTITION'
     AND parent_table_name = '${p_table_name}'
     AND collect_time::DATE = CURRENT_DATE - interval '${days} day') b
ON a.table_name = b.table_name
ORDER BY table_name DESC;