Hologres:Hologres: Dynamic Partition Management

Sintaxe

Configure as propriedades de particionamento automático ao criar uma tabela particionada ou em uma tabela já existente.

Parâmetros

SELECT * FROM pg_timezone_names;

Regras de nomenclatura das tabelas filhas

Ao defina a propriedade auto_partitioning.time_unit como HOUR, DAY, MONTH, QUARTER ou YEAR, o Hologres nomeia as novas tabelas filhas acrescentando um sufixo de tempo ao nome da tabela pai. O formato é {parent_table}_{time_suffix}. O sufixo de tempo é gerado com base no agendamento de particionamento automático e no modelo de formato da unidade de tempo especificada. A tabela a seguir descreve os mapeamentos.

Exemplos

O exemplo a seguir crie uma tabela particionada por dia, configurada para pré-criar partições para os próximos três dias, reter partições históricas por dois dias e usar o fuso horário Asia/Shanghai.

A tabela a seguir descreve a lógica de criação e exclusão de partições.

Reter tabelas filhas específicas

Por padrão, o Hologres crie e exclua tabelas filhas automaticamente com base nas regras de particionamento configuradas, removendo aquelas que estão fora do intervalo de retenção. Em alguns cenários, porém, pode ser necessário preservar dados importantes — como reter dados de festivais de compras anuais para análises ano a ano em um negócio de e-commerce. Para reter tabelas filhas específicas, defina a propriedade keep_alive para elas. A sintaxe é a seguinte.

• Sintaxe para o Hologres V2.1 e versões posteriores:

  -- Retain a child table.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  -- Stop retaining a child table. After you remove this property, automatic partitioning immediately triggers a cleanup of expired data.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• Sintaxe para todas as versões:

  -- Retain a child table.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  -- Stop retaining a child table. After you remove this property, automatic partitioning immediately triggers a cleanup of expired data.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

  Nota

  Substitua table_name pelo nome da tabela filha.

Gerencie camadas de armazenamento para tabelas particionadas

No gerenciamento de tabelas particionadas, o armazenamento em camadas permite equilibrar custo e desempenho. Por exemplo, mantenha as últimas N partições históricas no armazenamento quente para consultas frequentes e armazene as M partições mais antigas no armazenamento frio para reduzir custos. Combinado com o particionamento automático, esse recurso permite defina uma política para exclua automaticamente os dados fora do período de retenção N+M.

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

Converter uma tabela fria em uma tabela com particionamento automático

Para converter uma tabela particionada do armazenamento frio em uma tabela com particionamento automático e mover as partições dos últimos sete dias para o armazenamento quente, siga estas etapas.

1. Prepare os dados.

   -- Specify the cold storage tier when you create the table.
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. Converta a tabela em uma tabela com particionamento automático e defina as partições dos últimos sete dias para o armazenamento quente.

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); -- Set the parent table to hot storage.
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); -- Set the child tables that do not need to be moved to hot storage to cold storage.
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

Visualize configurações e agendamentos de particionamento automático

Para consultar as informações e configurações das tabelas com particionamento automático no banco de dados atual, execute a instrução SQL a seguir.

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

A tabela a seguir descreve os campos do resultado da consulta.

O bloco de código a seguir exibe um exemplo de resultado da consulta.

 schema_name |       table_name       | enable | time_unit | time_zone | num_precreate | num_retention |   create_user    |          cret_time          |     schd_start_time      | options
-------------+------------------------+--------+-----------+-----------+---------------+---------------+------------------+-----------------------------+--------------------------+---------
 public      | test_auto_part_daily      | t      | day       | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:45:33+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_hourly     | t      | hour      | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:44:39+08 | 2050-01-03 18:00:00+08 | {}
 public      | test_auto_part_weekly     | t      | week      | PRC       |             2 |             3 | 1534141793071340 | 2022-04-01 11:45:43+08 | 2050-01-03 00:00:00+08 | {}
 public      | test_auto_part_monthly    | t      | month     | PRC       |             1 |             0 | 1534141793071340 | 2022-04-01 11:45:55+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_quarterly  | t      | quarter   | PRC       |             2 |            -1 | 1534141793071340 | 2022-04-01 11:46:09+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_yearly     | t      | year      | PRC       |             1 |            -1 | 1534141793071340 | 2022-04-01 11:46:18+08 | 2050-01-01 00:00:00+08 | {}
(6 rows)

Visualize logs das tabelas filhas

O Query Log não registra a criação nem a limpeza de tabelas filhas. Execute a instrução SQL a seguir para consultar esses logs.

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

A tabela a seguir descreve os campos do resultado da consulta.

O bloco de código a seguir exibe um exemplo de resultado da consulta.

   relname   |     relowner     |        schdtime        |        trigtime        | status  | message |          precreate           |     discard
-----------+------------------+------------------------+------------------------+---------+---------+------------------------------+------------------
 public.tbl1 | 1534141793071340 | 2022-04-01 11:00:00+08 | 2022-04-01 11:24:22+08 | SUCCESS |         | {tbl1_2022032713,tbl1_2022032714} | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 12:00:00+08 | 2022-04-01 12:38:31+08 | SUCCESS |         | {tbl2_2022040112}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 13:00:00+08 | 2022-04-01 13:00:00+08 | SUCCESS |         | {tbl2_2022040113}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 14:00:00+08 | 2022-04-01 14:00:00+08 | SUCCESS |         | {tbl2_2022040114}                 | {tbl2_2022040112}
(4 rows)

Ative o particionamento automático para tabelas existentes

Para ative o particionamento automático em uma tabela particionada existente, execute uma das instruções SQL a seguir.

-- Example for Hologres V2.1 and later
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);
-- Example for all Hologres versions
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

Limpeza automática de tabelas filhas existentes

O sistema determina se deve exclua uma tabela filha com base no nome dela. Se o nome corresponder à convenção de nomenclatura {parent_table}_{time_suffix}, a tabela estará sujeita à limpeza. Caso contrário, não será afetada.

Criação com atraso das tabelas filhas de **num_precreate**

Ao ative o particionamento automático em uma tabela pela primeira vez, a tarefa de criação não é executada imediatamente. Por padrão, o sistema verifica partições a criar a cada 10 minutos. Portanto, as tabelas filhas são criadas dentro dessa janela de 10 minutos.