Hologres:Hologres: Dynamic Partition Management

Syntaxe

Vous pouvez définir les propriétés de partitionnement automatique lors de la création d'une table partitionnée ou pour une table existante.

Paramètres

SELECT * FROM pg_timezone_names;

Règles de nommage des tables enfants

Lorsque vous définissez la propriété auto_partitioning.time_unit sur HOUR, DAY, MONTH, QUARTER ou YEAR, Hologres nomme les nouvelles tables enfants en ajoutant un suffixe temporel au nom de la table parente. Le format utilisé est {parent_table}_{time_suffix}. Ce suffixe est généré selon la planification du partitionnement automatique et le modèle de format correspondant à l'unité de temps spécifiée. Le tableau ci-dessous détaille ces correspondances.

Exemples

L'exemple suivant crée une table partitionnée par jour. La configuration prévoit la précréation des partitions pour les trois jours suivants, la conservation des partitions historiques pendant deux jours et l'utilisation du fuseau horaire Asia/Shanghai.

Le tableau ci-dessous décrit la logique de création et de suppression des partitions.

Conserver des tables enfants spécifiques

Par défaut, Hologres crée et supprime automatiquement les tables enfants en fonction des règles de partitionnement automatique configurées, en supprimant celles qui ne sont plus dans la plage de conservation. Toutefois, dans certains scénarios, vous pouvez avoir besoin de conserver des données importantes, par exemple pour analyser l'évolution annuelle des ventes lors des festivals commerciaux annuels dans le secteur du e-commerce. Pour conserver des tables enfants spécifiques, définissez la propriété keep_alive sur ces tables. La syntaxe est la suivante.

• Syntaxe pour Hologres V2.1 et versions ultérieures :

  -- Retain a child table.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  -- Stop retaining a child table. After you remove this property, automatic partitioning immediately triggers a cleanup of expired data.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• Syntaxe pour toutes les versions :

  -- Retain a child table.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  -- Stop retaining a child table. After you remove this property, automatic partitioning immediately triggers a cleanup of expired data.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

  Remarque

  Remplacez table_name par le nom de la table enfant.

Gérer les niveaux de stockage pour les tables partitionnées

Lorsque vous gérez des tables partitionnées, le nivellement du stockage vous aide à équilibrer les coûts et les performances. Par exemple, vous pouvez conserver les N dernières partitions historiques dans un stockage chaud pour des requêtes fréquentes, puis stocker les M partitions plus anciennes dans un stockage froid afin de réduire les coûts. Combinée au partitionnement automatique, cette fonctionnalité vous permet de définir une politique pour supprimer automatiquement les données en dehors de la période de rétention N+M.

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

Convertir une table froide en table avec partitionnement automatique

Pour convertir une table partitionnée depuis le stockage froid vers une table avec partitionnement automatique et déplacer les partitions des sept derniers jours vers le stockage chaud, procédez comme suit.

1. Préparez les données.

   -- Specify the cold storage tier when you create the table.
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. Convertissez la table en table avec partitionnement automatique et définissez les partitions des sept derniers jours sur le stockage chaud.

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); -- Set the parent table to hot storage.
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); -- Set the child tables that do not need to be moved to hot storage to cold storage.
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

Consulter les configurations et planifications du partitionnement automatique

Pour interroger les informations et les configurations des tables avec partitionnement automatique dans la base de données actuelle, exécutez l'instruction SQL suivante.

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

Le tableau suivant décrit les champs du résultat de la requête.

Le bloc de code suivant présente un exemple de résultat de requête.

 schema_name |       table_name       | enable | time_unit | time_zone | num_precreate | num_retention |   create_user    |          cret_time          |     schd_start_time      | options
-------------+------------------------+--------+-----------+-----------+---------------+---------------+------------------+-----------------------------+--------------------------+---------
 public      | test_auto_part_daily      | t      | day       | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:45:33+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_hourly     | t      | hour      | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:44:39+08 | 2050-01-03 18:00:00+08 | {}
 public      | test_auto_part_weekly     | t      | week      | PRC       |             2 |             3 | 1534141793071340 | 2022-04-01 11:45:43+08 | 2050-01-03 00:00:00+08 | {}
 public      | test_auto_part_monthly    | t      | month     | PRC       |             1 |             0 | 1534141793071340 | 2022-04-01 11:45:55+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_quarterly  | t      | quarter   | PRC       |             2 |            -1 | 1534141793071340 | 2022-04-01 11:46:09+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_yearly     | t      | year      | PRC       |             1 |            -1 | 1534141793071340 | 2022-04-01 11:46:18+08 | 2050-01-01 00:00:00+08 | {}
(6 rows)

Consulter les journaux des tables enfants

Le journal des requêtes (Query Log) n'enregistre pas les journaux relatifs à la création ou à la purge des tables enfants. Vous pouvez exécuter l'instruction SQL suivante pour interroger ces journaux.

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

Le tableau suivant décrit les champs du résultat de la requête.

Le bloc de code suivant présente un exemple de résultat de requête.

   relname   |     relowner     |        schdtime        |        trigtime        | status  | message |          precreate           |     discard
-----------+------------------+------------------------+------------------------+---------+---------+------------------------------+------------------
 public.tbl1 | 1534141793071340 | 2022-04-01 11:00:00+08 | 2022-04-01 11:24:22+08 | SUCCESS |         | {tbl1_2022032713,tbl1_2022032714} | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 12:00:00+08 | 2022-04-01 12:38:31+08 | SUCCESS |         | {tbl2_2022040112}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 13:00:00+08 | 2022-04-01 13:00:00+08 | SUCCESS |         | {tbl2_2022040113}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 14:00:00+08 | 2022-04-01 14:00:00+08 | SUCCESS |         | {tbl2_2022040114}                 | {tbl2_2022040112}
(4 rows)

Activer le partitionnement automatique pour les tables existantes

Pour activer le partitionnement automatique sur une table partitionnée existante, exécutez l'une des instructions SQL suivantes.

-- Example for Hologres V2.1 and later
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);
-- Example for all Hologres versions
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

Nettoyage automatique des tables enfants existantes

Le système détermine s'il doit supprimer une table enfant en fonction de son nom. Si le nom d'une table enfant correspond à la convention de nommage {parent_table}_{time_suffix} , elle est éligible au nettoyage. Dans le cas contraire, elle n'est pas affectée.

Création différée des num_precreate tables enfants

Lorsque vous activez le partitionnement automatique pour la première fois sur une table, la tâche de création ne s'exécute pas instantanément. Le système vérifie toutes les 10 minutes par défaut s'il existe des partitions à créer. Par conséquent, le système crée vos tables enfants dans ce délai de 10 minutes.