Hologres:Hologres: Dynamic Partition Management

Syntaxe

Vous pouvez définir les propriétés de partitionnement automatique lors de la création d'une table partitionnée ou pour une table existante.

Paramètres

SELECT * FROM pg_timezone_names;

Règles de nommage des tables enfants

Lorsque vous définissez la propriété auto_partitioning.time_unit sur HOUR, DAY, MONTH, QUARTER ou YEAR, Hologres nomme les nouvelles tables enfants en ajoutant un suffixe temporel au nom de la table parente. Le format est {parent_table}_{time_suffix}. Le suffixe temporel est généré en fonction de la planification du partitionnement automatique et du modèle de format pour l'unité de temps spécifiée. Le tableau suivant décrit les correspondances.

Exemples

L'exemple suivant crée une table partitionnée par jour. Elle est configurée pour précréer les partitions des trois jours suivants, conserver les partitions historiques pendant deux jours et utiliser le fuseau horaire Asia/Shanghai.

Le tableau suivant décrit la logique de création et de suppression des partitions.

Conserver des tables enfants spécifiques

Par défaut, Hologres crée et supprime automatiquement les tables enfants selon les règles de partitionnement automatique configurées, en supprimant celles qui ne sont plus dans la plage de conservation. Toutefois, dans certains scénarios, vous pouvez avoir besoin de conserver des données importantes, comme les données des festivals commerciaux annuels pour une analyse année sur année dans le secteur du e-commerce. Pour conserver des tables enfants spécifiques, définissez la propriété keep_alive pour ces tables. La syntaxe est la suivante.

• Syntaxe pour Hologres V2.1 et versions ultérieures :

  -- Retain a child table.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  -- Stop retaining a child table. After you remove this property, automatic partitioning immediately triggers a cleanup of expired data.
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• Syntaxe pour toutes les versions :

  -- Retain a child table.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  -- Stop retaining a child table. After you remove this property, automatic partitioning immediately triggers a cleanup of expired data.
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

  Remarque

  Remplacez table_name par le nom de la table enfant.

Gérer les niveaux de stockage pour les tables partitionnées

Lorsque vous gérez des tables partitionnées, le nivellement du stockage vous aide à équilibrer coût et performance. Par exemple, vous pouvez conserver les N dernières partitions historiques dans un stockage chaud pour des requêtes fréquentes, puis stocker les M partitions plus anciennes suivantes dans un stockage froid pour réduire les coûts. Combinée au partitionnement automatique, cette fonctionnalité vous permet de définir une politique pour supprimer automatiquement les données en dehors de la période de rétention N+M.

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

Convertir une table froide en table à partitionnement automatique

Pour convertir une table partitionnée du stockage froid vers une table à partitionnement automatique et déplacer les partitions des sept derniers jours vers le stockage chaud, suivez ces étapes.

1. Préparez les données.

   -- Specify the cold storage tier when you create the table.
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. Convertissez la table en table à partitionnement automatique et définissez les partitions des sept derniers jours en stockage chaud.

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); -- Set the parent table to hot storage.
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); -- Set the child tables that do not need to be moved to hot storage to cold storage.
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

Afficher les configurations et planifications du partitionnement automatique

Pour interroger les informations et configurations des tables à partitionnement automatique dans la base de données actuelle, exécutez l'instruction SQL suivante.

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

Le tableau suivant décrit les champs du résultat de la requête.

Le bloc de code suivant montre un exemple de résultat de requête.

 schema_name |       table_name       | enable | time_unit | time_zone | num_precreate | num_retention |   create_user    |          cret_time          |     schd_start_time      | options
-------------+------------------------+--------+-----------+-----------+---------------+---------------+------------------+-----------------------------+--------------------------+---------
 public      | test_auto_part_daily      | t      | day       | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:45:33+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_hourly     | t      | hour      | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:44:39+08 | 2050-01-03 18:00:00+08 | {}
 public      | test_auto_part_weekly     | t      | week      | PRC       |             2 |             3 | 1534141793071340 | 2022-04-01 11:45:43+08 | 2050-01-03 00:00:00+08 | {}
 public      | test_auto_part_monthly    | t      | month     | PRC       |             1 |             0 | 1534141793071340 | 2022-04-01 11:45:55+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_quarterly  | t      | quarter   | PRC       |             2 |            -1 | 1534141793071340 | 2022-04-01 11:46:09+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_yearly     | t      | year      | PRC       |             1 |            -1 | 1534141793071340 | 2022-04-01 11:46:18+08 | 2050-01-01 00:00:00+08 | {}
(6 rows)

Afficher les journaux des tables enfants

Le journal des requêtes n'enregistre pas les journaux de création ou de purge des tables enfants. Vous pouvez exécuter l'instruction SQL suivante pour interroger ces journaux.

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

Le tableau suivant décrit les champs du résultat de la requête.

Le bloc de code suivant montre un exemple de résultat de requête.

   relname   |     relowner     |        schdtime        |        trigtime        | status  | message |          precreate           |     discard
-----------+------------------+------------------------+------------------------+---------+---------+------------------------------+------------------
 public.tbl1 | 1534141793071340 | 2022-04-01 11:00:00+08 | 2022-04-01 11:24:22+08 | SUCCESS |         | {tbl1_2022032713,tbl1_2022032714} | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 12:00:00+08 | 2022-04-01 12:38:31+08 | SUCCESS |         | {tbl2_2022040112}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 13:00:00+08 | 2022-04-01 13:00:00+08 | SUCCESS |         | {tbl2_2022040113}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 14:00:00+08 | 2022-04-01 14:00:00+08 | SUCCESS |         | {tbl2_2022040114}                 | {tbl2_2022040112}
(4 rows)

Activer le partitionnement automatique pour les tables existantes

Pour activer le partitionnement automatique pour une table partitionnée existante, exécutez l'une des instructions SQL suivantes.

-- Example for Hologres V2.1 and later
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);
-- Example for all Hologres versions
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

Nettoyage automatique des tables enfants existantes

Le système détermine s'il faut supprimer une table enfant en fonction de son nom. Si le nom d'une table enfant correspond à la convention de nommage {parent_table}_{time_suffix}, elle est éligible au nettoyage. Sinon, elle n'est pas affectée.

Création différée des num_precreate tables enfants

Lorsque vous activez le partitionnement automatique pour une table pour la première fois, la tâche de création ne s'exécute pas instantanément. Le système vérifie les partitions à créer toutes les 10 minutes par défaut. Par conséquent, le système crée vos tables enfants dans cette fenêtre de 10 minutes.