Hologres:Migrate from physical to logical partitioned tables

Quand effectuer la migration

Effectuez la migration vers une table partitionnée logique si votre table partitionnée physique répond à l'une des conditions suivantes :

• Un groupe de tables contient plus de 10 000 tables enfants, ce qui entraîne un volume important de métadonnées.

• De nouvelles partitions sont ajoutées quotidiennement, générant des opérations DDL fréquentes.

Choisir une approche de migration

Migrer en utilisant la vérification par double écriture (recommandé)

Cette approche maintient l'exécution parallèle des anciennes et nouvelles tables pendant la migration, minimisant ainsi l'impact sur les activités.

CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

SET statement_timeout = 0;
ASYNC CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

BEGIN;
ALTER TABLE <source_table_name> RENAME TO <source_table_name_archive>;
ALTER TABLE <target_table_name> RENAME TO <source_table_name>;
COMMIT;

Migrer en utilisant REBUILD (non recommandé)

Lorsque REBUILD est terminé, la table partitionnée physique est renommée en tmp_rebuild_old_<query_id>_<unique_id>_<table_name>. Les tâches associées peuvent générer des erreurs jusqu'à ce que vous ayez finalisé l'adaptation des tâches.

1. Arrêtez les tâches d'écriture pour la table partitionnée physique.

2. Exécutez REBUILD pour convertir la table :

   -- Add the NOT NULL constraint to the partition field.
   ASYNC REBUILD TABLE user_profile ALTER ds SET NOT NULL;
   
   -- Convert the physical partitioned table to a logical partitioned table (retains the original).
   ASYNC REBUILD TABLE user_profile WITH (keep_source) TO logical partition;

   Pour plus d'informations, consultez REBUILD.

3. Mettez à jour les tâches d'écriture et redémarrez-les.

4. Adaptez les tâches de requête à la nouvelle table partitionnée logique.

5. Adaptez les tâches O&M à la nouvelle table partitionnée logique.

Conversion du schéma de table

Lors de la création d'une table partitionnée logique à partir du DDL d'une table partitionnée physique existante, effectuez les modifications suivantes :

• Ajoutez le mot-clé LOGICAL avant PARTITION BY.

• Ajoutez NOT NULL à la colonne de clé de partition.

• (Facultatif) Ajoutez une seconde clé de partition. Les tables partitionnées physiques prennent en charge une seule clé de partition ; les tables partitionnées logiques en prennent en charge jusqu'à deux.

Table partitionnée physique :

BEGIN;
CREATE TABLE user_profile (
    a TEXT,
    b TEXT,
    ds TEXT
)
PARTITION BY LIST (ds);
CREATE TABLE user_profile_202503 PARTITION OF user_profile FOR VALUES IN ('202503');
CREATE TABLE user_profile_202504 PARTITION OF user_profile FOR VALUES IN ('202504');
COMMIT;

Table partitionnée logique — une clé de partition :

CREATE TABLE user_profile_lp_1 (
    a TEXT,
    b TEXT,
    ds TEXT NOT NULL)
LOGICAL PARTITION BY LIST (ds);

Table partitionnée logique — deux clés de partition (division de ds en yy pour l'année et mm pour le mois) :

CREATE TABLE user_profile_lp_2 (
    a TEXT,
    b TEXT,
    yy TEXT NOT NULL,
    mm TEXT NOT NULL)
LOGICAL PARTITION BY LIST (yy, mm);

Adaptation des tâches d'importation

Si votre tâche d'importation écrit dans la table partitionnée physique via Fixed Plan : aucune modification n'est nécessaire.

Si votre tâche d'importation écrit dans les tables enfants (partitions) : effectuez les modifications suivantes :

• Supprimez les instructions qui créent des tables enfants. Les tables partitionnées logiques ne comportent pas de partitions physiques.

• Modifiez le nom de la table cible du nom de la table enfant vers le nom de la table parente.

-- Original task: import data to physical partitioned table
CREATE TABLE user_profile_202505 PARTITION OF user_profile FOR VALUES IN ('202505');
INSERT INTO user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Updated task: import data to logical partitioned table
INSERT INTO user_profile_lp_1 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Original: physical partitioned table (temporary table method)
CREATE TABLE tmp_user_profile_202505(a text, b text, ds text);
INSERT INTO tmp_user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

BEGIN;
DROP TABLE IF EXISTS user_profile_202505;
ALTER TABLE tmp_user_profile_202505 RENAME TO user_profile_202505;
ALTER TABLE user_profile ATTACH PARTITION user_profile_202505 FOR VALUES IN ('202505');
COMMIT;

-- Original: physical partitioned table (hg_insert_overwrite method)
CALL hg_insert_overwrite('user_profile', '202505', $$SELECT a, b, mm FROM <source_table> WHERE ds='202505'$$);

-- Updated: logical partitioned table (native INSERT OVERWRITE)
INSERT OVERWRITE user_profile_lp_1 PARTITION (ds = '202505') SELECT a, b, ds FROM <source_table> WHERE ds='202505';

Adaptation des tâches de requête

Si votre requête cible la table parente : aucune modification n'est nécessaire.

Si votre requête cible une table enfant : modifiez-la pour interroger la table parente et ajoutez une condition de filtre de partition.

-- Original: physical partitioned table
SELECT * FROM user_profile_202504;

-- Updated: logical partitioned table
SELECT * FROM user_profile_lp_1 WHERE ds = '202504';

Adaptation des tâches O&M

Certaines opérations O&M utilisent des tables système ou des fonctions différentes pour les tables partitionnées logiques.

Mappage des propriétés et des paramètres

Le tableau suivant établit la correspondance entre les paramètres de partitionnement automatique et autres propriétés de table pour les tables partitionnées physiques et logiques.