Hologres:Migrate from physical to logical partitioned tables

Cuándo migrar

Migre a una tabla particionada lógica si su tabla particionada física cumple alguna de las siguientes condiciones:

• Un table group contiene más de 10,000 tablas secundarias, lo que genera un volumen muy grande de metadatos.

• Se agregan nuevas particiones todos los días, lo que provoca operaciones DDL frecuentes.

Elegir un método de migración

Migrar mediante verificación con escritura dual (recomendado)

Este método mantiene las tablas antigua y nueva ejecutándose en paralelo durante la migración, lo que minimiza el impacto en el negocio.

CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

SET statement_timeout = 0;
ASYNC CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

BEGIN;
ALTER TABLE <source_table_name> RENAME TO <source_table_name_archive>;
ALTER TABLE <target_table_name> RENAME TO <source_table_name>;
COMMIT;

Migrar mediante REBUILD (no recomendado)

Cuando REBUILD finaliza, la tabla particionada física se renombra como tmp_rebuild_old_<query_id>_<unique_id>_<table_name>. Las tareas relacionadas pueden generar errores hasta que usted complete la adaptación de dichas tareas.

1. Detenga las tareas de escritura de la tabla particionada física.

2. Ejecute REBUILD para convertir la tabla:

   -- Add the NOT NULL constraint to the partition field.
   ASYNC REBUILD TABLE user_profile ALTER ds SET NOT NULL;
   
   -- Convert the physical partitioned table to a logical partitioned table (retains the original).
   ASYNC REBUILD TABLE user_profile WITH (keep_source) TO logical partition;

   Para obtener más información, consulte REBUILD.

3. Actualice las tareas de escritura y reinícielas.

4. Adapte las tareas de consulta a la nueva tabla particionada lógica.

5. Adapte las tareas de O&M a la nueva tabla particionada lógica.

Conversión del esquema de la tabla

Al crear una tabla particionada lógica a partir del DDL de una tabla particionada física existente, aplique los siguientes cambios:

• Agregue la palabra clave LOGICAL antes de PARTITION BY.

• Agregue NOT NULL a la columna de clave de partición.

• (Opcional) Agregue una segunda clave de partición. Las tablas particionadas físicas admiten una clave de partición; las tablas particionadas lógicas admiten hasta dos.

Tabla particionada física:

BEGIN;
CREATE TABLE user_profile (
    a TEXT,
    b TEXT,
    ds TEXT
)
PARTITION BY LIST (ds);
CREATE TABLE user_profile_202503 PARTITION OF user_profile FOR VALUES IN ('202503');
CREATE TABLE user_profile_202504 PARTITION OF user_profile FOR VALUES IN ('202504');
COMMIT;

Tabla particionada lógica con una clave de partición:

CREATE TABLE user_profile_lp_1 (
    a TEXT,
    b TEXT,
    ds TEXT NOT NULL)
LOGICAL PARTITION BY LIST (ds);

Tabla particionada lógica con dos claves de partición (al dividir ds en yy para el año y mm para el mes):

CREATE TABLE user_profile_lp_2 (
    a TEXT,
    b TEXT,
    yy TEXT NOT NULL,
    mm TEXT NOT NULL)
LOGICAL PARTITION BY LIST (yy, mm);

Adaptación de las tareas de importación

Si su tarea de importación escribe en la tabla particionada física mediante Fixed Plan, no necesita hacer cambios.

Si su tarea de importación escribe en tablas secundarias (particiones), aplique los siguientes cambios:

• Elimine las instrucciones que crean tablas secundarias. Las tablas particionadas lógicas no tienen particiones físicas.

• Cambie el nombre de la tabla de destino del nombre de la tabla secundaria al nombre de la tabla principal.

-- Original task: import data to physical partitioned table
CREATE TABLE user_profile_202505 PARTITION OF user_profile FOR VALUES IN ('202505');
INSERT INTO user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Updated task: import data to logical partitioned table
INSERT INTO user_profile_lp_1 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Original: physical partitioned table (temporary table method)
CREATE TABLE tmp_user_profile_202505(a text, b text, ds text);
INSERT INTO tmp_user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

BEGIN;
DROP TABLE IF EXISTS user_profile_202505;
ALTER TABLE tmp_user_profile_202505 RENAME TO user_profile_202505;
ALTER TABLE user_profile ATTACH PARTITION user_profile_202505 FOR VALUES IN ('202505');
COMMIT;

-- Original: physical partitioned table (hg_insert_overwrite method)
CALL hg_insert_overwrite('user_profile', '202505', $$SELECT a, b, mm FROM <source_table> WHERE ds='202505'$$);

-- Updated: logical partitioned table (native INSERT OVERWRITE)
INSERT OVERWRITE user_profile_lp_1 PARTITION (ds = '202505') SELECT a, b, ds FROM <source_table> WHERE ds='202505';

Adaptación de las tareas de consulta

Si su consulta apunta a la tabla principal: no necesita hacer cambios.

Si su consulta apunta a una tabla secundaria: modifíquela para que consulte la tabla principal y agregue una condición de filtro de partición.

-- Original: physical partitioned table
SELECT * FROM user_profile_202504;

-- Updated: logical partitioned table
SELECT * FROM user_profile_lp_1 WHERE ds = '202504';

Adaptación de las tareas de O&M

Algunas operaciones de O&M utilizan tablas del sistema o funciones distintas para las tablas particionadas lógicas.

Asignación de propiedades y parámetros

En la siguiente tabla se muestra la correspondencia de los parámetros de particionamiento automático y otras propiedades de tabla entre las tablas particionadas físicas y lógicas.