Hologres:Migrar de tabelas particionadas físicas para lógicas

Quando migrar

Migre para uma tabela particionada lógica se sua tabela particionada física atender a qualquer uma das condições abaixo:

• Um grupo de tabelas contém mais de 10.000 tabelas filhas, resultando em grande volume de metadados.

• Novas partições são adicionadas diariamente, gerando operações DDL frequentes.

Escolha uma abordagem de migração

Migrar usando verificação com escrita dupla (recomendado)

Essa abordagem mantém as tabelas antiga e nova operando em paralelo durante a migração, minimizando o impacto nos negócios.

CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

SET statement_timeout = 0;
ASYNC CALL hg_clone_to_logical_partition('user_profile', 'user_profile_logical');

BEGIN;
ALTER TABLE <source_table_name> RENAME TO <source_table_name_archive>;
ALTER TABLE <target_table_name> RENAME TO <source_table_name>;
COMMIT;

Migrar usando REBUILD (não recomendado)

Quando o REBUILD é concluído, a tabela particionada física é renomeada para tmp_rebuild_old_<query_id>_<unique_id>_<table_name>. As tarefas relacionadas podem gerar erros até que você conclua a adaptação das tarefas.

1. Interrompa as tarefas de escrita da tabela particionada física.

2. Execute o REBUILD para converter a tabela:

   -- Add the NOT NULL constraint to the partition field.
   ASYNC REBUILD TABLE user_profile ALTER ds SET NOT NULL;
   
   -- Convert the physical partitioned table to a logical partitioned table (retains the original).
   ASYNC REBUILD TABLE user_profile WITH (keep_source) TO logical partition;

   Para mais informações, consulte REBUILD.

3. Atualize as tarefas de escrita e reinicie-as.

4. Adapte as tarefas de consulta para a nova tabela particionada lógica.

5. Adapte as tarefas de O&M para a nova tabela particionada lógica.

Conversão de schema de tabela

Ao criar uma tabela particionada lógica a partir do DDL de uma tabela particionada física existente, faça as seguintes alterações:

• Adicione a palavra-chave LOGICAL antes de PARTITION BY.

• Adicione NOT NULL à coluna da chave de partição.

• (Opcional) Adicione uma segunda chave de partição. Tabelas particionadas físicas suportam uma chave de partição; tabelas particionadas lógicas suportam até duas.

Tabela particionada física:

BEGIN;
CREATE TABLE user_profile (
    a TEXT,
    b TEXT,
    ds TEXT
)
PARTITION BY LIST (ds);
CREATE TABLE user_profile_202503 PARTITION OF user_profile FOR VALUES IN ('202503');
CREATE TABLE user_profile_202504 PARTITION OF user_profile FOR VALUES IN ('202504');
COMMIT;

Tabela particionada lógica — uma chave de partição:

CREATE TABLE user_profile_lp_1 (
    a TEXT,
    b TEXT,
    ds TEXT NOT NULL)
LOGICAL PARTITION BY LIST (ds);

Tabela particionada lógica — duas chaves de partição (dividindo ds em yy para ano e mm para mês):

CREATE TABLE user_profile_lp_2 (
    a TEXT,
    b TEXT,
    yy TEXT NOT NULL,
    mm TEXT NOT NULL)
LOGICAL PARTITION BY LIST (yy, mm);

Adaptação de tarefas de importação

Se sua tarefa de importação grava na tabela particionada física via Fixed Plan: nenhuma alteração é necessária.

Caso sua tarefa de importação grave em tabelas filhas (partições), faça as seguintes alterações:

• Remova instruções que criam tabelas filhas. Tabelas particionadas lógicas não possuem partições físicas.

• Altere o nome da tabela de destino do nome da tabela filha para o nome da tabela pai.

-- Original task: import data to physical partitioned table
CREATE TABLE user_profile_202505 PARTITION OF user_profile FOR VALUES IN ('202505');
INSERT INTO user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Updated task: import data to logical partitioned table
INSERT INTO user_profile_lp_1 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

-- Original: physical partitioned table (temporary table method)
CREATE TABLE tmp_user_profile_202505(a text, b text, ds text);
INSERT INTO tmp_user_profile_202505 SELECT a, b, ds FROM <source_table> WHERE ds = '202505';

BEGIN;
DROP TABLE IF EXISTS user_profile_202505;
ALTER TABLE tmp_user_profile_202505 RENAME TO user_profile_202505;
ALTER TABLE user_profile ATTACH PARTITION user_profile_202505 FOR VALUES IN ('202505');
COMMIT;

-- Original: physical partitioned table (hg_insert_overwrite method)
CALL hg_insert_overwrite('user_profile', '202505', $$SELECT a, b, mm FROM <source_table> WHERE ds='202505'$$);

-- Updated: logical partitioned table (native INSERT OVERWRITE)
INSERT OVERWRITE user_profile_lp_1 PARTITION (ds = '202505') SELECT a, b, ds FROM <source_table> WHERE ds='202505';

Adaptação de tarefas de consulta

Se sua consulta acessa a tabela pai: nenhuma alteração é necessária.

Se sua consulta acessa uma tabela filha: altere-a para consultar a tabela pai e adicione uma condição de filtro de partição.

-- Original: physical partitioned table
SELECT * FROM user_profile_202504;

-- Updated: logical partitioned table
SELECT * FROM user_profile_lp_1 WHERE ds = '202504';

Adaptação de tarefas de O&M

Algumas operações de O&M utilizam tabelas de sistema ou funções diferentes para tabelas particionadas lógicas.

Mapeamento de propriedades e parâmetros

A tabela a seguir mapeia parâmetros de particionamento automático e outras propriedades de tabela entre tabelas particionadas físicas e lógicas.