Data Transmission Service:Migrar dados entre clusters do PolarDB for PostgreSQL

Pré-requisitos

Antes de começar, verifique se você possui:

• Um cluster de destino do PolarDB for PostgreSQL com espaço de armazenamento maior que o do cluster de origem. Consulte Create a database cluster.

• O parâmetro wal_level no cluster de origem definido como logical. Consulte Set cluster parameters.

• Um banco de dados criado no cluster de destino para receber os dados migrados. Consulte Database management.

Faturamento

Objetos de migração compatíveis

SCHEMA, TABLE — incluindo PRIMARY KEY, UNIQUE KEY, FOREIGN KEY, DATATYPE (tipos de dados integrados) e DEFAULT CONSTRAINT.

Os recursos compatíveis para este tipo de banco de dados como origem variam de acordo com o tipo de banco de dados de destino. O console exibe os recursos aplicáveis.

Operações SQL compatíveis para migração incremental

Permissões da conta do banco de dados

Limitações

Analise as seguintes limitações antes de iniciar a tarefa de migração.

Banco de dados de origem:

• As tabelas a serem migradas devem ter uma chave primária ou um índice exclusivo não nulo.

• Transações de longa duração durante a migração incremental causam acúmulo de write-ahead log (WAL), o que pode esgotar o espaço em disco no banco de dados de origem.

• O cluster de origem deve ser compatível e ativar o Failover de slot de replicação lógica. Se o cluster não for compatível (por exemplo, o Database Engine é PostgreSQL 14), um failover de alta disponibilidade (HA) no banco de dados de origem pode fazer com que a instância de migração falhe de forma irrecuperável.

• Durante a migração de schema e a migração completa, não execute operações DDL que alterem a estrutura do banco de dados ou da tabela. Caso contrário, a tarefa de migração falhará.

• Durante a migração apenas completa, não grave novos dados na instância de origem, pois ocorrerá inconsistência de dados. Para manter a consistência em tempo real, execute a migração de schema, a migração de dados completa e a migração de dados incremental juntas.

• Se uma única alteração incremental exceder 256 MB, a instância de migração falhará e não poderá ser recuperada. Será necessário reconfigurar a instância de migração.

Migration scope:

• Uma única tarefa de migração pode migrar apenas um banco de dados. Configure uma tarefa separada para cada banco de dados que você precisa migrar.

• O DTS não é compatível com: tabelas de extensão do TimescaleDB, tabelas com herança entre schemas ou tabelas com índices exclusivos baseados em expressões.

• Schemas criados pela instalação de plugins não podem ser migrados e não ficam visíveis no console ao configurar uma tarefa.

Requisitos para migração incremental:

• Execute ALTER TABLE schema.table REPLICA IDENTITY FULL; em todas as tabelas a serem migradas no banco de dados de origem antes de gravar dados nelas. Não execute operações de bloqueio de tabela ao executar este comando, pois isso pode causar deadlocks. O DTS executa este comando automaticamente durante a inicialização da instância se você pular a pré-verificação. Execute este comando nas seguintes situações:

  • Quando a instância é executada pela primeira vez.

  • Quando o objeto de migração é um schema e uma nova tabela é criada no schema, ou quando uma tabela existente é reconstruída usando RENAME.

  Substitua schema e table pelos nomes reais. Execute este comando fora dos horários de pico.

• Se uma tabela contiver um campo SERIAL e você selecionar Schema Migration para Migration Types, selecione também Sequence ou migre o schema inteiro. Caso contrário, a instância de migração poderá falhar.

• O DTS cria um slot de replicação com o prefixo dts_sync_ no banco de dados de origem para replicar dados, retendo logs incrementais dos últimos 15 minutos. O DTS tenta limpar esse slot automaticamente quando a migração falha ou a instância é liberada.

  Se você alterar a senha da conta do banco de dados de origem ou remover endereços IP do DTS da lista de permissões do banco de dados de origem durante a migração, o slot de replicação não poderá ser limpo automaticamente. Limpe o slot manualmente para evitar que ele acumule e consuma espaço em disco, o que pode indisponibilizar o banco de dados de origem. Se ocorrer um failover no banco de dados de origem, faça login no banco de dados secundário para limpar o slot manualmente.

• Para tarefas com chaves estrangeiras, triggers ou event triggers, o DTS define session_replication_role como replica no nível da sessão se a conta do banco de dados de destino for uma conta privilegiada ou tiver permissões de superusuário. Se a conta de destino não tiver essas permissões, defina session_replication_role como replica manualmente no banco de dados de destino. Após a liberação da tarefa de migração, altere o parâmetro de volta para origin.

Banco de dados de destino:

• A migração de dados completa executa operações INSERT simultâneas, o que causa fragmentação da tabela. O espaço da tabela no banco de dados de destino será maior do que no banco de dados de origem após a migração.

• O DTS valida o conteúdo dos dados, mas não valida metadados como sequences. Valide os metadados por conta própria.

• Após o cutover para o banco de dados de destino, as sequences não começam a partir do valor máximo da sequence do banco de dados de origem. Antes do cutover, atualize o valor da sequence no banco de dados de destino. Consulte Atualizar o valor da sequence do banco de dados de destino.

Tabelas particionadas:

• Inclua tanto a tabela pai quanto todas as tabelas filhas como objetos de migração. No PostgreSQL, as tabelas pai não armazenam dados diretamente — todos os dados residem nas tabelas filhas. Se as tabelas filhas não forem incluídas, ocorrerá inconsistência de dados.

Recuperação de tarefas:

• O DTS tenta recuperar automaticamente tarefas com falha em até sete dias. Antes de transferir seus negócios para a instância de destino, encerre ou libere a tarefa, ou use o comando revoke para revogar as permissões de gravação da conta do DTS na instância de destino. Isso evita que os dados de origem sobrescrevam os dados de destino após uma recuperação automática.

• Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Eles podem reiniciar a tarefa ou, se preferir, modifique os parâmetros da tarefa do DTS (não parâmetros do banco de dados). Consulte Modify instance parameters para ver os parâmetros que podem ser ajustados.

Tabelas temporárias:

• O DTS cria as seguintes tabelas temporárias no banco de dados de origem para capturar instruções DDL, estruturas de tabelas incrementais e informações de heartbeat. Não as exclua durante a migração, pois a tarefa do DTS falhará. O DTS as exclui automaticamente após a liberação da instância: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

Comportamento da migração de schema:

• O DTS migra chaves estrangeiras do banco de dados de origem para o banco de dados de destino durante a migração de schema.

• Durante a migração completa e incremental, o DTS desativa temporariamente as verificações de restrições e as operações em cascata de chaves estrangeiras no nível da sessão. Se ocorrerem operações de atualização ou exclusão em cascata no banco de dados de origem enquanto a tarefa estiver em execução, poderá haver inconsistência de dados.

Criar uma tarefa de migração

Verificar a migração

Para acompanhar, verifique o progresso da tarefa na página Data Migration Tasks:

• Tarefas sem migração incremental param automaticamente após a conclusão da migração completa. O Status muda para Completed.

• Tarefas com migração incremental continuam em execução. O Status mostra Running enquanto a migração incremental estiver ativa.

Próximos passos

Antes de fazer o cutover para o banco de dados de destino:

• Atualize o valor da sequence no banco de dados de destino. Após o cutover, as sequences não retomam a partir do valor máximo do banco de dados de origem. Consulte Atualizar o valor da sequence do banco de dados de destino.

• Encerre ou libere a tarefa do DTS, ou revogue as permissões de gravação da conta do DTS na instância de destino usando o comando revoke. Isso evita que tarefas recuperadas automaticamente sobrescrevam os dados de destino.