Data Transmission Service:Migrar dados do PolarDB for PostgreSQL para o AnalyticDB for PostgreSQL

Limitações do banco de dados de source

• As tabelas a serem migradas devem ter uma chave primária ou um índice único não nulo.

• Se o banco de dados de source tiver transações de longa duração e a tarefa incluir migração incremental, o write-ahead log (WAL) gerado antes do commit dessas transações pode acumular e esgotar o espaço em disco no banco de dados de source.

• O cluster PolarDB for PostgreSQL deve suportar e ter ativado o Failover de Slot de Replicação Lógica.

  Importante

  Se o cluster de source não suportar Failover de Slot de Replicação Lógica — por exemplo, se o Database Engine for PostgreSQL 14 — um failover de alta disponibilidade (HA) na source poderá causar falha irrecuperável na tarefa de migração.

• Não execute operações DDL que alterem a estrutura do banco de dados ou da tabela durante a migração de schema ou a migração completa de dados. Caso contrário, a tarefa de migração falhará.

• Um único dado que exceda 256 MB após uma alteração incremental causará falha irrecuperável na tarefa de migração. Nesse caso, reconfigure a tarefa de migração.

Limitações de escopo

• Uma única tarefa de migração migra apenas um banco de dados. Configure uma tarefa separada para cada banco de dados adicional.

• O DTS não oferece suporte a: tabelas de extensão TimescaleDB, tabelas com herança entre schemas ou tabelas com índices únicos baseados em expressões.

• Schemas criados pela instalação de plugins não podem ser migrados e não aparecem no console durante a configuração da tarefa.

• O DTS não migra os seguintes tipos de objetos: DATATYPE, SEQUENCE, INDEX, PROCEDURE, FUNCTION, VIEW, OPERATOR, DEFAULT_CONSTRAINT, UK, PK, RULE, DOMAIN, AGGREGATE, EXTENSION, FK e TRIGGER.

• As tabelas de destino não suportam tabelas AO (append-optimized).

• Para tabelas particionadas, inclua tanto a tabela pai quanto todas as suas tabelas filhas como objetos de migração. No PostgreSQL, a tabela pai não armazena dados diretamente — todos os dados residem nas tabelas filhas. A omissão das tabelas filhas causa inconsistência de dados.

Limitações de consistência de dados

• Durante a migração de schema, o DTS migra chaves estrangeiras da source para o destino.

• Durante a migração completa e a migração incremental de dados, o DTS desativa temporariamente as verificações de restrições e as operações em cascata de chaves estrangeiras no nível da sessão. Se ocorrerem operações de atualização ou exclusão em cascata na source enquanto a tarefa estiver em execução, poderá haver inconsistência de dados.

• A migração completa de dados utiliza operações INSERT concorrentes, o que causa fragmentação de tabela no destino. Como resultado, o espaço da tabela de destino fica maior do que o da source após a migração completa.

• Se uma tabela possuir chave primária, a coluna de chave primária no destino deve corresponder à da source. Se a tabela não tiver chave primária, a coluna de chave primária no destino deve corresponder à chave de distribuição.

• A chave única (incluindo a coluna de chave primária) da tabela de destino deve conter todas as colunas da chave de distribuição.

• Se os schemas das tabelas de source e de destino forem inconsistentes, ou se você utilizar mapeamento de colunas para uma migração de tabela não completa, os dados das colunas que existem apenas na source serão perdidos.

• O DTS valida o conteúdo dos dados, mas não valida metadados como sequences. Valide os metadados separadamente após a migração.

Requisitos para migração incremental

Antes de gravar dados no banco de dados de source para migração incremental, execute o seguinte comando em cada tabela a ser migrada:

do language plpgsql $$
declare
  nsp name;
  rel name;
  val int8;
begin
  for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
  loop
    execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
    raise notice '%',
    format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
  end loop;
end;
$$;

Substitua schema e table pelo nome real do schema e da tabela. Execute este comando fora do horário de pico e evite operações de bloqueio de tabela durante sua execução.

Execute este comando nos seguintes cenários:

• Quando a tarefa de migração for executada pela primeira vez.

• Quando o objeto de migração for um schema e uma nova tabela for criada nesse schema ou uma tabela existente for reconstruída usando RENAME.

Se você ignorar o item de pré-verificação relacionado, o DTS executará automaticamente este comando durante a inicialização da instância.

Tratamento de sequences pós-migração

Após alternar seus negócios para a instância de destino, as sequences não iniciam automaticamente a partir do valor máximo das sequences correspondentes na source. Antes da alternância, consulte os valores máximos das sequences no banco de dados de source e defina-os como valores iniciais no destino.

Execute o seguinte comando no banco de dados de source para obter todos os valores das sequences:

do language plpgsql $$
declare
  nsp name;
  rel name;
  val int8;
begin
  for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
  loop
    execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
    raise notice '%',
    format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
  end loop;
end;
$$;

A saída contém instruções SET para todas as sequences no banco de dados de source. Execute apenas as instruções relevantes para sua migração no banco de dados de destino.

Gerenciamento de slots de replicação

Durante a migração incremental, o DTS cria um slot de replicação com o prefixo dts_sync_ no banco de dados de source para replicar logs incrementais dos últimos 15 minutos. Quando uma tarefa de migração falha ou a instância é liberada, o DTS tenta limpar o slot de replicação automaticamente.

A limpeza manual é necessária nos seguintes casos:

• Você alterou a senha da conta do banco de dados de source durante a migração.

• Você removeu o endereço IP do DTS da lista de permissões de endereços IP do banco de dados de source durante a migração.

• Ocorreu um failover no banco de dados de source — faça login no banco de dados secundário para limpar o slot manualmente.

Tabelas temporárias

O DTS cria as seguintes tabelas temporárias no banco de dados de source para obter instruções DDL, informações incrementais de estrutura de tabela e dados de heartbeat. Não exclua essas tabelas durante a migração — elas são excluídas automaticamente após a liberação da instância do DTS.

public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session e public.aliyun_dts_instance

Etapa 1: Abrir a lista de tarefas de migração

Abra a lista de tarefas de migração usando um dos métodos a seguir.

Pelo console do DTS:

1. Faça login no console do DTS.

2. No painel de navegação à esquerda, clique em Data Migration.

3. No canto superior esquerdo, selecione a região onde a instância de migração está localizada.

Pelo console do DMS:

As etapas reais podem variar com base no modo e layout do seu console do DMS. Consulte Console do modo simples e Personalizar o layout e o estilo do console do DMS .

1. Faça login no console do DMS.

2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.

3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.

Etapa 2: Configurar bancos de dados de source e de destino

Configure os seguintes parâmetros na página de conexão dos bancos de dados de source e de destino.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Certifique-se de que os intervalos de endereços IP do service DTS foram adicionados às configurações de segurança (lista de permissões) dos bancos de dados de source e de destino. Consulte Adicionar endereços IP de servidores DTS a uma lista de permissões .

Etapa 3: Configurar objetos de migração

Na página Configure Objects, defina os seguintes parâmetros.

O uso de mapeamento de nomes de objetos pode causar falha na migração de outros objetos que dependem do objeto renomeado.

Etapa 4: Configurar definições avançadas

Clique em Next: Advanced Settings para configurar os seguintes parâmetros.

Etapa 5: Configurar validação de dados

Clique em Next: Data Validation para configurar uma tarefa de validação de dados. Consulte Configurar validação de dados.

Etapa 6: Configurar campos da tabela de destino (opcional)

Clique em Next: Configure Database and Table Fields para definir o Type, a Primary Key Column e a Distribution Key para as tabelas de destino no AnalyticDB for PostgreSQL.

Esta etapa está disponível apenas quando Schema Migration estiver selecionado. Defina Definition Status como All para visualizar e editar todas as tabelas.

• Primary Key Column: Selecione uma ou mais colunas. Várias colunas formam uma chave primária composta.

• Distribution Key: Selecione uma ou mais colunas da Primary Key Column. Consulte {{XREF_11}} e {{XREF_12}}.

Etapa 7: Salvar configurações e executar pré-verificação

Clique em Next: Save Task Settings and Precheck.

Para visualizar os parâmetros da API para esta configuração, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .

Antes do início da tarefa de migração, o DTS realiza uma pré-verificação. A tarefa só começa após passar na pré-verificação.

Se a pré-verificação falhar, clique em View Details ao lado do item com falha, corrija o problema e clique em Precheck Again.

Se aparecer um aviso:

• Para avisos que não podem ser ignorados, corrija o problema subjacente e execute a pré-verificação novamente.

• Para avisos que podem ser ignorados, clique em Confirm Alert Details > Ignore > OK > Precheck Again para prosseguir. Ignorar avisos pode causar inconsistência de dados.

Etapa 8: Adquirir a instância

1. Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

2. Na página Purchase, defina os seguintes parâmetros.

   Parâmetro	Descrição
   Resource Group Settings	Grupo de recursos para a instância. Padrão: grupo de recursos padrão. Consulte O que é Resource Management?
   Instance Class	Especificação do link de migração que determina a velocidade da migração. Consulte Especificações de link de migração de dados.

3. Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

4. Clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo de confirmação.