Data Transmission Service:Migrar dados do PolarDB for PostgreSQL para o SelectDB

Banco de dados source

• As tabelas a serem migradas devem ter uma chave primária ou um índice UNIQUE NOT NULL. Dependendo das suas tabelas:

  • Se todas as tabelas tiverem chave primária ou índice único não nulo: garanta que os campos da tabela sejam únicos. Caso contrário, poderão existir dados duplicados no banco de dados de destino.

  • Se algumas tabelas não tiverem nem chave primária nem índice único não nulo: ao configurar a instância, selecione Schema Migration em Migration Types. Em seguida, na etapa Configurations for Databases, Tables, and Columns, defina Engine como duplicate para essas tabelas. Caso contrário, a instância de migração poderá falhar ou haver perda de dados.

• Durante a migração de schema e a migração completa de dados, não execute operações DDL que alterem o schema do banco de dados ou da tabela. A tarefa de migração falhará.

• Na migração incremental de dados, uma única alteração de dados superior a 256 MB causa falha irrecuperável na instância de migração. Reconfigure a instância de migração.

• Transações de longa duração durante a migração incremental podem causar acúmulo de logs WAL (write-ahead logging) e exaurir o espaço de armazenamento no banco de dados source.

Banco de dados de destino

• As tabelas na instância SelectDB de destino devem usar o mecanismo Unique ou Duplicate.

• Os nomes de bancos de dados e tabelas devem começar com uma letra. Use o recurso de mapeamento de nomes de objetos para renomear objetos que não começam com letra ou cujos nomes contenham caracteres chineses.

• Não adicione nós de backend (BE) à instância SelectDB durante a migração. A tarefa falhará. Reinicie a instância de migração para retomar.

• Não crie clusters na instância SelectDB de destino durante a migração. A tarefa falhará. Reinicie a instância de migração para retomar.

Comportamento da migração

• Uma instância de migração pode migrar apenas um banco de dados. Para migrar vários bancos de dados, crie uma instância de migração separada para cada um.

• O DTS não oferece suporte a tabelas de extensão TimescaleDB ou tabelas com herança entre schemas.

• O DTS não valida metadados como sequences. Verifique manualmente a validade dos metadados após a migração.

• Ao migrar tabelas particionadas, inclua tanto a tabela pai quanto todas as partições filhas como objetos de migração. A tabela pai de uma tabela particionada do PostgreSQL não armazena dados diretamente; todos os dados residem nas partições filhas. A ausência de partições filhas causa inconsistência de dados.

• Em um cenário de mesclagem de várias tabelas (várias tabelas source migradas para uma única tabela de destino), os schemas de todas as tabelas source devem ser idênticos.

• Não execute operações DDL que modifiquem várias colunas simultaneamente ou modifiquem a mesma tabela em sucessão.

• O DTS cria as seguintes tabelas temporárias no banco de dados source durante a migração incremental. Não as exclua, pois a exclusão causa falha na tarefa. O DTS as remove automaticamente após a liberação da instância de migração: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session e public.aliyun_dts_instance

Comportamento do mecanismo Unique

Se a tabela de destino usar o mecanismo Unique, todas as chaves únicas na tabela de destino devem existir na tabela source e ser incluídas como objetos de migração. Caso contrário, poderá ocorrer inconsistência de dados.

Comportamento do mecanismo Duplicate

Se a tabela de destino usar o mecanismo Duplicate:

• O DTS converte instruções UPDATE e DELETE em instruções INSERT.

• Linhas duplicadas podem aparecer no destino nestes casos: ocorrência de nova tentativa, reinício da instância de migração ou execução de duas ou mais operações DML na mesma linha após o início da migração. Use as colunas adicionais (_is_deleted, _version e _record_id) para identificar e remover duplicatas.

Requisitos para migração incremental de dados

Antes de gravar dados nas tabelas incluídas em uma migração incremental, execute o seguinte comando em cada tabela no banco de dados source:

ALTER TABLE schema.table REPLICA IDENTITY FULL;

Substitua schema e table pelo nome real do schema e da tabela. Execute este comando fora do horário de pico e não bloqueie as tabelas. O bloqueio pode causar deadlock.

Se você ignorar o item de pré-verificação relacionado, o DTS executará este comando automaticamente durante a inicialização da instância. Isso ocorre quando a instância é executada pela primeira vez ou quando a granularidade do objeto de migração está definida como Schema e uma nova tabela é criada ou reconstruída usando o comando RENAME.

Gerenciamento de slots de replicação

O DTS cria um slot de replicação com o prefixo dts_sync_ no banco de dados source para replicar dados incrementais. O slot retém até 15 minutos de logs incrementais.

Quando uma tarefa de migração falha ou a instância de migração é liberada, o DTS tenta limpar o slot de replicação automaticamente. A limpeza manual é necessária nos seguintes casos:

• A senha da conta do banco de dados source foi alterada durante a migração.

• O endereço ip do DTS foi removido da lista de permissões durante a migração.

• Ocorreu um failover primário/secundário. Faça logon no banco de dados secundário para realizar a limpeza.

Slots de replicação não limpos se acumulam e consomem espaço em disco, o que pode tornar o banco de dados source indisponível.

Etapa 1: Acesse a página Data Migration

Use um dos seguintes métodos:

Etapa 2: Crie uma tarefa

Clique em Create Task para acessar a página de configuração da tarefa.

Etapa 3: Configure bancos de dados source e de destino

Configure os parâmetros descritos na tabela a seguir.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Adicione os endereços ip dos servidores do DTS às configurações de segurança dos bancos de dados source e de destino. O DTS pode adicionar esses endereços ip automaticamente ou você pode adicioná-los manualmente. Consulte Adicionar endereços ip de servidores do DTS a uma lista de permissões .

Etapa 4: Configure objetos de migração

Na página Configure Objects, defina os seguintes parâmetros.

Parâmetro	Descrição
Migration Types	Selecione os tipos de migração com base na sua estratégia: <br>- Full migration (sem tolerância a tempo de inatividade): Selecione Schema Migration e Full Data Migration. Interrompa todas as gravações no source antes de iniciar. <br>- Online migration (tempo de inatividade zero): Selecione Schema Migration, Full Data Migration e Incremental Data Migration.
Processing Mode of Conflicting Tables	- Precheck and Report Errors: O DTS verifica se existem tabelas com o mesmo nome no destino. Se houver duplicatas, a pré-verificação falhará. Para resolver, renomeie a tabela de destino usando o recurso de mapeamento de nomes de objetos. <br>- Ignore Errors and Proceed: O DTS ignora a verificação de nomes duplicados. Aviso Isso pode causar inconsistência de dados. Se os schemas coincidirem, os registros do source substituirão os registros de destino com a mesma chave primária. Se os schemas diferirem, a migração poderá falhar ou produzir dados incompletos. Use com cautela.
Capitalization of Object Names in Destination Instance	Controla a capitalização dos nomes de bancos de dados, tabelas e colunas no destino. O padrão é DTS default policy. Consulte Especificar a capitalização de nomes de objetos na instância de destino.
Source Objects	Selecione os objetos a serem migrados. Clique no ícone para movê-los para Selected Objects. A granularidade do objeto de migração pode ser schema, tabela ou coluna.
Selected Objects	- Para mapear um objeto para um nome ou destino diferente, clique com o botão direito no objeto e selecione a opção de mapeamento. Consulte Mapear nomes de objetos. <br>- Para remover um objeto, clique nele e depois clique no ícone . <br>- Para definir o parâmetro bucket_count de uma tabela (disponível quando Schema Migration está selecionado e a granularidade do objeto de migração é tabela): clique com o botão direito na tabela, defina Enable Parameter Settings como Yesconfigurações de notificação de alerta, insira o valor e clique em OK. <br>- Para filtrar linhas por condições SQL, clique com o botão direito em uma tabela e especifique as condições. Consulte Especificar condições de filtro. <br>- Para selecionar quais operações SQL migrar incrementalmente, clique com o botão direito em um objeto e selecione as operações.

Etapa 5: Configure definições avançadas

Clique em Next: Advanced Settings e configure os seguintes parâmetros.

Etapa 6: Configure campos de banco de dados e tabelas (opcional)

Clique em Next: Configure Database and Table Fields para definir a Primary Key Column, Distribution Key e Engine das tabelas de destino.

Esta etapa está disponível apenas quando Schema Migration estiver selecionado. Para visualizar todas as tabelas, defina Definition Status como All .

Primary Key Column pode ser uma chave primária composta. Selecione uma ou mais colunas em Primary Key Column para usar como Distribution Key .

Para tabelas sem chave primária ou restrição UNIQUE, defina Engine como duplicate . Caso contrário, a migração poderá falhar ou haver perda de dados.

Etapa 7: Execute a pré-verificação

Clique em Next: Save Task Settings and Precheck.

Para visualizar os parâmetros da api para configurar esta tarefa, passe o mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters antes de prosseguir.

O DTS executa uma pré-verificação antes de iniciar a migração. Se a pré-verificação falhar:

• Para itens com falha: clique em View Details, analise os resultados, resolva os problemas e clique em Precheck Again.

• Para itens de alerta: se o alerta puder ser ignorado, clique em Confirm Alert Details > Ignore > OK > Precheck Again. Observe que ignorar alertas pode causar inconsistência de dados.

Etapa 8: Adquirir a instância

1. Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

2. Na página Purchase Instance, configure a classe da instância:

   Seção	Parâmetro	Descrição
   New Instance Class	Resource Group	O grupo de recursos para a instância de migração. Padrão: default resource group. Consulte O que é o Resource Management?.
   	Instance Class	A classe da instância determina a velocidade da migração. Consulte Classes de instâncias de migração de dados.

3. Leia e marque a caixa de seleção Data Transmission Service (Pay-as-you-go) Service Terms.

4. Clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo de confirmação.

Monitore o progresso na página Data Migration:

• Apenas migração completa: a tarefa para automaticamente quando concluída. O status mostra Completed.

• Migração incremental incluída: a tarefa é executada continuamente e nunca para automaticamente. O status mostra Running.

Durante a migração completa de dados, o DTS consome recursos de leitura e gravação nos bancos de dados source e de destino, o que aumenta a carga do banco de dados. Execute a migração fora do horário de pico, quando a carga de cpu em ambos os bancos de dados estiver abaixo de 30%.

Latência da migração incremental

O DTS usa uma política de sincronização em lote para reduzir a carga no destino. Por padrão, cada objeto de sincronização é gravado no máximo uma vez a cada 5 segundos, resultando em uma latência de sincronização normal geralmente dentro de 10 segundos.

Para reduzir a latência, ajuste o parâmetro selectdb.reservoir.timeout.milliseconds da instância de migração no console do DTS. O intervalo válido é de 1.000 a 10.000 milissegundos.

Um tempo de agrupamento menor aumenta a frequência de gravação, o que eleva a carga e o tempo de resposta no destino. Isso, por sua vez, pode aumentar a latência de sincronização. Ajuste com base na carga real do destino.

Recuperação de falha da instância

Se uma instância de migração falhar, o suporte do DTS tentará a recuperação dentro de 8 horas. Durante a recuperação, a instância pode ser reiniciada ou seus parâmetros ajustados (apenas os parâmetros da instância do DTS são modificados; os parâmetros do banco de dados não são alterados). Para obter a lista de parâmetros que podem ser modificados, consulte Modifique parâmetros da instância.

Migração fora de pico

Execute a migração fora do horário de pico, quando a carga de cpu nos bancos de dados source e de destino estiver abaixo de 30%. Isso reduz o risco de degradação de desempenho nas cargas de trabalho de produção.