Data Transmission Service:Migrar dados do ApsaraDB RDS for PostgreSQL para o ApsaraDB for SelectDB

Requisitos do banco de dados de origem

• Largura de banda: O servidor que hospeda o banco de dados de origem deve ter largura de banda de saída suficiente. Caso contrário, a velocidade de migração de dados será afetada.

• Tabelas com chaves primárias ou restrições UNIQUE: Garanta que os campos da tabela sejam únicos. Do contrário, podem existir dados duplicados no banco de dados de destino.

  Se o DTS não criar a tabela de destino que recebe os dados (ou seja, Schema Migration não estiver selecionado), garanta que a tabela de destino tenha a mesma chave primária ou restrição UNIQUE não nula da tabela de origem. Caso contrário, dados duplicados podem surgir no banco de dados de destino.

• Tabelas sem chave primária ou restrição UNIQUE: Selecione Schema Migration ao configurar a tarefa e defina o mecanismo da tabela como duplicate.

• Nome do banco de dados: O nome do banco de dados não pode conter hífen (-). Por exemplo, dts-testdata não é suportado.

• Quantidade de tabelas: Ao migrar no nível de tabela com mapeamento de nomes de colunas, uma única tarefa suporta no máximo 1.000 tabelas. Para migrações maiores, divida as tabelas em várias tarefas ou migre o banco de dados inteiro.

• Operações DDL: Não execute operações DDL no banco de dados de origem durante a migração completa de dados.

• Tamanho dos dados: Se uma única linha de dados de alteração incremental exceder 256 MB, a instância de migração falhará e não poderá ser recuperada. Será necessário reconfigurar a instância de migração.

• Write-Ahead Logging (WAL):

  • Defina wal_level como logical.

  • Para migração apenas incremental: retenha logs WAL por mais de 24 horas.

  • Para migração completa + incremental: retenha logs WAL por pelo menos 7 dias. É possível alterar o período de retenção de logs para mais de 24 horas após a conclusão da migração completa.

  Importante

  Se a retenção de logs WAL for inferior à exigida pelo DTS e a tarefa falhar devido à falta de logs, essa situação não será coberta pelo Acordo de Nível de Serviço (SLA) do DTS.

• Failover de Slot de Replicação Lógica: A instância RDS PostgreSQL deve suportar e ter o Failover de Slot de Replicação Lógica ativado. Consulte Failover de Slot de Replicação Lógica.

• Transações de longa duração: Se o banco de dados de origem tiver transações de longa duração e a tarefa incluir migração incremental, os dados WAL acumularão até que a transação seja confirmada. Monitore o espaço em disco da origem para evitar que ele se esgote.

• Atualizações de versão principal: Não atualize a versão principal do banco de dados de origem enquanto a instância de migração estiver em execução. Essa ação causa falha permanente na instância.

Requisitos do SelectDB de destino

• As tabelas devem usar o mecanismo Unique ou Duplicate. Consulte Modelo de Dados para obter orientações.

• Se a tabela de destino utilizar o mecanismo Unique, todas as chaves únicas da tabela de destino também devem existir na tabela de origem e estar incluídas nos objetos de migração.

• Os nomes de bancos de dados e tabelas devem começar com uma letra. Use o recurso de mapeamento de nomes de objetos para renomear aqueles que não atendem a esse requisito.

• Renomeie nomes de objetos contendo caracteres chineses para equivalentes ASCII usando o mapeamento de nomes de objetos. Caso contrário, a tarefa pode falhar.

• Uma instância de migração pode migrar apenas um banco de dados. Para migrar vários bancos de dados, configure uma instância de migração separada para cada um.

• Não adicione nós de backend (BE) ao banco de dados SelectDB durante a migração. Se a tarefa falhar por esse motivo, reinicie a instância de migração para retomar.

• Não crie clusters na instância SelectDB de destino durante a migração. Se a tarefa falhar por esse motivo, reinicie a instância de migração para retomar.

• O DTS valida o conteúdo dos dados, mas não valida metadados como Sequences. Valide esses metadados manualmente.

Requisitos de migração incremental

• Execute o seguinte comando em cada tabela a ser migrada antes de gravar dados na origem:

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Substitua schema e table pelos nomes reais do schema e da tabela. Execute este comando fora dos horários de pico e não bloqueie as tabelas durante a execução para evitar deadlocks.

  Se você ignorar o item de pré-verificação relacionado, o DTS executará automaticamente este comando durante a inicialização da instância. Isso se aplica quando a instância é executada pela primeira vez, ou quando a granularidade do objeto de migração está definida como Schema e uma nova tabela é criada ou uma tabela existente é reconstruída usando o comando RENAME.

• As operações SQL suportadas para migração incremental são:

  Tipo de operação	Instruções SQL
  DML	INSERT, UPDATE, DELETE
  DDL	ADD COLUMN, DROP COLUMN

• O DTS converte instruções UPDATE e DELETE em instruções INSERT para tabelas que usam o mecanismo Duplicate.

• O DTS não consegue migrar tabelas de extensão TimescaleDB ou tabelas com herança entre schemas.

• Ao migrar tabelas particionadas, inclua tanto a tabela pai quanto todas as tabelas filhas nos objetos de migração. A tabela pai em si não armazena dados, mas excluí-la causa inconsistência de dados.

• Para cenários de mesclagem de múltiplas tabelas (várias tabelas de origem para uma tabela de destino), todas as tabelas de origem devem ter schemas idênticos.

Casos especiais

Comportamento interno do DTS

Durante a migração, o DTS cria os seguintes objetos no banco de dados de origem. Não os exclua — eles são removidos automaticamente quando a instância DTS é liberada:

• Tabelas temporárias: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

• Slot de replicação (prefixo: dts_sync_): Usado para buscar logs incrementais dos últimos 15 minutos. O DTS limpa este slot quando a migração falha ou a instância é liberada.

  Se você alterar a senha da conta do banco de dados de origem ou remover endereços IP do DTS da lista de permissões durante a migração, o slot de replicação não poderá ser limpo automaticamente. Limpe-o manualmente para evitar acúmulo em disco. Se ocorrer um failover primário/secundário, faça login no banco de dados secundário para realizar a limpeza.

Etapa 1: Acessar a página Data Migration

Use um dos consoles a seguir para acessar a página Data Migration.

Etapa 2: Configurar bancos de dados de origem e destino

Clique em Create Task para abrir a página de configuração da tarefa e configure os parâmetros a seguir.

Nome da tarefa

Banco de dados de origem

Banco de dados de destino

Etapa 3: Testar conectividade e configurar objetos

1. Clique em Test Connectivity and Proceed.

   Certifique-se de que os blocos CIDR dos servidores DTS foram adicionados às configurações de segurança dos bancos de dados de origem e destino. Consulte Adicionar endereços IP do servidor DTS a uma lista de permissões .

2. Na página Configure Objects, defina os seguintes parâmetros:

   Parâmetro	Descrição
   Migration Types	Selecione com base na sua estratégia de migração. Consulte Escolher um tipo de migração. Para migração sem tempo de inatividade, selecione Schema Migration, Full Data Migration e Incremental Data Migration. Para migração única, selecione Schema Migration e Full Data Migration.
   Processing Mode of Conflicting Tables	Precheck and Report Errors (padrão): A tarefa falha durante a pré-verificação se existirem tabelas com o mesmo nome no destino. Ignore Errors and Proceed: O DTS ignora a verificação. Use com cautela — pode ocorrer inconsistência de dados se os schemas forem diferentes.
   Capitalization of Object Names in Destination Instance	Determina como os nomes de bancos de dados, tabelas e colunas são capitalizados no destino. DTS default policy é selecionado por padrão. Consulte Especificar a capitalização de nomes de objetos na instância de destino.
   Source Objects	Selecione objetos para migrar no nível de schema ou tabela e clique no ícone para adicioná-los aos Selected Objects.
   Selected Objects	Clique com o botão direito em um objeto para renomeá-lo, definir condições de filtro ou selecionar operações SQL para migração incremental. Para definir o parâmetro bucket_count, clique com o botão direito em uma tabela, vá para Parameter Settings, ative a configuração e especifique um valor. Para remover um objeto, clique nele e depois clique no ícone de remoção.

   - O parâmetro bucket_count deve ser um número inteiro positivo. O valor padrão é auto . - Se você renomear um objeto usando o mapeamento de nomes de objetos, outros objetos dependentes dele podem falhar na migração. - Para filtrar linhas, clique com o botão direito em uma tabela em Selected Objects e especifique condições WHERE. Consulte Especificar condições de filtro .

3. Clique em Next: Advanced Settings e configure os seguintes parâmetros opcionais:

   Parâmetro	Descrição
   Dedicated Cluster for Task Scheduling	Por padrão, as tarefas são executadas no cluster compartilhado. Para maior estabilidade, adquira um cluster dedicado. Consulte O que é um cluster dedicado do DTS.
   Retry Time for Failed Connections	Tempo durante o qual o DTS tenta novamente antes de marcar a tarefa como falha devido a problemas de conexão. Intervalo: 10–1.440 minutos. Padrão: 720 minutos. Defina para pelo menos 30 minutos.
   Retry Time for Other Issues	Tempo durante o qual o DTS tenta novamente antes de falhar devido a erros DDL ou DML. Intervalo: 1–1.440 minutos. Padrão: 10 minutos. Deve ser menor que Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Limita o throughput de leitura/gravação durante a migração completa para reduzir a carga no banco de dados. Configure Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s).
   Enable Throttling for Incremental Data Migration	Limita o throughput durante a migração incremental. Configure RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s).
   Environment Tag	Opcional. Adicione uma tag à instância para identificação do ambiente.
   Configure ETL	Selecione Yesconfigurações de notificação de alerta para ativar o recurso de extração, transformação e carga (ETL). Consulte Configurar ETL em uma tarefa de migração ou sincronização de dados.
   Monitoring and Alerting	Selecione Yes para receber alertas quando a tarefa falhar ou a latência de migração exceder um limiar. Consulte Configurar monitoramento e alertas.

4. (Opcional) Clique em Next: Configure Database and Table Fields para definir a Primary Key Column, Distribution Key e Engine para as tabelas de destino.

   - Esta etapa está disponível apenas se você selecionou Schema Migration para Migration Types . Defina Definition Status como All para editar todas as tabelas. - A Primary Key Column pode ser uma chave primária composta. Selecione uma ou mais colunas da Primary Key Column como a Distribution Key . - Para tabelas sem chave primária ou restrição UNIQUE, defina Engine como duplicate . Caso contrário, a instância de migração pode falhar ou dados podem ser perdidos.

Etapa 4: Executar a pré-verificação

1. Clique em Next: Save Task Settings and Precheck.

   Para visualizar os parâmetros da API para esta configuração de tarefa, passe o ponteiro sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .

2. Aguarde a conclusão da pré-verificação. Se algum item falhar:

   • Clique em View Details ao lado de cada item com falha, resolva o problema e clique em Precheck Again.

   • Para itens de alerta que podem ser ignorados, clique em Confirm Alert Details, depois clique em Ignore > OK > Precheck Again.

   Importante

   Ignorar itens de alerta pode causar inconsistência de dados. Prossiga com cautela.

Etapa 5: Adquirir a instância e iniciar a migração

1. Aguarde até que a Success Rate atinja 100% e clique em Next: Purchase Instance.

2. Na página Purchase Instance, configure a classe da instância:

   Parâmetro	Descrição
   Resource Group	O grupo de recursos para a instância de migração. Padrão: default resource group. Consulte O que é Resource Management?
   Instance Class	Controla a velocidade de migração. Consulte Classes de instância de migração de dados.

3. Leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms, depois clique em Buy and Start > OK.

Verificar status da migração

Após o início da tarefa, acesse a página Data Migration para monitorar o progresso:

• Apenas migração completa: A tarefa para automaticamente quando concluída. O Status muda para Completed.

• Migração completa + incremental: A fase incremental é executada continuamente. O Status mostra Running. Pare a tarefa manualmente quando estiver pronto para alternar para o destino.