Migração incremental: Amazon RDS for PostgreSQL para Alibaba Cloud - ApsaraDB RDS: Central de Documentação do Alibaba Cloud

Pré-requisitos

A instância do Amazon RDS for PostgreSQL deve ser da versão 10.4 ou posterior.
Para permitir que o DTS se conecte à instância do Amazon RDS for PostgreSQL pela internet, defina Publicly accessible como Yes.
Para permitir que o DTS leia dados incrementais da instância do Amazon RDS for PostgreSQL, defina o parâmetro rds.logical_replication como 1 no grupo de parâmetros.
É necessário ter uma instância do ApsaraDB RDS for PostgreSQL. Para mais informações, consulte Criar uma instância do ApsaraDB RDS for PostgreSQL.
Nota
- Recomendamos que a versão principal da instância do ApsaraDB RDS for PostgreSQL seja igual à da instância do Amazon RDS for PostgreSQL. Para migrar dados entre versões principais diferentes, crie uma instância com pagamento conforme o uso para verificar a compatibilidade.
- A instância do ApsaraDB RDS for PostgreSQL deve ter mais espaço de armazenamento disponível do que o espaço utilizado pelo banco de dados na instância do Amazon RDS for PostgreSQL.

Considerações

Durante uma migração completa de dados, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e destino, aumentando a carga sobre eles. Se seus bancos de dados tiverem baixo desempenho, especificações reduzidas ou altas cargas de trabalho (por exemplo, se o banco de dados de origem tiver muitas consultas SQL lentas ou tabelas sem chaves primárias, ou se ocorrerem deadlocks no banco de dados de destino), o aumento de carga pode sobrecarregar os bancos de dados ou até causar interrupções no serviço. Execute a migração de dados em horários de baixa demanda, como quando a utilização da CPU de ambos os bancos de dados estiver abaixo de 30%.
Se uma tabela em migração não possuir chave primária ou restrição única, dados duplicados poderão ser criados no banco de dados de destino, causando falha na migração.
Uma tarefa de migração de dados pode migrar apenas um banco de dados. Para migrar vários bancos de dados, crie uma tarefa de migração separada para cada um.
Somente operações DML (INSERT, DELETE e UPDATE) são suportadas.
Durante a migração de dados, o DTS cria um slot de replicação no Amazon RDS for PostgreSQL. Esse slot de replicação recebe o prefixo dts_sync_. Para evitar que o slot de replicação consuma espaço excessivo em disco, o DTS limpa automaticamente os slots de replicação históricos a cada 90 minutos.

Nota
O DTS limpa automaticamente o slot de replicação se a tarefa de migração de dados for liberada ou falhar. Se ocorrer um failover primário/secundário na instância do Amazon RDS for PostgreSQL, faça login manualmente no banco de dados secundário para limpar o slot.

Execute o comando SELECT * FROM pg_replication_slots; em um cliente PostgreSQL para consultar informações sobre os slots de replicação. Verifique se o slot de replicação lógica criado pelo DTS com o prefixo dts_sync_ e slot_type definido como logical está ativo (sua coluna active deve estar como true).
Um failover primário/secundário na instância do Amazon RDS for PostgreSQL causa falha na tarefa do DTS, e ela pode não ser retomável.
Se uma tarefa de migração de dados falhar, o DTS aciona automaticamente a recuperação. Antes de alternar suas cargas de trabalho para a instância de destino, pare ou libere a tarefa. Caso contrário, se a tarefa for recuperada automaticamente, os dados de origem poderão sobrescrever os dados na instância de destino.

Faturamento

Tipo de migração	Taxa de configuração da tarefa	Taxa de tráfego de internet
Migração de esquema e migração completa de dados	Gratuito.	O DTS cobra uma taxa de tráfego de internet quando o Access Method do banco de dados de destino está definido como Public IP Address. Visão geral do faturamento.
Migração incremental de dados	Cobrado. Visão geral do faturamento.

Tipos de migração

Migração de esquema

O DTS migra os esquemas dos seguintes tipos de objetos para uma instância do ApsaraDB RDS for PostgreSQL: table, trigger, view, sequence, function, user-defined type, rule, domain, operation e aggregate.

Nota
O DTS não suporta a migração de funções escritas na linguagem de programação C.
Migração completa de dados

O DTS migra todos os dados dos objetos especificados para a instância de destino do ApsaraDB RDS for PostgreSQL.
Migração incremental de dados

Após uma migração completa de dados, o DTS migra as atualizações incrementais para a instância do ApsaraDB RDS for PostgreSQL, o que possibilita uma migração contínua sem tempo de inatividade da aplicação.

Permissões da conta do banco de dados

Banco de dados	Migração de esquema	Migração completa de dados	Migração incremental de dados
Amazon RDS for PostgreSQL	Permissão USAGE no esquema pg_catalog	Permissão SELECT nos objetos a serem migrados	Permissão rds_superuser
ApsaraDB RDS for PostgreSQL	Permissões CREATE e USAGE nos objetos a serem migrados	Permissões de proprietário do esquema	Permissões de proprietário do esquema

Processo de migração de dados

Para resolver dependências de objetos e aumentar a taxa de sucesso da migração, o DTS migra o esquema e os dados do PostgreSQL na seguinte ordem:

Migração de esquema para tabelas, visualizações, sequências, funções, tipos definidos pelo usuário, regras, domínios, operações e agregações.
Migração completa de dados.
Migração de esquema para gatilhos e chaves estrangeiras.
Migração incremental de dados.

Nota
Não execute operações DDL nos objetos de migração na instância do Amazon RDS for PostgreSQL antes da migração incremental de dados. Essa ação pode causar falha na migração.

Antes de começar

Faça login no Console de Gerenciamento do Amazon RDS.
No canto superior direito da página, selecione a região da sua instância de destino.
No painel de navegação à esquerda, clique em Database. Em seguida, clique no identificador do banco de dados de destino para visualizar a página Basic Information.
Na seção Security group rules, clique no nome do grupo de segurança da regra de entrada.
Na página Security group settings, adicione os endereços IP dos servidores DTS da região de destino às regras de entrada. Para detalhes sobre os intervalos de endereços IP, consulte Adicionar endereços IP de servidores DTS à lista de permissões de IP de um banco de dados local.
Clique na aba Inbound rules e, em seguida, clique em Edit inbound rules. Na caixa de diálogo Edit inbound rules, defina Type como custom TCP rule e Port range como 5432. Para Source, selecione Custom e insira os endereços IP dos servidores DTS correspondentes. Clique em Save rules.
Nota
- Adicione apenas os blocos CIDR dos servidores DTS na região do banco de dados de destino. Por exemplo, se o banco de dados de origem estiver na região de Singapura e o banco de dados de destino estiver na região China (Hangzhou), adicione apenas os blocos CIDR dos servidores DTS na região China (Hangzhou).
- É possível adicionar vários blocos CIDR a uma única regra.
- Para mais informações, consulte a documentação oficial da AWS ou entre em contato com o Suporte da AWS.

Procedimento (novo console)

Acesse a página da lista de tarefas de migração da região de destino usando um dos métodos a seguir.
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Migration.
3. No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
Pelo console do DMS

Nota
As operações reais podem variar dependendo do modo e do layout do console do DMS. Para mais informações, consulte Console do modo simples e Personalizar o layout e o estilo do console do DMS.
1. Faça login no console do Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.
3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acessar a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e de destino, recomendamos ler atentamente os limites exibidos na parte superior da página. Caso contrário, a tarefa poderá falhar ou ocorrer inconsistência de dados.

Categoria	Parâmetro	Descrição
N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database	Select a DMS database instance.	Você pode optar por usar uma instância existente, conforme necessário. Se você usar uma instância existente, as informações do banco de dados abaixo serão preenchidas automaticamente. Não é necessário inseri-las novamente. Se não usar uma instância existente, será necessário configurar as informações do banco de dados abaixo. Nota No console do DMS, clique em Add DMS Database Instance para registrar um banco de dados no DMS. Para mais informações, consulte Ingestão de Dados do ApsaraDB e Registrar um banco de dados hospedado em serviço de nuvem de terceiros ou banco de dados autogerenciado. No console do DTS, registre um banco de dados no DTS na página Database Connections ou na nova página de configuração. Para mais informações, consulte Gerenciar conexões de banco de dados.
	Database Type	Selecione PostgreSQL.
	Connection Type	Selecione Public IP Address.
	Instance Region	Selecione a região onde o banco de dados Amazon RDS for PostgreSQL está localizado. Nota Se a região do banco de dados Amazon RDS for PostgreSQL não estiver na lista suspensa, selecione a região geograficamente mais próxima do banco de dados.
	Domain Name or IP	Insira o endpoint da instância do Amazon RDS for PostgreSQL. Nota Encontre o endpoint na página Basic Information da sua instância do Amazon RDS for PostgreSQL.
	Port Number	Insira a porta de serviço da instância do Amazon RDS for PostgreSQL. O valor padrão é 5432.
	Database Name	Insira o nome do banco de dados na instância do Amazon RDS for PostgreSQL que você deseja migrar.
	Database Account	Insira a conta do banco de dados da instância do Amazon RDS for PostgreSQL. Para informações sobre as permissões necessárias, consulte Permissões da conta do banco de dados.
	Database Password	Insira a senha da conta do banco de dados.
	Encryption	Selecione um método de conexão. Neste exemplo, Non-encrypted está selecionado. Se precisar se conectar ao banco de dados usando criptografia SSL, selecione SSL-encrypted e faça upload do CA Certificate, Client Certificate e Private Key of Client Certificate conforme necessário. Em seguida, insira a Private Key Password of Client Certificate. Nota Se selecionar SSL-encrypted para um banco de dados PostgreSQL autogerenciado, faça upload do CA Certificate. Se precisar usar um certificado de cliente, faça upload tanto do Client Certificate quanto da Private Key of Client Certificate e insira a Private Key Password of Client Certificate. Para informações sobre o recurso de criptografia SSL em uma instância RDS for PostgreSQL, consulte Criptografia de conexão SSL.
Destination Database	Select a DMS database instance.	Você pode optar por usar uma instância existente, conforme necessário. Se você usar uma instância existente, as informações do banco de dados abaixo serão preenchidas automaticamente. Não é necessário inseri-las novamente. Se não usar uma instância existente, será necessário configurar as informações do banco de dados abaixo. Nota No console do DMS, clique em Add DMS Database Instance para registrar um banco de dados no DMS. Para mais informações, consulte Ingestão de Dados do ApsaraDB e Registrar um banco de dados hospedado em serviço de nuvem de terceiros ou banco de dados autogerenciado. No console do DTS, registre um banco de dados no DTS na página Database Connections ou na nova página de configuração. Para mais informações, consulte Gerenciar conexões de banco de dados.
	Database Type	Selecione PostgreSQL.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde a instância de destino do ApsaraDB RDS for PostgreSQL está localizada.
	Instance ID	Selecione o ID da instância de destino do ApsaraDB RDS for PostgreSQL.
	Database Name	Insira o nome do banco de dados na instância do ApsaraDB RDS for PostgreSQL para onde deseja migrar os dados. O nome pode ser diferente do banco de dados de origem. Nota Certifique-se de que este banco de dados foi criado na instância de destino do ApsaraDB RDS for PostgreSQL. Para mais informações, consulte Criar um banco de dados.
	Database Account	Insira a conta do banco de dados da instância de destino do ApsaraDB RDS for PostgreSQL. Para informações sobre as permissões necessárias, consulte Permissões da conta do banco de dados.
	Database Password	Insira a senha da conta do banco de dados.
	Encryption	Selecione um método de conexão. Neste exemplo, Non-encrypted está selecionado. Se precisar se conectar ao banco de dados usando criptografia SSL, selecione SSL-encrypted e faça upload do CA Certificate, Client Certificate e Private Key of Client Certificate conforme necessário. Em seguida, insira a Private Key Password of Client Certificate. Nota Se selecionar SSL-encrypted para um banco de dados PostgreSQL autogerenciado, faça upload do CA Certificate. Se precisar usar um certificado de cliente, faça upload tanto do Client Certificate quanto da Private Key of Client Certificate e insira a Private Key Password of Client Certificate. Para informações sobre o recurso de criptografia SSL em uma instância RDS for PostgreSQL, consulte Criptografia de conexão SSL.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página. Na caixa de diálogo CIDR Blocks of DTS Servers que aparece, clique em Test Connectivity.

Nota
Garanta que os segmentos de endereço IP do serviço DTS sejam adicionados automática ou manualmente às configurações de segurança dos bancos de dados de origem e destino para permitir o acesso dos servidores DTS. Para mais informações, consulte Adicionar endereços IP do servidor DTS a uma lista de permissões.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos que deseja migrar.

Parâmetro	Descrição
Migration Types	Selecione tanto Schema Migration quanto Incremental Data Migration. Recomendamos também selecionar Full Data Migration.
Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifica se existem tabelas com os mesmos nomes no banco de dados de destino. Se não existirem tabelas com os mesmos nomes, a pré-verificação é aprovada. Se existirem tabelas com os mesmos nomes, um erro é relatado durante a pré-verificação e a tarefa de migração de dados não inicia. Nota Se uma tabela no banco de dados de destino tiver o mesmo nome, mas não puder ser facilmente excluída ou renomeada, altere o nome da tabela no banco de dados de destino. Para mais informações, consulte Mapeamento de nomes de objetos. Ignore Errors and Proceed: Ignora a verificação de tabelas com os mesmos nomes. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e riscos ao negócio. Por exemplo: Se os esquemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro no banco de dados de origem: Durante a migração completa, o DTS mantém o registro no banco de dados de destino. O registro do banco de dados de origem não é migrado. Durante a migração incremental, o DTS não mantém o registro no banco de dados de destino. O registro do banco de dados de origem sobrescreve o registro no banco de dados de destino. Se os esquemas das tabelas forem inconsistentes, apenas algumas colunas de dados poderão ser migradas ou a migração poderá falhar. Prossiga com cautela.
Capitalization of Object Names in Destination Instance	Configure a política de diferenciação de maiúsculas e minúsculas para os nomes dos objetos migrados, como bancos de dados, tabelas e colunas, na instância de destino. Por padrão, DTS default policy está selecionado. Também é possível manter a diferenciação de maiúsculas e minúsculas consistente com a política padrão do banco de dados de origem ou de destino. Para mais informações, consulte Diferenciação de maiúsculas e minúsculas de nomes de objetos no banco de dados de destino.
Source Objects	Selecione um ou mais objetos na seção Source Objects. Clique no ícone e adicione os objetos à seção Selected Objects. Nota A granularidade para seleção de objetos de migração é esquema, tabela e coluna. Se selecionar apenas tabelas ou colunas como objetos de migração, outros objetos como visualizações, gatilhos e procedimentos armazenados não serão migrados para o banco de dados de destino.
Selected Objects	Para alterar o nome de um único objeto de migração na instância de destino, clique com o botão direito no objeto na caixa Selected Objects. Para mais informações, consulte Mapear nomes individuais de esquemas, tabelas e colunas. Para alterar os nomes de vários objetos de migração na instância de destino, clique em Selected Objects no canto superior direito da caixa Batch Edit. Para mais informações, consulte Mapear múltiplos nomes de esquemas, tabelas e colunas. Nota Se utilizar o recurso de mapeamento de nomes de objetos, outros objetos que dependem do objeto renomeado poderão falhar na migração. Para filtrar dados usando condições WHERE, clique com o botão direito na tabela a ser migrada na caixa Selected Objects e especifique as condições de filtro na caixa de diálogo exibida. Para mais informações, consulte Filtrar dados usando condições SQL. Para selecionar as operações SQL a serem migradas no nível do banco de dados ou da tabela, clique com o botão direito no objeto na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado. Não é necessário selecionar um. Se desejar tarefas mais estáveis, adquira um cluster dedicado para executar tarefas de migração do DTS.
Retry Time for Failed Connections	Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relata um erro e começa imediatamente a tentar reconectar. A duração padrão de nova tentativa é de 720 minutos. Personalize o tempo de nova tentativa para um valor entre 10 e 1440 minutos. Recomendamos definir a duração para mais de 30 minutos. Se o DTS se reconectar aos bancos de dados de origem e destino dentro da duração especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Para várias instâncias do DTS que compartilham a mesma origem ou destino, o tempo de nova tentativa de rede é determinado pela configuração da última tarefa criada. Como há cobrança pela tarefa durante o período de nova tentativa de conexão, recomendamos personalizar o tempo de nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e destino.
Retry Time for Other Issues	Após o início da tarefa de migração, se ocorrer um problema não relacionado à conexão, como uma exceção de execução DDL ou DML, no banco de dados de origem ou de destino, o DTS relata um erro e começa imediatamente a tentar repetir a operação. A duração padrão de nova tentativa é de 10 minutos. Personalize o tempo de nova tentativa para um valor entre 1 e 1440 minutos. Recomendamos definir a duração para mais de 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro da duração de nova tentativa especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Durante a migração completa, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e destino, o que pode aumentar a carga do banco de dados. Se necessário, ative o limitador de velocidade para a tarefa de migração completa. Defina Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se você selecionar Full Data Migration em Migration Types. Também é possível ajustar a velocidade da migração completa depois que a instância de migração estiver em execução.
Enable Throttling for Incremental Data Migration	Se necessário, também é possível definir limites de velocidade para a tarefa de migração incremental. Defina RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se você selecionar Incremental Data Migration em Migration Types. Também é possível ajustar a velocidade da migração incremental depois que a instância de migração estiver em execução.
Environment Tag	Selecione uma tag de ambiente para identificar a instância conforme suas necessidades. Este parâmetro é opcional.
Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carregamento (ETL). Para mais informações, consulte O que é ETL? Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configurar ETL em uma tarefa de migração ou sincronização de dados. No: Desativa o recurso ETL.
Monitoring and Alerting	Defina alertas e receba notificações de alerta conforme as necessidades do seu negócio. No: Não define alerta. Yes: Configure alertas definindo um limiar de alerta e um notificações de alerta. Se uma migração falhar ou a latência exceder o limiar, o sistema envia uma notificação de alerta.

Clique em Next: Data Validation para configurar uma tarefa de validação de dados.

Para mais informações sobre o recurso de validação de dados, consulte Configurar validação de dados.

Salve a tarefa e execute uma pré-verificação.
- Para visualizar os parâmetros de configuração desta instância ao chamar a operação da API, passe o ponteiro sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão que aparecer.
- Se não precisar visualizar os parâmetros da API ou já tiver terminado de visualizá-los, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de migração, o DTS realiza uma pré-verificação. A tarefa só inicia após ser aprovada na pré-verificação.
- Se a pré-verificação falhar, clique em View Details ao lado do item reprovado, corrija o problema conforme a instrução e execute a pré-verificação novamente.
- Se um aviso for relatado durante a pré-verificação:
  
  Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item reprovado, corrija o problema conforme a instrução e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o item de alerta e executar a pré-verificação novamente. Se optar por ignorar um aviso, isso poderá causar problemas como inconsistência de dados e representar riscos ao seu negócio.

Adquira a instância.

Quando a Success Rate for 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione a especificação de link para a instância de migração de dados. Para mais informações, consulte a tabela a seguir.

Categoria	Parâmetro	Descrição
New Instance Class	Resource Group Settings	Selecione o grupo de recursos ao qual a instância pertence. O valor padrão é o grupo de recursos padrão. Para mais informações, consulte O que é Resource Management?
New Instance Class	Instance Class	O DTS fornece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade da migração. Selecione uma especificação com base no seu cenário de negócio. Para mais informações, consulte Especificações de link de migração de dados.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK que aparece, clique em OK.

Acompanhe o progresso da tarefa de migração na página de lista Data Migration Tasks.
Nota
- Se a tarefa de migração não incluir migração incremental, ela será interrompida automaticamente após a conclusão da migração completa. Após a interrupção da tarefa, seu Status muda para Completed.
- Se a tarefa de migração incluir migração incremental, ela não será interrompida automaticamente. A tarefa de migração incremental continua em execução. Enquanto a tarefa de migração incremental estiver em execução, o Status da tarefa será Running.

Procedimento (console antigo)

Faça login no console do DTS.

Nota
Se você for redirecionado automaticamente para o console do Data Management (DMS), clique no ícone no canto inferior direito e, em seguida, clique em para retornar ao console clássico do DTS.
No painel de navegação à esquerda, clique em Data Migration.
Na parte superior da página Migration Tasks, selecione a região do cluster de destino.
No canto superior direito da página, clique em Create Data Migration Task.