Data Transmission Service:configure a sincronização de dados unidirecional entre instâncias do ApsaraDB RDS for PostgreSQL

Requisitos do banco de dados source

• As tabelas devem ter uma restrição PRIMARY KEY ou UNIQUE, e todos os campos devem ser únicos. Sem essas restrições, o banco de dados de destino poderá conter registros duplicados.

  Se você crie a tarefa de sincronização sem selecionar Schema Synchronization , a tabela de destino deverá ter as mesmas restrições PRIMARY KEY ou NOT NULL UNIQUE da tabela source. Caso contrário, registros duplicados poderão aparecer.

• Se você selecionar tabelas como objetos de sincronização e quiser renomear tabelas ou colunas no destino, uma única tarefa suportará no máximo 5.000 tabelas. Para mais de 5.000 tabelas, divida a carga de trabalho em várias tarefas ou sincronize no nível do banco de dados em vez do nível da tabela.

• O DTS não sincroniza tabelas temporárias, gatilhos internos nem certos procedimentos e funções internas escritos em C. O DTS sincroniza parâmetros personalizados dos tipos COMPOSITE, ENUM e RANGE. As tabelas devem ter restrições PRIMARY KEY, FOREIGN KEY, UNIQUE ou CHECK.

• O DTS cria um slot de replicação com o prefixo dts_sync_ no banco de dados source, o que concede ao DTS acesso aos logs incrementais dos últimos 15 minutos. O acúmulo de slots de replicação pode exaurir o espaço em disco. defina um alerta de uso de disco na instância source quando a replicação lógica estiver ativa. Comportamento de limpeza do slot de replicação:

  • Após a liberação da instância do DTS, o slot é excluído automaticamente. No entanto, se você tiver alterado a senha do banco de dados source ou removido os endereços ip do DTS da lista de permissões de ip, exclua o slot manualmente.

  • Se ocorrer um failover de primário/secundário na instância source, faça logon no banco de dados secundário e exclua o slot manualmente.

• O DTS cria as seguintes tabelas temporárias no banco de dados source para capturar instruções DDL, schemas de tabelas incrementais e informações de heartbeat. Não as exclua enquanto a sincronização estiver em execução, pois elas são excluídas automaticamente quando a instância do DTS é liberada: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session

• O DTS adiciona uma tabela de heartbeat chamada dts_postgres_heartbeat ao banco de dados source para rastrear a latência de sincronização com precisão.

• Para execute um failover de primário/secundário na instância source do ApsaraDB RDS for PostgreSQL sem interromper a sincronização, ative primeiro o recurso Logical Replication Slot Failover. Consulte Logical Replication Slot Failover.

• Se uma única alteração incremental de dados exceder 256 MB, a instância de sincronização em execução falhará e não poderá ser recuperada. Nesse caso, reconfigure a tarefa.

• Durante a sincronização de schema e a sincronização completa de dados, não execute instruções DDL que alterem os schemas do banco de dados ou das tabelas. Caso contrário, a tarefa falhará.

• Se o banco de dados source tiver transações de longa duração durante a sincronização incremental de dados, os logs WAL gerados antes da confirmação dessas transações poderão se acumular e exaurir o espaço em disco.

• Se uma atualização de versão principal for realizada no banco de dados source enquanto uma instância de sincronização estiver em execução, a instância falhará e não poderá ser recuperada. Nesse caso, reconfigure a tarefa.

Outros requisitos

• Uma única tarefa sincroniza dados de apenas um banco de dados. Para sincronizar vários bancos de dados, crie uma tarefa separada para cada um.

• O DTS não sincroniza tabelas que possuam relações de herança entre schemas.

• Se você selecionar um schema como objeto de sincronização, execute a seguinte instrução antes de gravar dados em qualquer tabela nova ou renomeada nesse schema:

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Substitua schema e table pelos nomes reais. execute esta instrução fora dos horários de pico e evite bloquear a tabela. O bloqueio durante a execução desta instrução pode causar um deadlock.

• O DTS não valida metadados como sequences. Verifique a validade das sequences manualmente.

• Antes de alternar as cargas de trabalho para o banco de dados de destino, atualize o valor inicial das sequences no destino. Após a alternância, as novas sequences gravadas não continuarão a partir do valor máximo na instância source.

• Quando a conta de destino for privilegiada ou de superusuário e as tabelas sincronizadas contiverem chaves estrangeiras, gatilhos ou gatilhos de eventos, o DTS definirá temporariamente session_replication_role como replica no nível da sessão. Se a conta de destino não tiver as permissões necessárias, defina esse parâmetro como replica manualmente. Operações UPDATE ou DELETE em cascata na instância source durante esse período podem causar inconsistência de dados. Após a liberação da tarefa, defina o parâmetro de volta para origin.

• A gravação de dados de outras sources no banco de dados de destino durante a sincronização causa inconsistência de dados. Por exemplo, a execução de instruções DDL online a partir do DMS enquanto outras sources gravam no banco de dados de destino pode causar perda de dados.

• Se uma tarefa falhar, o suporte técnico do DTS tentará restaurá-la em até 8 horas. Durante a restauração, a tarefa poderá ser reiniciada e os parâmetros da tarefa (não os parâmetros do banco de dados) poderão ser modificados.

Requisitos para tipos específicos de bancos de dados source

Instância source do ApsaraDB RDS for PostgreSQL

não modifique o endpoint ou a zona da instância source enquanto a sincronização estiver em execução. Isso causará a falha da tarefa.

Instância source de PostgreSQL autogerenciado

Os valores de max_wal_senders e max_replication_slots devem ser maiores que a soma do número de slots de replicação atualmente em uso e o número de instâncias do DTS que você planeja crie para este banco de dados.

Instância source do Cloud SQL for PostgreSQL (Google Cloud)

defina Database Account como uma conta com a permissão cloudsqlsuperuser. Ao selecionar objetos para sincronizar, escolha apenas os objetos que a conta está autorizada a gerencie ou conceda a permissão OWNER nesses objetos para a conta.

Uma conta com a permissão cloudsqlsuperuser não pode gerencie dados pertencentes a outras contas com a mesma permissão.

Etapa 1: Abrir a página de sincronização de dados

Use o console do DTS ou o console do DMS.

Etapa 2: crie a tarefa

1. clique em Create Task.

2. Se a página mostrar um botão New Configuration Page no canto superior direito, clique em ele.

   Pule esta etapa se Back to Previous Version for exibido. As páginas de configuração nova e anterior podem diferir ligeiramente. Use a nova versão.

Etapa 3: configure os bancos de dados source e de destino

Etapa 4: Testar a conectividade

clique em Test Connectivity and Proceed na parte inferior da página.

Adicione os blocos CIDR dos servidores do DTS às configurações de segurança de ambos os bancos de dados. Consulte Adicionar os blocos CIDR dos servidores do DTS . Se algum dos bancos de dados for autogerenciado e não estiver definido para o acesso Alibaba Cloud Instance , clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers .

Etapa 5: configure os objetos a serem sincronizados

Na etapa Configure Objects, defina os seguintes parâmetros:

Etapa 6: configure as opções avançadas

clique em Next: Advanced Settings e configure o seguinte:

Etapa 7: configure a verificação de dados (opcional)

clique em Next Step: Data Verification para configure a verificação. Consulte configure uma tarefa de verificação de dados.

Etapa 8: Executar a pré-verificação

clique em Next: Save Task Settings and Precheck e salve.

Para visualize os parâmetros da API para esta configuração de tarefa, passe o ponteiro do mouse sobre o botão e clique em Preview OpenAPI parameters antes de prosseguir.

O DTS executa uma pré-verificação antes que a tarefa possa começar. Se a pré-verificação falhar:

• clique em View Details ao lado de cada item com falha, resolva o problema e, em seguida, clique em Precheck Again.

• Se um item mostrar um alerta que pode ser ignorado, clique em Confirm Alert Details > Ignore > OK, confirme e em seguida clique em Precheck Again. Ignorar alertas pode levar à inconsistência de dados.

Etapa 9: Adquirir e iniciar a instância

1. Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

2. Na página de compra, configure o seguinte:

   Seção	Parâmetro	Descrição
   New Instance Class	Método de faturamento	Assinatura: você paga por uma assinatura ao crie uma instância de sincronização de dados. O método de faturamento por assinatura é mais econômico que o método de pagamento conforme o uso para uso a longo prazo. Pagamento conforme o uso: uma instância de pagamento conforme o uso é faturada por hora. O método de pagamento conforme o uso é adequado para uso a curto prazo. Se você não precisar mais de uma instância de sincronização de dados de pagamento conforme o uso, poderá liberar a instância para reduzir custos.
   	Configurações do grupo de recursos	O grupo de recursos ao qual a instância de sincronização de dados pertence. Valor padrão: default resource group. Para mais informações, consulte O que é o Resource Management?
   	Classe da instância	O DTS fornece classes de instância que variam em velocidade de sincronização. selecione uma classe de instância com base nos seus requisitos de negócios. Para mais informações, consulte Classes de instância de instâncias de sincronização de dados.
   	Duração da assinatura	Se você selecionar o método de faturamento por assinatura, especifique a duração da assinatura e o número de instâncias de sincronização de dados que deseja crie. A duração da assinatura pode ser de um a nove meses, um ano, dois anos, três anos ou cinco anos. Nota Este parâmetro está disponível apenas se você selecionar o método de faturamento Subscription.

3. Leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms.

4. clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo.

visualize o progresso da tarefa na lista de tarefas.