Data Transmission Service:Sincronização unidirecional entre clusters do PolarDB for PostgreSQL (Compatible with Oracle)

Limitações do banco de dados de origem

Largura de banda O servidor que hospeda o banco de dados de origem deve ter largura de banda de saída suficiente. Largura de banda insuficiente reduz a velocidade de sincronização.

Tabelas sem chave primária ou restrição UNIQUE Ative o recurso Exactly-Once write ao configurar a tarefa. Sem isso, dados duplicados podem aparecer no banco de dados de destino. Para mais informações, consulte Sincronizar tabelas sem chaves primárias e restrições únicas.

Mais de 1.000 tabelas com mapeamento de nomes Se os objetos de sincronização forem tabelas com mapeamento de nomes de tabela ou coluna aplicado, e uma única tarefa exceder 1.000 tabelas, divida as tabelas em várias tarefas ou configure a tarefa para sincronizar todo o banco de dados. Exceder esse limite pode causar um erro de solicitação ao enviar a tarefa.

Retenção de WAL Ative o WAL e defina o período de retenção com base nos tipos de sincronização da sua tarefa:

• Apenas sincronização incremental: retenha logs WAL por mais de 24 horas

• Sincronização completa e incremental: retenha logs WAL por pelo menos 7 dias. Após a conclusão da sincronização completa, defina o período de retenção para mais de 24 horas

Se o DTS não conseguir obter logs WAL, a tarefa falhará. Em casos extremos, pode ocorrer inconsistência ou perda de dados. Problemas causados por um período de retenção de WAL inferior ao requisito do DTS não são cobertos pelo Acordo de Nível de Serviço (SLA).

Transações de longa duração Transações de longa duração fazem com que o WAL acumule até que essas transações sejam confirmadas. Isso pode esgotar o espaço em disco no banco de dados de origem durante a sincronização incremental.

Operações DDL durante a sincronização Não execute operações DDL que alterem a estrutura do banco de dados ou da tabela durante a sincronização de schema ou a sincronização completa de dados. Essa ação causa falha na tarefa.

Gravações durante sincronização apenas completa Não grave novos dados no cluster de origem se a tarefa executar apenas a sincronização completa de dados. Isso resultará em inconsistência de dados. Para manter a consistência em tempo real, inclua a sincronização de schema, a sincronização completa de dados e a sincronização incremental de dados na tarefa.

Único dado incremental maior que 256 MB Se um único dado exceder 256 MB após uma alteração incremental, a instância de sincronização poderá falhar e não será recuperável. Reconfigure a instância de sincronização.

Outras limitações

Um banco de dados por tarefa Uma única tarefa de sincronização pode sincronizar apenas um banco de dados. Configure uma tarefa separada para cada banco de dados adicional.

Objetos não suportados O DTS não oferece suporte a tabelas de extensão TimescaleDB, tabelas com herança entre schemas ou tabelas com índices únicos baseados em expressões. Schemas criados pela instalação de plugins não podem ser sincronizados e não aparecem no console durante a configuração da tarefa.

Campos do tipo SERIAL Se uma tabela contiver um campo de tipo de dados SERIAL, o banco de dados de origem cria automaticamente uma sequence para esse campo. Ao configurar os Source Objects, se você selecionar Schema Synchronization como tipo de sincronização, selecione também Sequence ou sincronize todo o schema. Caso contrário, a instância de sincronização poderá falhar.

Requisito REPLICA IDENTITY FULL Execute o seguinte comando em cada tabela a ser sincronizada no banco de dados de origem antes de gravar dados nela. Isso garante a consistência dos dados. Não bloqueie as tabelas durante a execução deste comando para evitar deadlocks.

ALTER TABLE schema.table REPLICA IDENTITY FULL;

Substitua schema e table pelos nomes reais do schema e da tabela. Execute este comando fora do horário de pico.

Este comando é necessário nos seguintes cenários:

• Na primeira execução da instância

• Você selecionou granularidade no nível de schema para seleção de objetos, e uma nova tabela é criada no schema ou uma tabela existente é reconstruída usando o comando RENAME

• Você usa o recurso de modificar objetos de sincronização

Se você ignorar os itens de pré-verificação relacionados, o DTS executa automaticamente este comando durante a inicialização da instância.

Tabelas temporárias no banco de dados de origem O DTS cria as seguintes tabelas temporárias no banco de dados de origem para obter instruções DDL, estruturas de tabelas incrementais e informações de heartbeat. Não exclua essas tabelas durante a sincronização — excluí-las torna a tarefa anormal. O DTS exclui automaticamente essas tabelas após a liberação da instância:

public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

Tabela de heartbeat O DTS adiciona uma tabela de heartbeat chamada dts_postgres_heartbeat ao banco de dados de origem para manter métricas precisas de latência de sincronização incremental.

Slot de replicação O DTS cria um slot de replicação com o prefixo dts_sync_ no banco de dados de origem. Este slot retém logs incrementais dos últimos 15 minutos. Quando a tarefa de sincronização falha ou a instância é liberada, o DTS tenta limpar o slot automaticamente.

Sequences após alternância de negócios Após alternar seus negócios para a instância de destino, as sequences não continuam a partir do valor máximo na origem. Atualize o valor da sequence no banco de dados de destino antes da alternância de negócios. Para mais informações, consulte Atualizar o valor da sequence no banco de dados de destino.

Impacto de desempenho da sincronização completa A sincronização completa de dados executa operações INSERT simultâneas, o que consome recursos de leitura e gravação nos bancos de dados de origem e de destino e causa fragmentação de tabela no destino. O espaço da tabela de destino será maior que o da origem após a sincronização completa. Avalie o desempenho antes de sincronizar e execute fora do horário de pico, quando a carga de CPU de ambos os bancos de dados estiver abaixo de 30%.

Precisão FLOAT e DOUBLE O DTS lê valores FLOAT e DOUBLE usando ROUND(COLUMN, PRECISION). Se nenhuma precisão explícita for definida, o DTS usa uma precisão padrão de 38 para FLOAT e 308 para DOUBLE. Verifique se essa precisão atende aos seus requisitos de negócios.

Recuperação automática do DTS O DTS tenta recuperar automaticamente tarefas com falha por até sete dias. Antes de alternar seus negócios para a instância de destino, encerre ou libere a tarefa, ou use o comando REVOKE para revogar as permissões de gravação da conta do DTS na instância de destino. Sem essa etapa, a recuperação automática pode fazer com que os dados de origem substituam os dados do destino após a alternância.

Chaves estrangeiras, triggers e event triggers Para tarefas de sincronização completa ou incremental envolvendo tabelas com chaves estrangeiras, triggers ou event triggers, o DTS define temporariamente session_replication_role como replica no nível da sessão:

• Se a conta do banco de dados de destino for uma conta privilegiada ou tiver permissões de superusuário, o DTS define isso automaticamente

• Se a conta de destino não tiver essas permissões, defina manualmente session_replication_role como replica no banco de dados de destino antes da execução da tarefa

Durante esse período, operações de atualização ou exclusão em cascata no banco de dados de origem podem causar inconsistência de dados. Após a liberação da tarefa do DTS, defina session_replication_role de volta para origin.

Sincronização de schema e chaves estrangeiras Durante a sincronização de schema, o DTS sincroniza chaves estrangeiras da origem para o destino. Durante a sincronização completa e incremental, o DTS desativa temporariamente as verificações de restrição e operações em cascata de chave estrangeira no nível da sessão. Pode ocorrer inconsistência de dados se operações de atualização ou exclusão em cascata forem executadas na origem enquanto a tarefa estiver ativa.

Recuperação de falha de tarefa Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la dentro de oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar parâmetros da tarefa do DTS (não parâmetros do banco de dados). Os parâmetros que podem ser ajustados estão listados em Modificar parâmetros da instância.

Tabelas particionadas Inclua tanto a tabela pai quanto todas as suas partições filhas como objetos de sincronização. Tabelas particionadas do PostgreSQL armazenam dados apenas nas partições filhas, não na tabela pai. Se as partições filhas forem excluídas, seus dados não serão sincronizados, resultando em inconsistência de dados.

Etapa 1: Acessar a lista de tarefas de sincronização de dados

Acesse a lista de tarefas de sincronização da sua região de destino usando um dos seguintes consoles.

Etapa 2: Criar uma tarefa e configurar conexões de banco de dados

1. Clique em Create Task.

2. Configure os bancos de dados de origem e de destino usando os seguintes parâmetros.

Configurações da tarefa

Banco de dados de origem

Banco de dados de destino

1. Clique em Test Connectivity and Proceed.

Adicione os blocos CIDR dos servidores DTS às configurações de segurança dos bancos de dados de origem e de destino, automaticamente ou manualmente, para permitir o acesso. Para mais informações, consulte Adicionar a lista de permissões de endereços IP dos servidores DTS .

Se a origem ou o destino for um banco de dados autogerenciado (ou seja, Access Method não é Alibaba Cloud Instance ), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers .

Etapa 3: Configurar objetos de sincronização

1. Na página Configure Objects, configure as seguintes definições.

1. Clique em Next: Advanced Settings e configure as seguintes opções.

1. Clique em Next: Data Validation para configurar uma tarefa de validação de dados. Para mais informações, consulte Configurar validação de dados.

Etapa 4: Salvar configurações e executar a pré-verificação

• Para visualizar os parâmetros da API para esta tarefa, passe o mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters na dica de ferramenta.

• Clique em Next: Save Task Settings and Precheck para salvar e iniciar a pré-verificação.

O DTS realiza uma pré-verificação antes do início da tarefa. A tarefa só inicia após a aprovação da pré-verificação.

Se a pré-verificação falhar, clique em View Details ao lado do item com falha, corrija o problema conforme solicitado e execute a pré-verificação novamente.

Se a pré-verificação gerar avisos:

Para avisos não ignoráveis, clique em View Details , corrija o problema e execute a pré-verificação novamente.

Para avisos ignoráveis, clique em Confirm Alert Details > Ignore > OK e, em seguida, clique em Precheck Again . Ignorar avisos de pré-verificação pode levar a inconsistências de dados. Prossiga com cautela.

Etapa 5: Adquirir a instância

1. Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

2. Na página Purchase, selecione o método de faturamento e a classe da instância.

1. Marque a caixa de seleção Data Transmission Service (Pay-as-you-go) Service Terms.

2. Clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo de confirmação.

Monitore o progresso da tarefa na página de sincronização de dados.