Data Transmission Service:Sincronizar dados de uma instância RDS for PostgreSQL para uma instância SelectDB

Requisitos do banco de dados de origem

• Chaves primárias e restrições UNIQUE — Todas as tabelas a serem sincronizadas devem ter uma chave primária ou uma restrição UNIQUE para evitar dados duplicados no destino.

  • Se a tabela de destino não foi criada pelo DTS (ou seja, você não selecionou Schema synchronization em Synchronization types), garanta que ela possua a mesma chave primária ou restrição UNIQUE não vazia da tabela de origem. Caso contrário, podem surgir dados duplicados no destino.

  • Para tabelas sem chave primária nem restrição UNIQUE: selecione Schema synchronization em Synchronization types e defina Engine como duplicate para essas tabelas na etapa Configurations for databases, tables, and columns. Ignorar essa configuração pode causar falha na tarefa ou perda de dados.

    Nota

    Durante a sincronização inicial de schema, o DTS adiciona colunas à tabela de destino. Para mais detalhes, consulte Colunas adicionais.

• Nomes de bancos de dados — Os nomes dos bancos de dados a serem sincronizados não podem conter hifens (-). Por exemplo, dts-testdata é inválido.

• Grande quantidade de tabelas — Se você sincronizar no nível de tabela, editar objetos (como mapeamento de nomes de colunas) e o total de tabelas em uma única tarefa exceder 5.000, divida as tabelas em múltiplas tarefas ou configure a tarefa para sincronizar o banco de dados inteiro. Exceder esse limite pode gerar erro de requisição ao enviar a tarefa.

• Retenção de logs WAL — O DTS lê alterações incrementais do WAL. Se os logs forem purgados antes do processamento pelo DTS, a tarefa falhará, podendo resultar em inconsistência ou perda de dados não coberta pelo acordo de nível de serviço (SLA) do DTS. É possível alterar o período de retenção de logs para mais de 24 horas após a conclusão da sincronização completa inicial de dados.

  Tipo de sincronização	Período mínimo de retenção de WAL
  Apenas sincronização incremental de dados	Mais de 24 horas
  Sincronização completa de dados + sincronização incremental de dados	Pelo menos 7 dias

• Comportamento de failover — Se a origem for um banco de dados PostgreSQL autogerenciado e ocorrer um failover, a tarefa de sincronização falhará. Para instâncias RDS for PostgreSQL, ative o Logical Replication Slot Failover para evitar interrupções na replicação durante failovers. Para mais detalhes, consulte Logical Replication Slot Failover.

• Registros incrementais grandes — Se uma única alteração incremental exceder 256 MB após codificação, a instância de sincronização falhará e não poderá ser recuperada. Reconfigure a instância de sincronização.

• Operações DDL durante a sincronização — Não execute operações de Data Definition Language (DDL) que alterem schemas de bancos de dados ou tabelas durante a sincronização de schema ou a sincronização completa de dados. Tais operações causam falha na tarefa.

  Durante a sincronização completa de dados, o DTS consulta o banco de dados de origem e adquire locks de metadados. Isso pode bloquear operações DDL na origem.

• Transações de longa duração — Se o banco de dados de origem apresentar transações de longa duração durante a sincronização incremental, os logs WAL gerados antes do commit dessas transações não poderão ser limpos. Isso provoca acúmulo de logs WAL e pode esgotar o espaço em disco do banco de dados de origem.

• Upgrades de versão principal — Não realize upgrade de versão principal do mecanismo no banco de dados de origem enquanto uma tarefa de sincronização estiver em execução. A tarefa falhará e não poderá ser recuperada. Reconfigure a instância de sincronização.

Requisitos de destino e configuração

• Mecanismos de tabela suportados — O DTS só consegue sincronizar dados para tabelas que utilizam o mecanismo Unique ou Duplicate no SelectDB.

• Tabelas com mecanismo Unique — Todas as chaves únicas na tabela de destino também devem existir na tabela de origem e estar incluídas como objetos de sincronização. Caso contrário, pode ocorrer inconsistência de dados.

• Tabelas com mecanismo Duplicate — Dados duplicados podem aparecer no destino nestes cenários: utilize as colunas adicionais (_is_deleted, _version e _record_id) para identificar e remover duplicatas. Para detalhes sobre as colunas, consulte Colunas adicionais.

  • A instância de sincronização foi tentada novamente.

  • A instância de sincronização foi reiniciada.

  • Duas ou mais operações DML foram executadas no mesmo registro de dados após o início da tarefa.

  Quando a tabela de destino usa o mecanismo Duplicate, o DTS converte instruções UPDATE e DELETE em instruções INSERT.

• Parâmetro bucket_count — Na caixa Selected objects, é possível definir apenas o parâmetro bucket_count. O valor deve ser um número inteiro positivo. O padrão é auto.

• Requisitos de nomenclatura — O SelectDB suporta apenas nomes de bancos de dados e tabelas que começam com uma letra. Se um nome não iniciar com letra, use o recurso de mapeamento para renomeá-lo. Da mesma forma, se o nome de um objeto de sincronização (banco de dados, tabela ou coluna) contiver caracteres chineses, utilize o recurso de mapeamento para renomeá-lo para um nome em inglês. Caso contrário, a tarefa pode falhar.

• Um banco de dados por tarefa — Uma instância de sincronização pode sincronizar apenas um banco de dados. Para sincronizar vários bancos de dados, configure uma instância separada para cada um.

• Tipos de objeto não suportados — O DTS não sincroniza tabelas de extensão TimescaleDB, tabelas com herança entre schemas ou tabelas que contenham índices únicos baseados em expressões.

• Requisito REPLICA IDENTITY FULL — Antes de gravar dados nas tabelas listadas abaixo, execute o comando a seguir para garantir a consistência dos dados. Não realize operações de lock de tabela durante a execução desse comando, pois as tabelas podem ficar bloqueadas. Se você ignorar os itens de pré-verificação relacionados, o DTS executará esse comando automaticamente durante a inicialização da instância. Execute este comando quando:

  • A instância for executada pela primeira vez.

  • A granularidade da sincronização for schema e uma nova tabela for criada no schema sincronizado, ou uma tabela for reconstruída usando RENAME.

  • Você utilizar o recurso Modify objects.

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Substitua schema e table pelos nomes reais do schema e da tabela. Execute este comando fora do horário de pico.

• Carga da sincronização completa de dados — Durante a sincronização completa de dados, o DTS utiliza recursos de leitura e gravação tanto nos bancos de dados de origem quanto de destino, o que aumenta a carga do banco de dados. Avalie o desempenho de ambos os bancos antes de iniciar e agende a sincronização fora do horário de pico, quando a carga da cpu estiver abaixo de 30%.

• Alterações em nós de backend — Não adicione nós de backend (BE) ao banco de dados SelectDB durante a sincronização. Essa ação causa falha na tarefa. Reinicie a instância de sincronização para retomar.

• Novos clusters — Não crie um novo cluster na instância SelectDB de destino durante a sincronização. Essa ação causa falha na tarefa. Reinicie a instância de sincronização para retomar.

• Mesclagem de múltiplas tabelas — Em um cenário de mesclagem de múltiplas tabelas, onde dados de várias tabelas de origem são sincronizados para uma única tabela de destino, todas as tabelas de origem devem ter o mesmo schema. Caso contrário, pode ocorrer inconsistência de dados ou falha na tarefa.

• Validação de metadados — O DTS valida o conteúdo dos dados, mas não valida metadados como sequences. Valide os metadados manualmente.

• Tabelas particionadas — Inclua tanto a tabela pai quanto todas as suas tabelas filhas como objetos de sincronização. A tabela pai de uma tabela particionada do PostgreSQL não armazena dados diretamente — todos os dados residem nas tabelas filhas. A omissão das tabelas filhas resulta em inconsistência de dados.

• Tabelas temporárias — O DTS cria as seguintes tabelas temporárias no banco de dados de origem para capturar instruções DDL, estruturas de tabela e informações de heartbeat. Não exclua essas tabelas durante a sincronização, caso contrário a tarefa apresentará anomalias. Elas são excluídas automaticamente quando a instância DTS é liberada: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session e public.aliyun_dts_instance.

• Slots de replicação — O DTS cria um slot de replicação com o prefixo dts_sync_ no banco de dados de origem. O DTS usa esse slot para buscar logs incrementais do banco de dados de origem dentro de 15 minutos. Quando a tarefa falha ou a instância é liberada, o DTS tenta limpar esse slot automaticamente.

  Importante

  Se você alterar a senha da conta do banco de dados ou remover endereços ip do DTS da lista de permissões do banco de dados de origem durante a sincronização, o slot de replicação não poderá ser limpo automaticamente. Limpe-o manualmente para evitar acúmulo de espaço em disco. Se ocorrer um failover no banco de dados de origem, faça login no banco de dados secundário para limpar o slot de replicação manualmente.

  

• Latência da sincronização incremental — O DTS usa uma política de sincronização em lote para reduzir a carga no destino. Por padrão, o DTS grava dados no máximo uma vez a cada 5 segundos por objeto de sincronização, resultando em uma latência típica de até 10 segundos. Para reduzir a latência, modifique o parâmetro selectdb.reservoir.timeout.milliseconds da instância DTS no console. O intervalo válido é de 1.000 a 10.000 milissegundos.

  Reduzir o intervalo de lotes aumenta a frequência de gravação. Isso pode elevar a carga e o tempo de resposta de gravação da instância de destino, o que, por sua vez, aumenta a latência de sincronização. Ajuste conforme a carga real do destino.

• Recuperação de tarefa — Se a tarefa falhar, o suporte técnico do DTS tentará a recuperação dentro de 8 horas. Durante a recuperação, o DTS pode reiniciar a tarefa ou ajustar parâmetros da tarefa (não parâmetros do banco de dados). Os parâmetros que podem ser modificados incluem aqueles descritos em Modificar parâmetros da instância.

Casos especiais

Etapa 1: Acessar a lista de tarefas de sincronização de dados

Use um dos métodos a seguir para acessar a lista de tarefas de sincronização na região de destino.

Pelo console do DTS:

1. Faça login no console do Data Transmission Service (DTS).

2. No painel de navegação à esquerda, clique em Data Synchronization.

3. No canto superior esquerdo, selecione a região onde a instância de sincronização reside.

Pelo console do DMS:

As etapas reais podem variar conforme o modo e o layout do console do DMS. Para mais detalhes, consulte Console do modo simples e Personalizar o layout e o estilo da interface do DMS .

1. Faça login no Data Management (DMS).

2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização reside.

Etapa 2: Configurar os bancos de dados de origem e de destino

1. Clique em Create Task.

2. Configure os bancos de dados de origem e de destino. Task name O DTS gera um nome de tarefa automaticamente. Especifique um nome descritivo para facilitar a identificação. O nome não precisa ser único.

   Source database

   Parâmetro	Descrição
   Select existing connection	Selecione uma instância de banco de dados salva na lista se você a tiver adicionado ao sistema. Caso contrário, configure a conexão manualmente. No console do DMS, este parâmetro chama-se Select a DMS database instance.
   Database type	Selecione PostgreSQL.
   Access method	Selecione Alibaba Cloud Instance.
   Instance region	Selecione a região onde a instância RDS for PostgreSQL de origem reside.
   Replicate data across Alibaba Cloud accounts	Selecione No se a instância de origem pertencer à conta atual do Alibaba Cloud.
   Instance ID	Selecione o id da instância RDS for PostgreSQL de origem.
   Database name	Insira o nome do banco de dados que contém os objetos a serem sincronizados.
   Database account	Insira a conta do banco de dados. Para as permissões necessárias, consulte Permissões necessárias.
   Database password	Insira a senha da conta do banco de dados.

   Destination database

   Parâmetro	Descrição
   Select existing connection	Selecione uma instância de banco de dados salva na lista se você a tiver adicionado ao sistema. Caso contrário, configure a conexão manualmente. No console do DMS, este parâmetro chama-se Select a DMS database instance.
   Database type	Selecione SelectDB.
   Access method	Selecione Alibaba Cloud Instance.
   Instance region	Selecione a região onde a instância SelectDB de destino reside.
   Replicate data across Alibaba Cloud accounts	Selecione No se a instância de destino pertencer à conta atual do Alibaba Cloud.
   Instance ID	Selecione o id da instância SelectDB de destino.
   Database account	Insira a conta do banco de dados. Para as permissões necessárias, consulte Permissões necessárias.
   Database password	Insira a senha da conta do banco de dados.

3. Clique em Test Connectivity and Proceed.

   Certifique-se de que os blocos de endereços ip dos servidores DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino. Isso pode ser feito automática ou manualmente. Para mais detalhes, consulte Adicionar os blocos de endereços ip dos servidores DTS a uma lista de permissões . Se a origem ou o destino for um banco de dados autogerenciado (onde Access method não é Alibaba Cloud Instance ), clique também em Test Connectivity na caixa de diálogo CIDR blocks of DTS servers .

Etapa 3: Configurar objetos de sincronização

Na página Configure objects, defina os seguintes parâmetros.

Parâmetro	Descrição
Synchronization types	Incremental Data Synchronization vem selecionado por padrão. Selecione também Schema Synchronization e Full Data Synchronization. Após a aprovação da pré-verificação, o DTS inicializa todos os objetos selecionados da origem e os utiliza como linha de base para a sincronização incremental. Importante Ao sincronizar do PostgreSQL para o SelectDB, os tipos de dados são convertidos. Se você não selecionar Schema Synchronization, crie previamente tabelas de modelo Unique ou Duplicate com os schemas corretos na instância SelectDB de destino. Para mais detalhes, consulte Mapeamento de tipos de dados e Modelos de dados.
Processing mode of conflicting tables	Precheck and report errors: O DTS verifica se existe uma tabela com o mesmo nome no destino. Se existir, a pré-verificação falha e a tarefa não inicia. Para resolver isso sem excluir a tabela, use o recurso de mapeamento para renomeá-la. Consulte Mapear schemas, tabelas e colunas. Ignore errors and proceed: Ignora a verificação. Aviso Isso pode causar inconsistência de dados. Se os schemas coincidirem, registros com a mesma chave primária ou chave única no destino serão sobrescritos. Se os schemas diferirem, a inicialização pode falhar ou apenas dados parciais podem ser sincronizados.
Capitalization of object names in destination instance	Configure a política de diferenciação de maiúsculas e minúsculas para nomes de bancos de dados, tabelas e colunas sincronizados no destino. O padrão é a DTS default policy. Para mais detalhes, consulte Política de diferenciação de maiúsculas e minúsculas para nomes de objetos de destino.
Source objects	Clique em um objeto na caixa Source objects e depois clique em para movê-lo para a caixa Selected objects. Selecione objetos no nível de schema ou de tabela.
Selected objects	Clique com o botão direito em um objeto para renomeá-lo, definir uma cláusula WHERE para filtrar linhas ou selecionar quais operações SQL incluir na sincronização incremental. Para remover um objeto, clique nele e depois clique em . Se você selecionou Schema Synchronization e adicionou objetos no nível de tabela, clique com o botão direito em uma tabela para definir o parâmetro bucket_count em Parameter settings. Nota O uso do recurso de mapeamento de nomes de objetos pode causar falhas de sincronização em outros objetos que dependem do objeto renomeado.

Clique em Next: Advanced Settings.

Etapa 4: Configurar definições avançadas (opcional)

Etapa 5: Configurar campos de banco de dados e tabelas (opcional)

Se você selecionou Schema Synchronization, clique em Next: Configure Database and Table Fields para definir a Primary Key Column, Distribution Key e Engine para cada tabela de destino.

Defina Definition status como All para visualizar e modificar todas as tabelas.

Selecione uma ou mais colunas para Primary Key Column . A Distribution Key deve incluir pelo menos uma coluna da chave primária.

Para tabelas sem chave primária ou restrição UNIQUE, defina Engine como duplicate . Caso contrário, a tarefa pode falhar ou dados podem ser perdidos.

Etapa 6: Executar a pré-verificação e adquirir a instância

1. Clique em Next: Save Task Settings and Precheck.

   Para visualizar os parâmetros da OpenAPI para esta tarefa, passe o mouse sobre o botão e clique em Preview OpenAPI parameters antes de clicar nele.

2. Aguarde a conclusão da pré-verificação. A tarefa só pode iniciar após a aprovação de todos os itens de pré-verificação.

   • Se um item de pré-verificação falhar, clique em View Details, corrija o problema e execute a pré-verificação novamente.

   • Se um item de pré-verificação gerar um aviso que possa ser ignorado, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência. Ignorar avisos pode causar inconsistência de dados.

3. Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

4. Na página Purchase, selecione o método de faturamento e a especificação do link.

   Parâmetro	Descrição
   Billing method	Subscription: Pague antecipadamente por uma duração definida. Adequado para uso de longo prazo e mais econômico que o pagamento conforme o uso. Assinaturas mais longas oferecem descontos maiores. Pay-as-you-go: Cobrado por hora. Adequado para uso de curto prazo. Libere a instância após o uso para interromper as cobranças.
   Resource group configuration	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Consulte O que é o Resource Management?.
   Link specification	O nível de desempenho da sincronização. Especificações superiores suportam taxas de sincronização mais altas. Consulte Especificações de link de sincronização de dados.
   Subscription duration	(Apenas Subscription) Escolha mensal (1–9 meses) ou anual (1, 2, 3 ou 5 anos).

5. Leia os Data Transmission Service (Pay-as-you-go) Service Terms e clique em Buy and Start. Na caixa de diálogo de confirmação, clique em OK.

É possível acompanhar o progresso da tarefa na página Data Synchronization.