Este tópico descreve como usar o Data Transmission Service (DTS) para sincronizar dados de uma instância do ApsaraDB RDS for PostgreSQL para um cluster do PolarDB for PostgreSQL.
Pré-requisitos
-
Crie um cluster de destino do PolarDB for PostgreSQL. A capacidade de armazenamento deve ser maior que o espaço utilizado pela instância de origem do ApsaraDB RDS for PostgreSQL. Para mais informações, consulte Criar um cluster de banco de dados.
NotaPara verificar as versões compatíveis dos bancos de dados de origem e destino, consulte Cenários de sincronização de dados.
Crie um banco de dados no cluster de destino do PolarDB for PostgreSQL para receber os dados sincronizados. Para mais informações, consulte Gerenciamento de banco de dados.
Observações
Durante a sincronização de schema, o DTS sincroniza chaves estrangeiras do banco de dados de origem para o de destino.
Nas fases de sincronização total e incremental de dados, o DTS desativa temporariamente as verificações de restrições e operações em cascata de chaves estrangeiras no nível da sessão. Pode ocorrer inconsistência de dados se operações de atualização ou exclusão em cascata forem executadas no banco de dados de origem enquanto a tarefa estiver em execução.
|
Tipo |
Descrição |
|
Limites do banco de dados de origem |
|
|
Outros limites |
|
|
Casos especiais |
|
Preços
|
Tipo de sincronização |
Taxas |
|
Sincronização de schema e sincronização total |
Gratuito. |
|
Sincronização incremental |
Taxas aplicáveis. Consulte visão geral de faturamento. |
Topologias de sincronização suportadas
Sincronização unidirecional um para um
Sincronização unidirecional um para muitos
Sincronização unidirecional em cascata
Sincronização unidirecional muitos para um
Para mais informações sobre as topologias de sincronização suportadas e suas notas de uso, consulte Topologias de sincronização de dados.
Objetos suportados
-
SCHEMA,TABLE.NotaIsso inclui
PRIMARY KEY,UNIQUE KEY,FOREIGN KEY,DATATYPE(tipos de dados integrados) eDEFAULT CONSTRAINT. VIEW,PROCEDURE(requer PostgreSQL 11 ou posterior),FUNCTION,RULE,SEQUENCE,EXTENSION,TRIGGER,AGGREGATE,INDEX,OPERATOR,DOMAIN.
Operações SQL suportadas
Tipo de operação | Operação SQL |
DML |
|
DDL |
|
Permissões necessárias para a conta do banco de dados
Banco de dados | Permissões necessárias | Criação e autorização de conta |
RDS PostgreSQL | Uma conta de alto privilégio que também deve ser proprietária (conta autorizada) do banco de dados selecionado. Nota Se você precisar sincronizar apenas operações DML para uma instância de origem RDS PostgreSQL 9.4, a conta requer apenas a permissão | |
PolarDB for PostgreSQL | Permissão de owner no Nota Use o proprietário do banco de dados especificado durante a criação do banco de dados. | Criar uma conta de banco de dados e gerenciar o banco de dados. |
Procedimento
-
Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos dois métodos a seguir:
Pelo console do DTS
Faça login no console do Data Transmission Service (DTS).
No painel de navegação à esquerda, clique em Data Synchronization.
No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.
Pelo console do DMS
NotaAs operações reais podem variar dependendo do modo e do layout do console do DMS. Para mais informações, consulte Modo simples e Personalizar o layout e o estilo da interface do DMS.
Faça login no Data Management (DMS).
Na barra de menu superior, escolha .
À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.
Clique em Create Task para abrir a página de configuração da tarefa.
-
Configure os bancos de dados de origem e destino.
Seção
Parâmetro
Descrição
N/A
Task Name
O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database
Select Existing Connection
-
Para usar uma instância de banco de dados que foi adicionada ao sistema (recém-criada ou salva), selecione a instância na lista suspensa. As informações do banco de dados são configuradas automaticamente.
NotaNo console do DMS, este item de configuração chama-se Select a DMS database instance..
-
Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
Database Type
Selecione PostgreSQL.
Connection Type
Selecione Alibaba Cloud Instance.
Instance Region
Selecione a região da instância de origem do ApsaraDB RDS for PostgreSQL.
Replicate Data Across Alibaba Cloud Accounts
Neste exemplo, a sincronização é realizada na mesma conta Alibaba Cloud. Selecione No.
Instance ID
Selecione o ID da instância de origem do ApsaraDB RDS for PostgreSQL.
Database Name
Insira o nome do banco de dados na instância de origem do ApsaraDB RDS for PostgreSQL que contém os objetos de sincronização.
Database Account
Insira a conta do banco de dados para a instância de origem do ApsaraDB RDS for PostgreSQL. Para mais informações sobre os requisitos de permissão, consulte Permissões necessárias para a conta do banco de dados.
Database Password
Insira a senha correspondente à conta do banco de dados.
Encryption
Especifica se a conexão com o banco de dados de origem deve ser criptografada. Configure este parâmetro conforme suas necessidades de negócio. Neste exemplo, Non-encrypted está selecionado.
Para estabelecer uma conexão criptografada por SSL com o banco de dados de origem, siga estas etapas: Selecione SSL-encrypted, faça upload do CA Certificate, Client Certificate e Private Key of Client Certificate conforme necessário e, em seguida, especifique a Private Key Password of Client Certificate.
Nota-
Se você definir Encryption como SSL-encrypted para um banco de dados PostgreSQL autogerenciado, faça upload do CA Certificate.
-
Para usar o certificado de cliente, faça upload do Client Certificate e da Private Key of Client Certificate e especifique a Private Key Password of Client Certificate.
-
Para informações sobre como configurar criptografia SSL para uma instância do ApsaraDB RDS for PostgreSQL, consulte Criptografia SSL.
Destination Database
Select Existing Connection
-
Para usar uma instância de banco de dados que foi adicionada ao sistema (recém-criada ou salva), selecione a instância na lista suspensa. As informações do banco de dados são configuradas automaticamente.
NotaNo console do DMS, este item de configuração chama-se Select a DMS database instance..
-
Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
Database Type
Selecione PolarDB for PostgreSQL.
Connection Type
Selecione Alibaba Cloud Instance.
Instance Region
Selecione a região do cluster de destino do PolarDB for PostgreSQL.
Instance ID
Selecione o ID do cluster de destino do PolarDB for PostgreSQL.
Database Name
Insira o nome do banco de dados no cluster de destino do PolarDB for PostgreSQL que receberá os dados.
Database Account
Insira a conta do banco de dados para o cluster de destino do PolarDB for PostgreSQL. Para mais informações sobre os requisitos de permissão, consulte Permissões necessárias para a conta do banco de dados.
Database Password
Insira a senha correspondente à conta do banco de dados.
-
-
Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.
NotaGaranta que os blocos CIDR de endereços IP dos servidores do DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e destino para permitir o acesso dos servidores do DTS. Isso pode ser feito automática ou manualmente. Para mais informações, consulte Adicionar os blocos CIDR de endereços IP dos servidores do DTS a uma lista de permissões.
Se o banco de dados de origem ou destino for autogerenciado (onde o Access Method não é Alibaba Cloud Instance), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.
-
Configure os objetos da tarefa.
-
Na página Configure Objects, configure os objetos a serem sincronizados.
Parâmetro
Descrição
Synchronization Types
Incremental Data Synchronization está selecionado. Por padrão, você também deve selecionar Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS realiza uma sincronização total dos dados dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como base para a subsequente sincronização incremental de dados.
Synchronization Topology
Selecione One-way Synchronization.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir, a pré-verificação é aprovada. Se existir, a pré-verificação falha e a tarefa de sincronização não inicia.
NotaSe não for possível excluir ou renomear a tabela com o mesmo nome no banco de dados de destino, mapeie-a para um nome diferente. Para mais informações, consulte Mapear nomes de tabelas e colunas.
-
Ignore Errors and Proceed: Ignora a verificação de nomes de tabelas duplicados no banco de dados de destino.
AvisoSelecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seu negócio em risco. Por exemplo:
-
Se os schemas das tabelas forem iguais e um registro no banco de dados de destino tiver o mesmo valor de chave primária ou única que um registro no banco de dados de origem:
-
Durante a sincronização total, o DTS mantém o registro no cluster de destino. O registro correspondente do banco de dados de origem não é sincronizado.
-
Durante a sincronização incremental, o registro do banco de dados de origem sobrescreve o registro no banco de dados de destino.
-
-
Se os schemas das tabelas forem diferentes, a sincronização inicial de dados pode falhar. Isso pode resultar na sincronização apenas parcial dos dados das colunas ou em uma falha completa da sincronização. Prossiga com cautela.
-
Source Objects
Na caixa Source Objects, clique em um objeto para sincronizar e, em seguida, clique em
para movê-lo para a caixa Selected Objects.NotaSelecione objetos para sincronizar no nível de schema ou tabela. Se selecionar tabelas como objetos de sincronização, outros objetos como views, triggers e stored procedures não serão sincronizados para o banco de dados de destino.
Se uma tabela a ser sincronizada contiver um campo do tipo SERIAL e Synchronization Types estiver selecionado para Schema Synchronization, recomendamos selecionar também Sequence ou todo o schema.
Selected Objects
-
Para renomear um único objeto de sincronização na instância de destino, clique com o botão direito no objeto na caixa Selected Objects. Para mais informações sobre como renomear objetos, consulte Mapear um único banco de dados, tabela ou coluna.
-
Para alterar em lote os nomes de vários objetos de sincronização na instância de destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações, consulte Mapear bancos de dados, tabelas e colunas em lote.
NotaPara selecionar operações SQL no nível de banco de dados ou tabela, clique com o botão direito em um objeto na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida.
Para filtrar dados usando uma cláusula WHERE, clique com o botão direito em uma tabela na caixa Selected Objects e especifique a condição de filtro na caixa de diálogo. Para mais informações, consulte Definir condições de filtro.
-
-
Clique em Next: Advanced Settings para configurar parâmetros avançados.
Parâmetro
Descrição
Dedicated Cluster for Task Scheduling
Por padrão, o DTS agenda tarefas em um cluster compartilhado, e não é necessário selecionar um cluster. Para um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte O que é um cluster dedicado do DTS?.
Retry Time for Failed Connections
Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou destino falhar, o DTS relatará um erro e iniciará imediatamente novas tentativas de conexão. A duração padrão de tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomendamos definir a duração para 30 minutos ou mais. Se o DTS reconectar com sucesso ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará.
Nota-
Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) compartilhando a mesma origem ou destino, e definir o tempo de tentativa de rede como 30 minutos para a Instância A e 60 minutos para a Instância B, a duração menor de 30 minutos será usada para ambas.
-
Como o DTS cobra pelo tempo de execução da tarefa durante o período de tentativa de conexão, recomendamos personalizar a duração da tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e destino.
Retry Time for Other Issues
Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou destino (como exceções na execução de DDL ou DML), o DTS relatará um erro e iniciará imediatamente operações contínuas de tentativa. A duração padrão de tentativa é de 10 minutos. Você também pode personalizar a duração da tentativa dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir para 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de tentativa definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará.
ImportanteO valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Durante a fase de sincronização total, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga nos bancos de dados de origem e destino, defina um limite de taxa para a tarefa de sincronização total configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s).
Nota-
Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization.
-
Você também pode ajustar a taxa de sincronização total depois que a instância de sincronização estiver em execução.
Enable Throttling for Incremental Data Synchronization
Você também pode definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Selecione uma tag de ambiente para identificar a instância conforme suas necessidades de negócio. Neste exemplo, nenhuma seleção é necessária.
Configure ETL
Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte O que é ETL? Valores válidos:
-
Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configurar ETL em uma tarefa de migração ou sincronização de dados.
-
No: Desativa o recurso ETL.
Monitoring and Alerting
Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação será enviada a um contato de alerta.
-
No: Nenhum alerta é configurado.
-
Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para mais informações, consulte Configurar monitoramento e alertas durante a configuração da tarefa.
-
-
Clique em Next: Data Validation para configurar uma tarefa de validação de dados.
Para usar o recurso de validação de dados, consulte Configurar validação de dados para obter instruções de configuração.
-
-
Salve a tarefa e execute uma pré-verificação.
Para visualizar os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão.
Se terminar de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.
NotaAntes do início do trabalho de sincronização, o DTS executa uma pré-verificação. O trabalho só pode começar após a aprovação de todos os itens da pré-verificação.
Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme indicado e execute a pré-verificação novamente.
-
Se a pré-verificação retornar um aviso:
Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.
Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para pular o aviso e executar a pré-verificação novamente. Se optar por suprimir o item de aviso, isso pode causar problemas como inconsistência de dados e representar riscos ao seu negócio.
-
Adquira a instância.
Quando a Success Rate for 100%, clique em Next: Purchase Instance.
-
Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.
Categoria
Parâmetro
Descrição
New Instance Class
Método de faturamento
-
Assinatura: Pagamento realizado na criação da instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto.
-
Pagamento conforme o uso: Cobrança horária. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
Configuração do grupo de recursos
O grupo de recursos ao qual a instância pertence. O padrão é default resource group. Para mais informações, consulte O que é Resource Management?.
Especificação de link
O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Escolha uma especificação com base no seu cenário de negócio. Para mais informações, consulte Especificações de link de sincronização de dados.
Duração da assinatura
No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Escolha uma assinatura mensal de 1 a 9 meses ou uma assinatura anual de 1, 2, 3 ou 5 anos.
NotaEsta opção está disponível apenas quando o método de faturamento é Subscription.
-
Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
-
Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.
Visualize o progresso da tarefa na página Data Synchronization.