Data synchronization between PolarDB-X 2.0 instances - Data Transmission Service: Central de Documentação do Alibaba Cloud

Use o Data Transmission Service (DTS) para sincronizar dados de forma unidirecional entre instâncias do PolarDB-X 2.0.

Pré-requisitos

As instâncias de origem e de destino do PolarDB-X 2.0 devem estar criadas.
O espaço de armazenamento da instância PolarDB-X 2.0 de destino deve ser maior que o da instância PolarDB-X 2.0 de origem.

Considerações

Nota

Durante a sincronização de esquema, o DTS sincroniza as chaves estrangeiras do banco de dados de origem para o banco de dados de destino.
Durante a sincronização completa e incremental de dados, o DTS desativa temporariamente a verificação de restrições e as operações em cascata de chaves estrangeiras no nível da sessão. Se houver atualizações ou exclusões em cascata no banco de dados de origem durante a sincronização, podem ocorrer inconsistências de dados.

Tipo	Descrição
Limitações do banco de dados de origem	As tabelas sincronizadas devem ter uma chave primária ou uma restrição única. Caso contrário, podem ocorrer dados duplicados no banco de dados de destino. O DTS não aceita instâncias somente leitura do PolarDB-X 2.0 Enterprise Edition como banco de dados de origem. Ao sincronizar tabelas individualmente e aplicar edições, como o mapeamento de nomes de colunas, uma única tarefa de sincronização de dados aceita no máximo 5.000 tabelas. Para sincronizar mais de 5.000 tabelas, divida-as em várias tarefas ou configure a tarefa para sincronizar o banco de dados inteiro. Caso contrário, pode ocorrer um erro de requisição após o envie da tarefa. Requisitos de binary log: Ative o recurso de binary log no console do PolarDB-X 2.0 e defina o parâmetro binlog_row_image como full. Para mais informações, consulte Parameter settings. Caso contrário, a pré-verificação falhará e a tarefa de sincronização de dados não pode iniciar. Para a sincronização incremental de dados, retenha os binary logs do banco de dados de origem por mais de 24 horas. Para tarefas que combinam sincronização completa e incremental, o período de retenção deve ser de pelo menos 7 dias. Após a conclusão da sincronização completa, reduza o período de retenção para 24 horas. O SLA do DTS não cobre problemas causados por um período de retenção de binary log insuficiente. Se o nome de uma tabela na instância PolarDB-X 2.0 de origem contiver letras maiúsculas, o DTS suporta apenas a sincronização de esquema para essa tabela. O DTS não aceita a sincronização de grupos de tabelas (TABLEGROUP) nem de bancos de dados e tabelas que possuam o atributo Locality. O DTS não aceita a sincronização de tabelas cujos nomes sejam palavras-chave reservadas, como `select`. O DTS não consegue sincronizar partições de bancos de dados no modo DRDS em uma instância PolarDB-X 2.0. Não execute operações DDL que alterem os esquemas do banco de dados ou das tabelas durante a sincronização de esquema ou a sincronização completa. Caso contrário, a tarefa de sincronização falha. Nota Durante a sincronização completa, o DTS consulta o banco de dados de origem. Isso cria bloqueios de metadados que podem impedir operações DDL no banco de dados de origem. Durante a execução de uma tarefa de sincronização do DTS, o DTS não suporta a alteração do tipo de uma tabela de broadcast na instância PolarDB-X 2.0 de origem (por exemplo, alterar uma tabela de broadcast para uma tabela comum ou fragmentada). Para alterar o tipo da tabela, pare primeiro a tarefa de sincronização e, em seguida, reconfigure-a após a conclusão da alteração.
Outros limites	Avalie o desempenho dos bancos de dados de origem e de destino antes de iniciar a sincronização de dados. Execute a sincronização em horários de menor movimento, pois a sincronização completa inicial consome recursos significativos e aumenta a carga do banco de dados. A sincronização completa inicial executa operações INSERT simultâneas, o que pode causar fragmentação de tabelas no banco de dados de destino. Consequentemente, a instância de destino pode ocupar mais tablespace do que a instância de origem após a sincronização. Não use ferramentas como pt-online-schema-change para executar operações DDL online nos objetos que estão sendo sincronizados no banco de dados de origem. Caso contrário, a tarefa de sincronização falha. Durante a sincronização de dados, garanta que apenas o DTS grave dados no banco de dados de destino. A gravação de dados de outras fontes pode causar inconsistência entre os bancos de dados de origem e de destino. Por exemplo, se você executar alterações DDL online usando o DMS enquanto outro processo grava no destino, pode ocorrer perda de dados. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota O DTS modifica apenas os parâmetros da tarefa, e não os do banco de dados. Os parâmetros ajustáveis incluem os listados em Modify instance parameters.
Precauções	O DTS atualize periodicamente a tabela `dts_health_check`.`ha_health_check` no banco de dados de origem para avançar a posição do arquivo de binary log.

Faturamento

Tipo de sincronização	Preço
Sincronização de esquema e sincronização completa de dados	Gratuito.
Sincronização incremental de dados	Cobrado. Para mais informações, consulte Billing overview.

Operações SQL suportadas

Tipo de operação	Instrução SQL
DML	INSERT, UPDATE, DELETE
DDL	ALTER TABLE CREATE FUNCTION, CREATE INDEX, CREATE TABLE Nota Se o banco de dados de origem for uma instância do PolarDB-X 2.0 Enterprise Edition, o DTS não sincroniza as operações CREATE FUNCTION e CREATE INDEX. DROP INDEX, DROP TABLE RENAME TABLE Importante A operação RENAME TABLE pode causar inconsistência de dados. Por exemplo, se você selecionar apenas uma tabela específica como objeto de sincronização e renomear essa tabela na instância de origem durante a sincronização, os dados dessa tabela não são sincronizados com o banco de dados de destino. Para evitar esse problema, selecione o banco de dados inteiro ao qual a tabela pertence como objeto de sincronização. Isso garante que a tabela continue sendo rastreada após ser renomeada, desde que permaneça dentro de um banco de dados sincronizado. TRUNCATE TABLE

Permissões da conta do banco de dados

Banco de dados	Sincronização de esquema	Sincronização completa de dados	Sincronização incremental de dados
Instância PolarDB-X 2.0 de origem	SELECT	SELECT	REPLICATION SLAVE, REPLICATION CLIENT e SELECT nos objetos a serem sincronizados.
Instância PolarDB-X 2.0 de destino	Permissões de leitura e gravação.

Precauções

Procedimento

Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos dois métodos a seguir:
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Synchronization.
3. No canto superior esquerdo da página, selecione a região da instância de sincronização.
Pelo console do DMS

Nota
As operações reais podem variar de acordo com o modo e o layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.
1. Faça login no Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À direita de Data Synchronization Tasks, selecione a região da instância de sincronização.
Clique em Create Task para abrir a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e de destino, leia atentamente os limites exibidos na parte superior da página. Se você não seguir os limites, a tarefa pode falhar ou ocorrer inconsistência de dados.

Seção	Parâmetro	Descrição
N/D	Task Name	O DTS gera automaticamente um nome para a tarefa. Especifique um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados que seja added to the system (recém-criada ou salva), selecione a instância na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração tem o nome de Select a DMS database instance.. Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione PolarDB-X 2.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância PolarDB-X 2.0 de origem.
	Replicate Data Across Alibaba Cloud Accounts	Para este exemplo, que demonstra a sincronização na mesma conta Alibaba Cloud, selecione No.
	Instance ID	Selecione o ID da instância PolarDB-X 2.0 de origem.
	Database Account	Insira a conta do banco de dados para a instância PolarDB-X 2.0 de origem. A conta deve ter as permissões REPLICATION SLAVE, REPLICATION CLIENT e SELECT nos objetos a serem sincronizados. Nota Para obter informações sobre como conceder permissões, consulte Account permission issues during data synchronization.
	Database Password	Insira a senha correspondente à conta do banco de dados.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que seja added to the system (recém-criada ou salva), selecione a instância na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração tem o nome de Select a DMS database instance.. Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione PolarDB-X 2.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância PolarDB-X 2.0 de destino.
	Instance ID	Selecione o ID da instância PolarDB-X 2.0 de destino.
	Database Account	Insira a conta do banco de dados para a instância PolarDB-X 2.0 de destino. A conta deve ter permissões de leitura e gravação.
	Database Password	Insira a senha correspondente à conta do banco de dados.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Nota
Certifique-se de que os blocos CIDR de endereços IP dos servidores DTS foram adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores DTS. Você pode fazer isso automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos a serem sincronizados.

Parâmetro	Descrição
Synchronization Types	A opção Incremental Data Synchronization está selecionada. Por padrão, selecione também Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS executa uma sincronização completa dos dados dos objetos selecionados da instância de origem para o cluster de destino. Esses dados servem como linha de base para a subsequente sincronização incremental de dados.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir, a pré-verificação é aprovada. Se existir, a pré-verificação falha e a tarefa de sincronização de dados não é iniciada. Nota Se não for possível excluir ou renomear a tabela com o mesmo nome no banco de dados de destino, mapeie-a para um nome de tabela diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de nomes de tabelas duplicados no banco de dados de destino. Aviso A seleção de Ignore Errors and Proceed pode causar inconsistência de dados e colocar seu negócio em risco. Por exemplo: Se os esquemas das tabelas forem iguais e um registro no banco de dados de destino tiver o mesmo valor de chave primária ou chave única que um registro no banco de dados de origem: Durante a sincronização completa, o DTS mantém o registro no cluster de destino. O registro correspondente do banco de dados de origem não é sincronizado. Durante a sincronização incremental, o registro do banco de dados de origem sobrescreve o registro no banco de dados de destino. Se os esquemas das tabelas forem diferentes, a sincronização inicial de dados pode falhar. Isso pode resultar na sincronização parcial de colunas ou em uma falha completa da sincronização. Prossiga com cautela.
Synchronization Topology	Selecione One-way Synchronization.
Source Objects	Na caixa Source Objects, clique em um objeto a ser sincronizado e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Selecione bancos de dados, tabelas e colunas como objetos de sincronização. Se você selecionar tabelas ou colunas, outros objetos, como views, gatilhos e procedimentos armazenados, não são sincronizados com o banco de dados de destino.
Selected Objects	Para renomear um único objeto de sincronização na instância de destino, clique com o botão direito do mouse no objeto na caixa Selected Objects. Para mais informações sobre como renomear objetos, consulte Map a single database, table, or column. Para alterar os nomes de vários objetos de sincronização na instância de destino em lote, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações, consulte Map databases, tables, and columns in a batch. Nota Para selecionar as operações SQL a serem sincronizadas no nível do banco de dados ou da tabela, clique com o botão direito do mouse no objeto de sincronização na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida. Para obter uma lista das operações suportadas, consulte Supported SQL operations. Para definir uma cláusula WHERE para filtrar dados, clique com o botão direito do mouse na tabela a ser sincronizada na caixa Selected Objects e defina a condição de filtro na caixa de diálogo exibida. Para obter instruções, consulte Filter task data by using SQL conditions.

Clique em Next: Advanced Settings para configurar os parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, e você não precisa selecionar um cluster. Para um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relata um erro e começa imediatamente a tentar reconectar. A duração padrão de nova tentativa é de 720 minutos. Especifique também uma duração personalizada de 10 a 1.440 minutos. Defina a duração para 30 minutos ou mais. Se o DTS conseguir se reconectar ao banco de dados dentro da duração especificada, a tarefa de sincronização é retomada automaticamente. Caso contrário, a tarefa falha. Nota Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede para 30 minutos para a Instância A e 60 minutos para a Instância B, a duração menor de 30 minutos é usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, personalize a duração da nova tentativa com base nas necessidades do seu negócio ou libere a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução de DDL ou DML), o DTS relata um erro e inicia imediatamente operações contínuas de nova tentativa. A duração padrão é de 10 minutos. Personalize também a duração dentro do intervalo de 1 a 1.440 minutos. Defina para 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração definida, a tarefa de sincronização é retomada automaticamente. Caso contrário, a tarefa falha. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga, defina um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization. Também é possível adjust the full synchronization rate após a instância de sincronização estar em execução.
Enable Throttling for Incremental Data Synchronization	Defina também um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Este parâmetro é opcional.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem enquanto a instância do DTS está em execução. Yes: As informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância do DTS reporte um atraso. No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL?. Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação é enviada para um contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

Clique em Next: Data Validation para configurar uma tarefa de validação de dados.

Se quiser usar o recurso de validação de dados, consulte Configure data validation para obter instruções de configuração.

Salve a tarefa e execute uma pré-verificação.
- Para visualizar os parâmetros da api para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão de dica.
- Após visualizar os parâmetros da api, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de sincronização, o DTS executa uma pré-verificação. A tarefa só inicia após a aprovação de todos os itens da pré-verificação.
- Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme as instruções e execute a pré-verificação novamente.
- Se a pré-verificação retornar um aviso:
  
  Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para ignorar o aviso e executar a pré-verificação novamente. Se você optar por ignorar o item de aviso, isso pode causar problemas como inconsistência de dados e representar riscos para o seu negócio.

Adquira a instância.

Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione o método de faturamento e a especificação do link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

Categoria	Parâmetro	Descrição
New Instance Class	Método de faturamento	Assinatura: Pagamento no momento da criação da instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: A cobrança é feita por hora. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão (default resource group). Para mais informações, consulte What is Resource Management?.
	Especificação do link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Escolha uma especificação com base no seu cenário de negócio. Para mais informações, consulte Data synchronization link specifications.
	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Escolha uma assinatura mensal de 1 a 9 meses ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

Visualize o progresso da tarefa na página Data Synchronization.