Synchronize data from PolarDB for MySQL to PolarDB-X 2.0 - Data Transmission Service: Central de Documentação do Alibaba Cloud

Use o Data Transmission service (DTS) para sincronizar dados de um cluster PolarDB for MySQL para uma instância PolarDB-X 2.0.

Pré-requisitos

crie uma instância de destino PolarDB-X 2.0.
A instância de destino PolarDB-X 2.0 deve ter mais espaço de armazenamento do que o cluster de origem PolarDB for MySQL.

Limitações

Nota

Durante a sincronização de esquemas, o DTS sincroniza chaves estrangeiras do banco de dados de origem para o banco de dados de destino.
Durante a sincronização completa e incremental de dados, o DTS desativa temporariamente as verificações de restrições e as operações em cascata de chaves estrangeiras no nível da sessão. Podem ocorrer inconsistências de dados caso você execute operações de atualize ou exclusão em cascata no banco de dados de origem durante a execução da tarefa.

Tipo	Descrição
Limitações do banco de dados de origem	As tabelas a serem sincronizadas devem ter uma chave primária ou uma restrição UNIQUE, e todos os campos devem ser exclusivos. Caso contrário, podem surgir dados duplicados no banco de dados de destino. Se você sincronizar dados no nível da tabela e precisar editar tabelas (por exemplo, mapear nomes de colunas), uma única tarefa de sincronização aceitará no máximo 1.000 tabelas. Caso exceda esse limite, o sistema relatará um erro ao envie a tarefa. Para resolver, divida as tabelas em várias tarefas de sincronização ou sincronize o banco de dados inteiro. Logs binários: Ative o log binário e defina o parâmetro `loose_polar_log_bin` como `ON`. Caso contrário, o sistema relatará um erro durante a pré-verificação e a instância do DTS não iniciará. Para obter mais informações sobre como ativar o log binário e modifique parâmetros, consulte Enable binary logging e Set cluster parameters and node parameters. Nota Ativar o log binário para um cluster PolarDB for MySQL consome espaço de armazenamento e gera cobranças. Os logs binários do cluster PolarDB for MySQL devem ser retidos por pelo menos 3 dias. Recomendamos retê-los por 7 dias. Caso contrário, a tarefa do DTS poderá falhar por incapacidade de obter os logs binários. Em casos extremos, isso pode causar inconsistência ou perda de dados. O Acordo de Nível de Serviço (SLA) do DTS não cobre problemas causados por um período de retenção de log binário inferior ao exigido. Nota Para obter mais informações sobre como definir o período de retenção para logs binários de um cluster PolarDB for MySQL, consulte Modify the retention period. Não execute operações DDL que alterem esquemas de banco de dados ou tabelas durante a sincronização de esquemas ou a sincronização completa. Caso contrário, a tarefa de sincronização falhará. Nota Durante a sincronização completa, o DTS consulta o banco de dados de origem, o que cria bloqueios de metadados que podem impedir operações DDL no banco de dados de origem.
Outras limitações	Requisitos do objeto de sincronização: O DTS não oferece suporte à sincronização de dados para os seguintes tipos de dados: BIT, VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR,VECTOR e TXID_SNAPSHOT. Não há suporte para índices de prefixo. Se existir um índice de prefixo no banco de dados de origem, a tarefa de sincronização de dados poderá falhar. Não é possível sincronizar dados de um nó somente leitura do cluster de origem PolarDB for MySQL. Não é possível sincronizar tabelas externas do OSS a partir do cluster de origem PolarDB for MySQL. Se a tabela de destino PolarDB-X 2.0 tiver o particionamento automático ativado (`auto_partition=true`), cada instrução DDL executada na origem poderá conter apenas uma `alter_specification`. Caso contrário, o DTS relatará um erro (`TDDL-4998`: `Multi alter specifications when create GSI not support yet`). Para executar uma instrução DDL que contenha vários itens `alter_specification`, divida cada `alter_specification` em uma instrução DDL separada e execute-as uma a uma. Para obter mais informações, consulte ALTER TABLE (DRDS mode) e ALTER TABLE (AUTO mode). Não há suporte para failover primário/secundário da instância de banco de dados durante a sincronização inicial completa de dados. Se ocorrer um failover, reconfigure a tarefa de sincronização. Se o banco de dados de origem usar operações DDL online no modo de tabela temporária (incluindo cenários de mesclagem de várias tabelas, entre outros) ou adicionar índices baseados em funções a colunas de chave exclusiva, poderão ocorrer perda de dados ou falha de tarefa no banco de dados de destino. Antes de sincronizar os dados, avalie o desempenho dos bancos de dados de origem e de destino. Recomendamos sincronizar os dados em horários de menor pico. Caso contrário, a sincronização inicial completa consumirá recursos de leitura e gravação em ambos os bancos de dados, o que pode aumentar a carga do banco de dados. A sincronização inicial completa executa operações INSERT simultâneas, o que causa fragmentação nas tabelas do banco de dados de destino. Como resultado, o tablespace da instância de destino fica maior que o da instância de origem após essa etapa. Para sincronização de dados no nível da tabela, não use ferramentas como pt-online-schema-change para executar operações DDL online nos objetos de sincronização no banco de dados de origem. Caso contrário, a sincronização falhará. Para sincronização de dados no nível da tabela, se nenhuma outra fonte além do DTS gravar dados no banco de dados de destino, use o Data Management (DMS) para executar operações DDL online. Para obter mais informações, consulte Alterar esquemas sem bloquear tabelas. Durante a sincronização do DTS, não grave dados no banco de dados de destino a partir de fontes externas ao DTS. Isso pode causar inconsistência de dados entre os bancos de dados de origem e de destino. Por exemplo, se você usar o DMS para executar uma alteração DDL online enquanto fontes externas gravam dados no banco de dados de destino, poderá ocorrer perda de dados. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, a equipe poderá reiniciar a tarefa ou ajustar seus parâmetros. Nota O sistema modifica apenas os parâmetros da tarefa do DTS, não os parâmetros do banco de dados. Os parâmetros passíveis de ajuste incluem aqueles listados em Modify instance parameters.
Outras observações	O DTS executa periodicamente o comando CREATE DATABASE IF NOT EXISTS `test` no banco de dados de origem para avançar a posição do log binário.

Faturamento

Tipo de sincronização	Preços
Sincronização de esquemas e sincronização completa de dados	Gratuito.
Sincronização incremental de dados	Há cobrança. Para obter mais informações, consulte Billing overview.

Topologias de sincronização

Sincronização unidirecional um para um
Sincronização unidirecional muitos para um

Operações SQL suportadas

Tipo de operação	Instrução SQL
DML	INSERT, atualize e DELETE
DDL	ALTER TABLE e ALTER VIEW CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE e CREATE VIEW DROP INDEX e DROP TABLE RENAME TABLE Importante A operação RENAME TABLE pode causar inconsistência de dados. Por exemplo, se o objeto de sincronização for uma única tabela e você a renomear na instância de origem durante a sincronização, os dados dessa tabela não serão sincronizados com o banco de dados de destino. Para evitar esse problema, configure a tarefa para sincronizar o banco de dados inteiro que contém a tabela. Certifique-se de que o banco de dados ao qual a tabela pertence, tanto antes quanto depois da operação RENAME TABLE, esteja incluído nos objetos de sincronização. TRUNCATE TABLE

Procedimento

Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos seguintes métodos:
Pelo console do DTS
1. Faça login no console do Data Transmission service (DTS).
2. No painel de navegação à esquerda, clique em Data Synchronization.
3. No canto superior esquerdo da página, selecione a região da instância de sincronização.
Pelo console do DMS

Nota
As operações reais podem variar dependendo do modo e do layout do console do DMS. Para obter mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.
1. Faça login no Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À direita de Data Synchronization Tasks, selecione a região da instância de sincronização.
Clique em Create Task para abrir a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e de destino, leia atentamente os limites exibidos na parte superior da página. O descumprimento desses limites pode causar falha na tarefa ou inconsistência de dados.

Seção	Parâmetro	Descrição
N/D	Task Name	O DTS gera automaticamente um nome de tarefa. Recomendamos especifique um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione-a na lista suspensa. O sistema configura as informações do banco de dados automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância de banco de dados ao sistema ou não precise usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione PolarDB for MySQL.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região do cluster de origem PolarDB for MySQL.
	PolarDB Cluster ID	Selecione o ID do cluster de origem PolarDB for MySQL.
	Database Account	insira a conta do banco de dados do cluster de origem PolarDB for MySQL. Essa conta deve ter permissões de leitura nos objetos sincronizados.
	Database Password	insira a senha correspondente à conta do banco de dados.
	Encryption	Selecione uma opção conforme seus requisitos. Para obter mais informações, consulte Configure SSL encryption.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione-a na lista suspensa. O sistema configura as informações do banco de dados automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância de banco de dados ao sistema ou não precise usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione PolarDB-X 2.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância de destino PolarDB-X 2.0.
	Instance ID	Selecione o ID da instância de destino PolarDB-X 2.0.
	Database Account	insira a conta do banco de dados da instância de destino PolarDB-X 2.0. Essa conta deve ter permissões de leitura e gravação.
	Database Password	insira a senha correspondente à conta do banco de dados.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Nota
Certifique-se de adicionar os blocos CIDR de endereços IP dos servidores DTS às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso. Você pode fazer isso automática ou manualmente. Para obter mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos a serem sincronizados.

Parâmetro	Descrição
Synchronization Types	A opção Incremental Data Synchronization vem selecionada. Por padrão, você também deve selecionar Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS executa uma sincronização completa dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como linha de base para a sincronização incremental subsequente.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir, a pré-verificação é aprovada. Se existir, a pré-verificação falha e a tarefa de sincronização de dados não inicia. Nota Se não for possível excluir ou renomear a tabela com o mesmo nome no banco de dados de destino, mapeie-a para um nome diferente. Para obter mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de nomes de tabelas duplicados no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seu negócio em risco. Por exemplo: Se os esquemas das tabelas forem iguais e um registro no banco de dados de destino tiver o mesmo valor de chave primária ou exclusiva que um registro no banco de dados de origem: Durante a sincronização completa, o DTS retém o registro no cluster de destino e não sincroniza o registro correspondente do banco de dados de origem. Durante a sincronização incremental, o registro do banco de dados de origem substitui o registro no banco de dados de destino. Se os esquemas das tabelas forem diferentes, a sincronização inicial de dados poderá falhar. Isso pode resultar na sincronização apenas parcial de colunas ou em uma falha completa. Prossiga com cautela.
Source Objects	Na caixa Source Objects, clique em um objeto a ser sincronizado e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Você pode selecionar bancos de dados, tabelas e colunas como objetos de sincronização. Se selecionar tabelas ou colunas, outros objetos, como visualizações, gatilhos e procedimentos armazenados, não serão sincronizados com o banco de dados de destino.
Selected Objects	Para renomear um único objeto de sincronização na instância de destino, clique com o botão direito do mouse no objeto na caixa Selected Objects. Para obter mais informações sobre como renomear objetos, consulte Map a single database, table, or column. Para alterar em lote os nomes de vários objetos de sincronização na instância de destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para obter mais informações, consulte Map databases, tables, and columns in a batch. Nota Para selecionar as operações SQL a serem sincronizadas para um banco de dados ou tabela específica, clique com o botão direito do mouse no objeto na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida. Para filtrar dados usando uma cláusula WHERE, clique com o botão direito do mouse na tabela na caixa Selected Objects e defina a condição de filtro na caixa de diálogo exibida. Para obter mais informações, consulte Filter task data with an SQL condition.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, portanto, não é preciso selecionar um cluster. Para um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para obter mais informações, consulte What is a DTS dedicated cluster?.
Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e tentará reconectar imediatamente. A duração padrão de nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomendamos definir a duração como 30 minutos ou mais. Se o DTS reconectar com sucesso ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede para 30 minutos na Instância A e 60 minutos na Instância B, o sistema usará a duração mais curta (30 minutos) para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução de DDL ou DML), o DTS relatará um erro e iniciará imediatamente novas tentativas contínuas. A duração padrão é de 10 minutos. Você também pode personalizar a duração dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Para reduzir essa carga, defina um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization. Você também pode adjust the full synchronization rate após a instância de sincronização entrar em execução.
Enable Throttling for Incremental Data Synchronization	Você também pode definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Para este exemplo, nenhuma seleção é necessária.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem durante a execução da instância do DTS. Yes: O sistema não grava informações SQL de heartbeat no banco de dados de origem. Isso pode fazer com que a instância do DTS relate um atraso. No: O sistema grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
Configure ETL	escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para obter mais informações, consulte What is ETL?. Valores válidos: Yes: Ativa o recurso ETL. insira instruções de processamento de dados no editor de código. Para obter mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, o sistema enviará uma notificação para um contato de alerta. No: Nenhum alerta configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para obter mais informações, consulte Configure monitoring and alerting during task configuration.

Clique em Next: Data Validation para configurar uma tarefa de validação de dados.

Para usar o recurso de validação de dados, consulte Configure data validation para obter instruções de configuração.

salve a tarefa e execute uma pré-verificação.
- Para visualize os parâmetros da api para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters na dica.
- Após visualize os parâmetros da api, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de sincronização, o DTS executa uma pré-verificação. A tarefa só inicia após a aprovação de todos os itens de pré-verificação.
- Se a pré-verificação falhar, clique em View Details no item com falha. Corrija o problema conforme solicitado e execute a pré-verificação novamente.
- Se a pré-verificação retornar um aviso:
  
  Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para ignorar o aviso e executar a pré-verificação novamente. Ocultar o item de aviso pode causar problemas como inconsistência de dados e representar riscos para o seu negócio.

Adquira a instância.

Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione o método de faturamento e a especificação do link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

Categoria	Parâmetro	Descrição
New Instance Class	Billing Method	Assinatura: Você paga ao criar a instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: Cobrança por hora. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
	Resource Group Configuration	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Para obter mais informações, consulte What is Resource Management?.
	Link Specification	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. escolha uma especificação com base no cenário do seu negócio. Para obter mais informações, consulte Data synchronization link specifications.
	Subscription Duration	No modo de assinatura, selecione a duração e a quantidade para a instância. escolha uma assinatura mensal de 1 a 9 meses ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

Você pode visualize o progresso da tarefa na página Data Synchronization.