Synchronize data from a PolarDB-X 1.0 instance to a PolarDB-X 2.0 instance - Data Transmission Service: Central de Documentação do Alibaba Cloud

Use o Data Transmission Service (DTS) para sincronizar dados de uma instância do PolarDB-X 1.0 para uma instância do PolarDB-X 2.0.

Pré-requisitos

A instância de origem do PolarDB-X 1.0 deve usar o RDS for MySQL como classe de armazenamento, incluindo RDS personalizado privado e instâncias de RDS adquiridas separadamente. Atualmente, o DTS não oferece suporte ao PolarDB for MySQL.
Crie uma instância de destino do PolarDB-X 2.0 e um banco de dados para receber os dados. Para mais informações, consulte Create an instance (Starter Edition) e Create a database.
A instância de destino deve ter mais espaço de armazenamento que a instância de origem.

Observações

Nota

Durante a sincronização de schema, o DTS sincroniza as chaves estrangeiras do banco de dados de origem para o de destino.
Durante a sincronização completa e incremental de dados, o DTS desativa temporariamente as verificações de restrições e as operações em cascata de chaves estrangeiras no nível da sessão. Podem ocorrer inconsistências de dados se você executar operações de atualização ou exclusão em cascata no banco de dados de origem durante a execução da tarefa.

Tipo	Descrição
Limitações do banco de dados de origem	As tabelas a serem sincronizadas devem ter uma restrição PRIMARY KEY ou UNIQUE. O DTS não oferece suporte à sincronização de schema para tabelas apenas com restrição UNIQUE; use uma restrição PRIMARY KEY. Os campos de chave devem ser exclusivos para evitar a duplicação de dados no banco de dados de destino. Se você sincronizar dados no nível da tabela e precisar editar mapeamentos de nomes de tabelas ou colunas, uma única tarefa de sincronização suportará até 1.000 tabelas. Caso exceda esse limite, o sistema reportará um erro ao enviar a tarefa. Para contornar essa limitação, divida as tabelas em várias tarefas ou sincronize o banco de dados inteiro. Logs binários das instâncias do RDS for MySQL anexadas à instância do PolarDB-X 1.0: O log binário é ativado por padrão. Para mais informações, consulte View instance parameters e confirme se binlog_row_image está definido como full. Caso contrário, o sistema reportará um erro durante a pré-verificação e a tarefa de sincronização de dados não será iniciada. Para a sincronização incremental, o DTS exige a retenção dos logs binários locais do banco de dados de origem por mais de 24 horas. Para a sincronização completa e incremental, retenha os logs binários locais por pelo menos 7 dias. Você pode alterar o período de retenção para mais de 24 horas após a conclusão da sincronização completa. Se o DTS não conseguir obter os logs binários, a tarefa poderá falhar e, em casos extremos, causar inconsistência ou perda de dados. O Acordo de Nível de Serviço (SLA) do DTS não cobre problemas causados por retenção insuficiente de logs binários. Limitações de operação do banco de dados de origem: Para alterar o tipo de rede da instância do PolarDB-X 1.0 durante a sincronização, atualize as informações de conexão de rede do link de sincronização após a conclusão da alteração. Durante a sincronização, não execute operações na instância de origem, como dimensionamento (por exemplo, dimensionar a instância anexada do ApsaraDB RDS for MySQL ou alterar a distribuição de tabelas físicas correspondentes a tabelas lógicas no ApsaraDB RDS for MySQL, mesmo sem dimensionar a instância), migração de hot tables, alteração da chave de shard ou modificações de DDL. Caso contrário, a tarefa de sincronização de dados falhará ou ocorrerão inconsistências de dados. Se você alterar a chave de partição de uma tabela de origem e a chave primária da tabela de destino correspondente não incluir essa chave de partição, poderá ocorrer perda de dados no banco de dados de destino. Motivo: uma instância do PolarDB-X 1.0 possui várias instâncias do ApsaraDB RDS for MySQL anexadas. O DTS mantém links de sincronização independentes para cada instância do ApsaraDB RDS for MySQL. A alteração de uma chave de partição exclui dados de uma instância do ApsaraDB RDS for MySQL e os insere em outra. Como esses links são executados de forma independente, a ordem das operações DELETE e INSERT pode ser interrompida. Se a chave primária do banco de dados de destino não incluir a chave de partição, uma operação DELETE executada posteriormente poderá excluir incorretamente os dados recém-inseridos. Recomendação: para evitar perda de dados devido a operações fora de ordem, certifique-se de que a chave primária da tabela de destino inclua as colunas da chave de partição da tabela de origem. Se você executar apenas a sincronização completa de dados, não grave novos dados na instância de origem para evitar inconsistências entre a origem e o destino. Para manter a consistência dos dados em tempo real, selecione a sincronização de schema, a sincronização completa de dados e a sincronização incremental de dados. Não execute operações DDL que alterem schemas de bancos de dados ou tabelas durante a sincronização de schema ou completa. Caso contrário, a tarefa de sincronização falhará. Nota Durante a sincronização completa, o DTS consulta o banco de dados de origem. Isso cria bloqueios de metadados que podem impedir operações DDL no banco de dados de origem. A instância de origem do PolarDB-X 1.0 deve ser da versão 5.2 ou posterior.
Outras limitações	O tipo de armazenamento da instância do PolarDB-X 1.0 deve ser o RDS for MySQL, incluindo RDS personalizado privado e RDS adquirido separadamente. O DTS não oferece suporte ao PolarDB for MySQL. As tarefas de sincronização para o PolarDB-X 1.0 são distribuídas. Cada instância anexada do RDS for MySQL corresponde a uma subtarefa de sincronização. Visualize o status da subtarefa na página Task Topology. A sincronização incremental de dados depende de transações XA contínuas na instância de origem do PolarDB-X 1.0 para garantir a consistência dos dados. Se essa continuidade for interrompida, por exemplo, ao modificar objetos de sincronização ou durante a recuperação de desastres do módulo de captura de dados incrementais, transações XA não confirmadas poderão ser perdidas. Avalie o desempenho dos bancos de dados de origem e de destino e sincronize os dados em horários de menor pico. Durante a sincronização completa de dados, o DTS consome recursos de leitura e gravação em ambos os bancos de dados, o que pode aumentar a carga. A sincronização completa de dados executa operações INSERT simultâneas, o que causa fragmentação nas tabelas de destino. Como resultado, as tabelas de destino usam mais espaço de armazenamento que as tabelas de origem após a sincronização completa. Verifique se a precisão de sincronização que o DTS usa para colunas FLOAT ou DOUBLE atende aos seus requisitos de negócios. O DTS lê valores desses tipos de dados usando `ROUND(COLUMN,PRECISION)`. Se você não especificar uma precisão, o DTS usará 38 dígitos para colunas FLOAT e 308 dígitos para colunas DOUBLE. O DTS tenta retomar tarefas de sincronização com falha em até sete dias. Antes de alternar os serviços para a instância de destino, encerre ou libere a tarefa, ou use o comando `revoke` para revogar as permissões de gravação da conta do DTS na instância de destino. Caso contrário, os dados da instância de origem substituirão os dados da instância de destino quando a tarefa for retomada automaticamente. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, a equipe pode reiniciar a tarefa ou ajustar seus parâmetros. Nota Apenas os parâmetros da tarefa do DTS são modificados, e não os parâmetros do banco de dados. Os parâmetros que podem ser ajustados incluem aqueles listados em Modify instance parameters. Se a tabela de destino do PolarDB-X 2.0 tiver o particionamento automático ativado (`auto_partition=true`), cada instrução DDL executada na origem poderá conter apenas um `alter_specification`. Caso contrário, o DTS reportará um erro (`TDDL-4998`: `Multi alter specifications when create GSI not support yet`). Para executar uma instrução DDL que contenha vários itens `alter_specification`, divida cada `alter_specification` em uma instrução DDL separada e execute-os um a um. Para mais informações, consulte ALTER TABLE (DRDS mode) e ALTER TABLE (AUTO mode).

Faturamento

Tipo de sincronização	Preço
Sincronização de schema e sincronização completa de dados	Gratuito.
Sincronização incremental de dados	Cobrado. Para mais informações, consulte Billing overview.

Operações SQL suportadas para sincronização incremental

Tipo de operação	Operações SQL
DML	INSERT, UPDATE, DELETE

Permissões necessárias para contas de banco de dados

Banco de dados	Permissões necessárias	Método para criar uma conta e conceder permissões
Instância de origem do PolarDB-X 1.0	Permissão de leitura nos objetos de sincronização.	Account Management
Instância de destino do PolarDB-X 2.0	Permissões de leitura e gravação no banco de dados de destino que contém os objetos de sincronização.	Manage database accounts

Precauções

Procedimento

Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos seguintes métodos:
Pelo console do DTS
1. Faça login no Data Transmission Service (DTS) console.
2. No painel de navegação à esquerda, clique em Data Synchronization.
3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.
Pelo console do DMS

Nota
As operações reais podem variar com base no modo e no layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.
1. Faça login no Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.
Clique em Create Task para abrir a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Categoria	Configuração	Descrição
Nenhum	Task Name	O DTS gera automaticamente um nome de tarefa. Especifique um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione PolarDB-X 1.0.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde reside a instância de origem do PolarDB-X 1.0.
	Replicate Data Across Alibaba Cloud Accounts	Neste exemplo, os dados são sincronizados entre instâncias na mesma conta Alibaba Cloud. Selecione No.
	Instance ID	Selecione o ID da instância de origem do PolarDB-X 1.0.
	Database Account	Insira a conta do banco de dados da instância de origem do PolarDB-X 1.0.
	Database Password	Insira a senha correspondente à conta do banco de dados.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione PolarDB-X 2.0.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde reside a instância de destino do PolarDB-X 2.0.
	Instance ID	Selecione o ID da instância de destino do PolarDB-X 2.0.
	Database Account	Insira a conta do banco de dados da instância de destino do PolarDB-X 2.0.
	Database Password	Insira a senha correspondente à conta do banco de dados.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Nota
Certifique-se de que os blocos CIDR de endereços IP dos servidores do DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso. Você pode fazer isso automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos a serem sincronizados.

Configuração	Descrição
Synchronization Types	A opção Incremental Data Synchronization está selecionada. Por padrão, você também deve selecionar Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS executa uma sincronização completa de dados dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como dados de linha de base para a sincronização incremental de dados subsequente.
Processing Mode of Conflicting Tables	Precheck and Report Errors: verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir, a pré-verificação é aprovada. Se existir, a pré-verificação falha e a tarefa de sincronização de dados não é iniciada. Nota Se você não puder excluir ou renomear a tabela com o mesmo nome no banco de dados de destino, mapeie-a para um nome diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: ignora a verificação de nomes de tabelas duplicados no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seus negócios em risco. Por exemplo: Se os schemas das tabelas forem iguais e um registro no banco de dados de destino tiver o mesmo valor de chave primária ou exclusiva que um registro no banco de dados de origem: Durante a sincronização completa, o DTS mantém o registro no cluster de destino e não sincroniza o registro correspondente do banco de dados de origem. Durante a sincronização incremental, o registro do banco de dados de origem substitui o registro no banco de dados de destino. Se os schemas das tabelas forem diferentes, a sincronização inicial de dados poderá falhar. Isso pode resultar na sincronização apenas parcial de dados de colunas ou em uma falha completa. Prossiga com cautela.
Capitalization of Object Names in Destination Instance	Configure a política de diferenciação de maiúsculas e minúsculas para nomes de objetos de banco de dados, tabelas e colunas sincronizados com a instância de destino. Por padrão, a DTS default policy está selecionada. Você também pode optar por usar as políticas padrão dos bancos de dados de origem e de destino. Para mais informações, consulte Case sensitivity policy for destination object names.
Source Objects	Na caixa Source Objects, selecione o objeto a ser sincronizado e clique no ícone para movê-lo para a caixa Selected Objects. Nota Recomendamos selecionar tabelas como objetos de sincronização. Se você selecionar um banco de dados inteiro, as alterações para adicionar ou excluir tabelas nesse banco não serão sincronizadas com o banco de dados de destino.
Selected Objects	Para renomear um único objeto de sincronização na instância de destino, clique com o botão direito do mouse no objeto na caixa Selected Objects. Para mais informações sobre como renomear objetos, consulte Map a single database, table, or column. Para alterar em lote os nomes de vários objetos de sincronização na instância de destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações, consulte Map databases, tables, and columns in a batch. Nota Para definir uma cláusula WHERE e filtrar dados, clique com o botão direito do mouse na tabela na caixa Selected Objects e defina a condição de filtro na caixa de diálogo exibida. Para mais informações, consulte Filter task data with an SQL condition. Se você usar o mapeamento de nomes de objetos, a sincronização de outros objetos dependentes do objeto mapeado poderá falhar.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Configuração	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, não sendo necessário selecionar um cluster. Para um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS reportará um erro e tentará reconectar imediatamente. A duração padrão de nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomendamos definir a duração para 30 minutos ou mais. Se o DTS se reconectar com sucesso ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede para 30 minutos na Instância A e 60 minutos na Instância B, a duração mais curta de 30 minutos será usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, personalize a duração da nova tentativa com base nas necessidades do seu negócio ou libere a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução de DDL ou DML), o DTS reportará um erro e iniciará imediatamente operações contínuas de nova tentativa. A duração padrão é de 10 minutos. Você também pode personalizar a duração dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga. Para reduzir essa carga, defina um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization. Você também pode adjust the full synchronization rate após a instância de sincronização entrar em execução.
Enable Throttling for Incremental Data Synchronization	Defina um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Selecione uma tag de ambiente para identificar a instância, se necessário.
Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL?. Valores válidos: Yes: ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: desativa o recurso ETL.
Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, o sistema enviará uma notificação para um contato de alerta. No: nenhum alerta é configurado. Yes: configure alertas definindo um limiar e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

Salve a tarefa e execute uma pré-verificação.
- Para visualizar os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters na dica exibida.
- Após visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de sincronização, o DTS executa uma pré-verificação. A tarefa só pode ser iniciada após a aprovação de todos os itens.
- Se a pré-verificação falhar, clique em View Details no item com falha. Corrija o problema conforme instruído e execute a pré-verificação novamente.
- Se a pré-verificação retornar um aviso:
  
  Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para ignorar o aviso e executar a pré-verificação novamente. Optar por ocultar o item de aviso pode causar problemas como inconsistência de dados e representar riscos para o seu negócio.

Adquira a instância.

Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione o método de faturamento e a especificação do link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

Categoria	Parâmetro	Descrição
New Instance Class	Método de faturamento	Assinatura: você paga ao criar a instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: você é cobrado por hora. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?.
	Especificação do link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Escolha uma especificação com base no seu cenário de negócios. Para mais informações, consulte Data synchronization link specifications.
	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância. Escolha uma assinatura mensal de 1 a 9 meses ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

Visualize o progresso da tarefa na página Data Synchronization.