Synchronize data from PolarDB-X 1.0 to ApsaraDB RDS for MySQL - Data Transmission Service: Central de Documentação do Alibaba Cloud

Este tópico descreve como usar o Data Transmission Service (DTS) para sincronizar dados incrementais em tempo real de uma instância PolarDB-X 1.0 para uma instância ApsaraDB RDS for MySQL.

Pré-requisitos

Crie uma instância PolarDB-X 1.0. Para obter instruções, consulte Crie uma instância do PolarDB-X 1.0 e Crie um banco de dados.

Nota
A instância PolarDB-X 1.0 deve usar o ApsaraDB RDS for MySQL como tipo de armazenamento. Isso inclui instâncias RDS personalizadas e adquiridas separadamente. O PolarDB for MySQL não é compatível.
Certifique-se de que o conjunto de caracteres dos dados a serem sincronizados não seja utf8mb3. Caso contrário, a tarefa de sincronização de dados incrementais falhará.
Crie uma instância de destino ApsaraDB RDS for MySQL. O espaço de armazenamento da instância de destino deve ser maior que o espaço utilizado pela instância de origem PolarDB-X 1.0. Para mais informações, consulte (Descontinuado, redirecionado para "Etapa 1") Crie rapidamente uma instância do ApsaraDB RDS for MySQL.

Observações de uso

Nota

Durante a sincronização de schema, o DTS sincroniza chaves estrangeiras do banco de dados de origem para o banco de dados de destino.
Durante a sincronização completa de dados e a sincronização de dados incrementais, o DTS desativa temporariamente as verificações de restrição e as operações em cascata de chave estrangeira no nível da sessão. Podem ocorrer inconsistências de dados se você executar operações de atualização ou exclusão em cascata no banco de dados de origem enquanto a tarefa estiver em execução.

Categoria	Descrição
Limites do banco de dados de origem	As tabelas a serem sincronizadas devem ter restrições PRIMARY KEY ou UNIQUE (tabelas com apenas restrições UNIQUE não admitem sincronização de schema, portanto, recomendamos o uso de restrições PRIMARY KEY), e os campos devem ser exclusivos. Caso contrário, o banco de dados de destino poderá conter dados duplicados. Não é possível sincronizar tabelas com índices secundários. Ao selecionar tabelas como objetos de sincronização e editá-las (por exemplo, mapeando nomes de tabelas ou colunas), você pode sincronizar até 5.000 tabelas em uma única tarefa. Se executar uma tarefa com mais de 5.000 tabelas, poderá ocorrer um erro de solicitação quando você envie a solicitação novamente. Nesse caso, recomendamos dividir as tabelas e configurar várias tarefas para sincronizá-las em lotes, ou configurar uma única tarefa para sincronizar o banco de dados inteiro. As instâncias RDS for MySQL anexadas à instância devem atender aos seguintes requisitos para logs binários: O recurso de log binário deve estar ativado e o parâmetro binlog_row_image deve estar definido como full. Caso contrário, ocorrerá um erro durante a pré-verificação e não será possível iniciar a tarefa de sincronização de dados. Para uma tarefa de sincronização incremental, o DTS exige que os logs binários do banco de dados de origem sejam mantidos por pelo menos 24 horas. Para uma tarefa que executa sincronização completa e incremental, o DTS exige que os logs binários do banco de dados de origem sejam mantidos por pelo menos sete dias. Você pode definir o período de retenção dos logs binários para mais de 24 horas após a conclusão da sincronização inicial completa de dados. Caso contrário, o DTS poderá não conseguir obter os logs binários e a tarefa falhará. Em circunstâncias excepcionais, os dados podem ficar inconsistentes ou ser perdidos. O Acordo de Nível de Serviço (SLA) do DTS não cobre problemas causados por um período de retenção de logs binários inferior ao necessário. Limites de operações no banco de dados de origem: Se alterar o tipo de rede da instância durante a sincronização de dados, modifique as informações de conectividade de rede do link de sincronização após a alteração. Durante a sincronização de dados, não dimensione a instância de origem (por exemplo, dimensionando a instância RDS for MySQL anexada ou alterando a distribuição de bancos de dados físicos e tabelas correspondentes a bancos de dados e tabelas lógicos na instância RDS for MySQL, mesmo que a instância RDS for MySQL não seja dimensionada). Além disso, não migre tabelas de hot spot, altere chaves de shard ou execute operações DDL. Caso contrário, a tarefa de sincronização de dados falhará ou ocorrerão inconsistências de dados. Não execute operações DDL que alterem schemas de bancos de dados ou tabelas durante a sincronização de schema ou a sincronização completa. Caso contrário, a tarefa de sincronização falhará. Nota Durante a sincronização completa, o DTS consulta o banco de dados de origem. Isso cria bloqueios de metadados que podem impedir operações DDL no banco de dados de origem. O tipo de armazenamento da instância deve ser o RDS for MySQL, incluindo instâncias RDS privadas personalizadas e adquiridas separadamente. Não há suporte para o PolarDB for MySQL como tipo de armazenamento. Os recursos de armazenamento do podem ser divididos apenas por divisão horizontal (sharding). Não há suporte para divisão vertical. Não há suporte para instâncias somente leitura de recursos de computação do . A versão da instância PolarDB-X 1.0 de origem deve ser 5.2 ou posterior.
Outros limites	O DTS não sincroniza índices e partições. O DTS garante a consistência dos dados das tarefas de sincronização incremental com base na continuidade das transações XA na instância PolarDB-X 1.0 de origem. Se a continuidade das transações XA for interrompida (por exemplo, quando você modifica os objetos de sincronização ou em cenários de recuperação de desastres para o módulo de coleta de dados incrementais), poderá haver perda de transações XA não confirmadas. Uma tarefa de sincronização de dados para uma instância é uma tarefa distribuída. O DTS cria uma subtarefa para cada instância RDS for MySQL anexada. Visualize o status de execução das subtarefas na Task Topology. Se seus dados incluírem caracteres de quatro bytes — como caracteres chineses raros ou emojis — o banco de dados e as tabelas de destino devem usar o conjunto de caracteres utf8mb4. Nota Se você usar o DTS para sincronizar schemas de tabelas, defina o parâmetro `character_set_server` no nível da instância no banco de dados de destino como utf8mb4. Antes de sincronizar os dados, avalie o desempenho dos bancos de dados de origem e de destino. Recomendamos que você sincronize os dados fora dos horários de pico. Caso contrário, a sincronização inicial completa de dados pode consumir recursos de leitura e gravação dos bancos de dados de origem e de destino e aumentar a carga dos bancos de dados. Durante a sincronização inicial completa de dados, as operações INSERT simultâneas causam fragmentação nas tabelas do banco de dados de destino. Portanto, após a conclusão da sincronização inicial completa de dados, o tablespace da instância de destino será maior que o da instância de origem. Não use ferramentas como pt-online-schema-change para executar operações DDL online nos objetos de sincronização no banco de dados de origem. Caso contrário, a sincronização falhará. Durante a sincronização de dados, não grave dados no banco de dados de destino usando outras ferramentas. Caso contrário, ocorrerão inconsistências de dados entre os bancos de dados de origem e de destino. Por exemplo, se você usar o DMS para executar operações DDL online enquanto os dados são gravados no banco de dados de destino usando outras ferramentas, poderá haver perda de dados no banco de dados de destino. Se você gravar colunas cujos nomes diferem apenas em maiúsculas e minúsculas na mesma tabela no banco de dados MySQL de destino, poderão ocorrer resultados inesperados porque os nomes das colunas do MySQL não diferenciam maiúsculas de minúsculas. Após a conclusão da sincronização de dados (quando o Status da instância for Completed), use o comando `ANALYZE TABLE <table_name>` e confirme se todos os dados foram gravados na tabela de destino. Por exemplo, após o acionamento do mecanismo de failover de HA no banco de dados MySQL de destino, os dados podem ser gravados apenas na memória, o que pode causar perda de dados. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, a equipe pode reiniciar a tarefa ou ajustar seus parâmetros. Nota O sistema modifica apenas os parâmetros da tarefa do DTS, e não os parâmetros do banco de dados. Os parâmetros que podem ser ajustados incluem aqueles listados em Modifique os parâmetros da instância.

Faturamento

Tipo de sincronização	Taxa
Sincronização completa de dados	Gratuita
Sincronização de dados incrementais	Cobrada. Consulte Billing overview.

Topologias de sincronização suportadas

Sincronização unidirecional um para um
Sincronização unidirecional um para muitos
Sincronização unidirecional em cascata
Sincronização unidirecional muitos para um

Para mais informações sobre as topologias de sincronização suportadas e suas observações de uso, consulte Synchronization topologies.

Operações SQL suportadas

Tipo de operação	Instruções SQL
DML	INSERT, atualize, exclua

Permissões necessárias para contas de banco de dados

Banco de dados	Permissões necessárias	Configuração da conta
Instância de origem PolarDB-X 1.0	Permissões de leitura nos objetos a serem sincronizados.	Gerencie contas
Instância de destino ApsaraDB RDS for MySQL	Permissões de leitura e gravação no banco de dados de destino para o qual os objetos são sincronizados.	Crie uma conta e Modifique as permissões da conta.

Procedimento

Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos dois métodos a seguir:
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Synchronization.
3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.
Pelo console do DMS

Nota
As operações podem variar com base no modo e no layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.
1. Faça login no Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.
Clique em Create Task para abrir a página de configuração da tarefa.
Opcional: No canto superior direito da página, clique em New Configuration Page.
Nota
- Se o botão no canto superior direito for Back to Previous Version, pule esta etapa.
- As páginas de configuração nova e antiga possuem parâmetros diferentes. Recomendamos usar a nova página de configuração.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e de destino, revise os Limits na parte superior da página para garantir que a tarefa possa ser criada e executada com sucesso.

Categoria	Parâmetro	Descrição
N/D	Task Name	O DTS gera automaticamente um nome de tarefa. Recomendamos que especifique um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
Source Database	Database Type	Selecione PolarDB-X 1.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde a instância de origem PolarDB-X 1.0 está localizada.
	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta Alibaba Cloud atual. Selecione No.
	Instance ID	Selecione o ID da instância de origem PolarDB-X 1.0.
	Database Account	Insira a conta do banco de dados da instância de origem PolarDB-X 1.0. Para informações sobre as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.
Destination Database	Database Type	Selecione MySQL.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde a instância de destino ApsaraDB RDS for MySQL está localizada.
	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta Alibaba Cloud atual. Selecione No.
	RDS instance ID	Selecione o ID da instância de destino ApsaraDB RDS for MySQL.
	Database Account	Insira a conta do banco de dados da instância de destino ApsaraDB RDS for MySQL. Para informações sobre as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.
	Connection Method	Selecione Non-encrypted ou SSL-encrypted conforme a necessidade. Se selecionar SSL-encrypted, ative a criptografia SSL para a instância RDS for MySQL com antecedência. Para mais informações, consulte Use a cloud certificate to quickly enable SSL encryption.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.
Nota
- Certifique-se de adicionar os blocos CIDR de endereços IP dos servidores DTS às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores DTS. Você pode fazer isso automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.
- Se o banco de dados de origem ou de destino for um banco de dados autogerenciado (onde o Access Method não é Alibaba Cloud Instance), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos a serem sincronizados.

Parâmetro	Descrição
Synchronization Types	Incremental Data Synchronization está selecionado. Por padrão, selecione também Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS executa uma sincronização completa dos dados dos objetos selecionados da instância de origem para o cluster de destino. Esses dados servem como linha de base para a sincronização subsequente de dados incrementais.
Processing Mode of Conflicting Tables	Precheck and Report Errors: O DTS verifica se há tabelas com o mesmo nome no banco de dados de destino. Se existir um conflito, o DTS relata um erro durante a pré-verificação e não inicia a tarefa. Nota Se não for prático excluir ou renomear a tabela em conflito, mapeie a tabela para um nome diferente. Para mais informações, consulte Map object names. Ignore Errors and Proceed: Ignora a verificação de tabelas com o mesmo nome no banco de dados de destino. Aviso Se selecionar Ignore Errors and Proceed, poderão ocorrer inconsistências de dados. Por exemplo: Se os schemas das tabelas forem consistentes, os registros de destino com a mesma chave primária ou exclusiva que os registros de origem serão sobrescritos. Se os schemas das tabelas forem inconsistentes, a tarefa poderá falhar ou sincronizar apenas parcialmente os dados. Prossiga com cautela.
Capitalization of Object Names in Destination Instance	Configure a política de diferenciação de maiúsculas e minúsculas para nomes de objetos de banco de dados, tabelas e colunas sincronizados com a instância de destino. Por padrão, a DTS default policy está selecionada. Você também pode optar por usar as políticas padrão dos bancos de dados de origem e de destino. Para mais informações, consulte Case sensitivity policy for destination object names.
Source Objects	Na caixa Source Objects, clique em um objeto a ser sincronizado e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Recomendamos selecionar tabelas como objetos de sincronização. Se selecionar um banco de dados inteiro, as alterações para adicionar ou excluir tabelas nesse banco de dados não serão sincronizadas com o banco de dados de destino.
Selected Objects	Para renomear um objeto na instância de destino, clique com o botão direito no objeto de sincronização na caixa Selected Objects. Para instruções de configuração, consulte Map a single schema, table, or column name. Para renomear vários objetos na instância de destino de uma só vez, clique em Selected Objects no canto superior direito da caixa Batch Edit. Para instruções de configuração, consulte Map schema, table, and column names in batches. Nota Para selecionar operações SQL a serem sincronizadas no nível do banco de dados ou da tabela, clique com o botão direito no objeto de sincronização na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida. Para obter uma lista de operações suportadas, consulte Supported SQL operations. Para definir uma condição WHERE para filtrar dados, clique com o botão direito na tabela a ser sincronizada na caixa Selected Objects e defina a condição de filtro na caixa de diálogo exibida. Para mais informações, consulte Defina as condições de filtro.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado e você não precisa selecionar um cluster. Para um desempenho mais estável, você pode adquirir um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e tentará reconectar imediatamente. A duração padrão da nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomendamos definir a duração como 30 minutos ou mais. Se o DTS conseguir reconectar ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Se tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede para 30 minutos para a Instância A e 60 minutos para a Instância B, a duração mais curta de 30 minutos prevalecerá para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas suas necessidades de negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução DDL ou DML), o DTS relatará um erro e iniciará imediatamente novas tentativas contínuas. A duração padrão da nova tentativa é de 10 minutos. Você também pode personalizar a duração da nova tentativa dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir um valor de 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de nova tentativa definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Durante a etapa de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga nos bancos de dados de origem e de destino, defina um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization. Também é possível adjust the full synchronization rate após a instância de sincronização estar em execução.
Enable Throttling for Incremental Data Synchronization	Também é possível definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Este exemplo não requer seleção.
Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL?. Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, o sistema enviará uma notificação para um contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

salve a tarefa e execute uma pré-verificação.
- Visualize os parâmetros da API de configuração desta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão.
- Após visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de sincronização, o DTS executa uma pré-verificação. A tarefa só será iniciada após a aprovação de todos os itens de pré-verificação.
- Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme as instruções e execute a pré-verificação novamente.
- Se a pré-verificação retornar um aviso:
  
  Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para pular o aviso e executar a pré-verificação novamente. Se optar por ocultar o item de aviso, isso poderá causar problemas como inconsistência de dados e representar riscos para o seu negócio.

Adquira a instância.

Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

Categoria	Parâmetro	Descrição
New Instance Class	Método de faturamento	Assinatura: Você paga ao criar a instância. Isso é adequado para necessidades de longo prazo e é mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: A cobrança é feita por hora. Isso é adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. Por padrão, o grupo de recursos padrão é selecionado. Para mais informações, consulte What is Resource Management?.
	Especificação do link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Escolha uma especificação com base no seu cenário de negócio. Para mais informações, consulte Data synchronization link specifications.
	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. É possível escolher uma assinatura mensal de 1 a 9 meses, ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

Você pode visualizar o progresso da tarefa na página Data Synchronization.