Sincronização de dados entre instâncias PolarDB-X 1.0 - Data Transmission Service: Central de Documentação do Alibaba Cloud

PolarDB-X 1.0

Pré-requisitos

As instâncias PolarDB-X 1.0 de origem e de destino já foram criadas. Crie também os bancos de dados e as tabelas correspondentes na instância PolarDB-X 1.0 de destino, seguindo a estrutura de dados dos objetos a sincronizar da instância PolarDB-X 1.0 de origem. Para mais informações, consulte Create a PolarDB-X 1.0 instance e Create a database.

Nota
O tipo de armazenamento da instância PolarDB-X 1.0 deve ser RDS for MySQL, incluindo instâncias RDS personalizadas e adquiridas separadamente. O PolarDB for MySQL não é compatível.
A instância de destino deve ter mais espaço de armazenamento que a instância de origem.

Observações de uso

Importante

Não há suporte para sincronização bidirecional entre instâncias PolarDB-X 1.0.

Tipo	Descrição
Limitações do banco de dados de origem	As tabelas a sincronizar devem ter chave primária ou restrição UNIQUE para garantir unicidade das linhas e evitar duplicidade no destino. Se a tabela tiver apenas restrição UNIQUE, não haverá suporte para sincronização de esquema nessa tabela. Recomendamos o uso de chave primária. Não há suporte para sincronização de tabelas com índices secundários. Ao sincronizar dados no nível de tabela e executar operações de edição, como mapeamento de nomes de colunas, uma única tarefa suporta no máximo 5.000 tabelas. Se exceder esse limite, divida as tabelas em várias tarefas ou sincronize o banco de dados inteiro. Caso contrário, pode ocorrer erro ao enviar a tarefa. Os binary logs das instâncias ApsaraDB RDS for MySQL associadas à instância PolarDB-X 1.0 de origem devem atender aos seguintes requisitos: O recurso de binary logging deve estar ativado e o parâmetro `binlog_row_image` definido como `full`. Caso contrário, a pré-verificação falhará e a tarefa não iniciará. Para sincronização incremental, mantenha os binary logs da origem por pelo menos 24 horas. Para tarefas com sincronização completa e incremental, retenha-os por no mínimo 7 dias. Após concluir a sincronização completa, reduza a retenção para 24 horas. Se o DTS não conseguir obter os binary logs devido à retenção insuficiente, a tarefa poderá falhar. Em casos extremos, pode haver inconsistência ou perda de dados. Problemas causados por retenção inferior à exigida pelo DTS não são cobertos pelo SLA do serviço. Limitações sobre operações no banco de dados de origem: Se alterar o tipo de rede da instância PolarDB-X 1.0 durante a sincronização, atualize as informações de conexão do link. Durante a sincronização, não execute operações na instância de origem como dimensionamento (por exemplo, redimensionar a instância ApsaraDB RDS for MySQL associada ou alterar a distribuição de tabelas físicas correspondentes a tabelas lógicas no ApsaraDB RDS for MySQL, mesmo sem redimensionamento), migração de hot tables, alteração da shard key ou modificações DDL. Caso contrário, a tarefa falhará ou ocorrerão inconsistências. Se alterar a chave de partição de uma tabela de origem e a chave primária da tabela de destino correspondente não incluir essa chave, poderá haver perda de dados no destino. Motivo: Uma instância PolarDB-X 1.0 possui várias instâncias ApsaraDB RDS for MySQL associadas. O DTS mantém links independentes para cada instância ApsaraDB RDS for MySQL. Alterar a chave de partição faz com que dados sejam excluídos de uma instância ApsaraDB RDS for MySQL e inseridos em outra. Como esses links executam independentemente, a ordem das operações DELETE e INSERT pode ser interrompida. Se a chave primária do destino não incluir a chave de partição, um DELETE posterior poderá excluir incorretamente dados recém-inseridos. Recomendação: Para evitar perda de dados por operações fora de ordem, garanta que a chave primária da tabela de destino inclua as colunas da chave de partição da origem. Não execute operações DDL durante a sincronização completa, pois isso causa falha na tarefa. Durante a fase completa, o DTS consulta a origem e pode gerar bloqueios de metadados, impedindo operações DDL. A instância PolarDB-X 1.0 de origem deve estar na versão 5,2 ou posterior. Durante a execução da tarefa, não há suporte para alterar o tipo de broadcast table na instância PolarDB-X 1.0 de origem (por exemplo, mudar de broadcast table para tabela comum ou sharded table). Para alterar o tipo, pare a tarefa primeiro e reconfigure-a após a conclusão da mudança.
Outras limitações	A sincronização incremental depende de transações XA contínuas na instância PolarDB-X 1.0 de origem para garantir consistência. Se essa continuidade for interrompida, por exemplo, ao modificar objetos ou durante recuperação de desastres do módulo de captura, transações XA não confirmadas poderão ser perdidas. O armazenamento do PolarDB-X 1.0 deve ser ApsaraDB RDS for MySQL, incluindo instâncias personalizadas e adquiridas separadamente. O PolarDB for MySQL não é compatível. Não há suporte para instâncias somente leitura do PolarDB-X 1.0. Os recursos de armazenamento do PolarDB-X 1.0 devem ter divisão horizontal. Não há suporte para divisão vertical. A sincronização a partir de uma instância PolarDB-X 1.0 é um processo distribuído. O DTS cria uma subtarefa para cada instância ApsaraDB RDS for MySQL associada. Visualize o status na página Task Topology. Execute a sincronização fora dos horários de pico. A sincronização completa consome recursos de leitura e gravação na origem e no destino, aumentando a carga. A sincronização completa executa operações INSERT simultâneas, o que pode fragmentar tabelas no destino. Consequentemente, o tablespace de destino fica maior que o da origem após a sincronização completa. Não use ferramentas como pt-online-schema-change para alterações DDL online nos objetos da origem. Caso contrário, a tarefa falhará. Durante a sincronização, não grave dados no destino usando ferramentas externas ao DTS. Caso contrário, podem ocorrer inconsistências. Por exemplo, usar o DMS para alteração DDL online enquanto outros dados são gravados no destino pode causar perda de dados. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, podem reiniciar a tarefa ou ajustar parâmetros. Nota Apenas parâmetros da tarefa DTS são modificados, não os do banco de dados. Os parâmetros ajustáveis incluem os listados em Modify instance parameters.

Faturamento

Tipo de sincronização	Taxa de configuração do link
Sincronização completa	Gratuita.
Sincronização incremental	Paga. Para mais informações, consulte Billing overview.

Topologias de sincronização compatíveis

Sincronização unidirecional um para um
Sincronização unidirecional um para muitos
Sincronização em cascata unidirecional
Sincronização unidirecional muitos para um

Para mais informações sobre topologias e observações de uso, consulte Synchronization topologies.

Operações SQL compatíveis

Tipo de operação	Instrução SQL
DML	INSERT, UPDATE e DELETE

Permissões necessárias para contas de banco de dados

Banco de dados	Permissões necessárias	Método de autorização
Instância PolarDB-X 1.0 de origem	Permissões de leitura nos objetos a sincronizar.	Gerenciar contas
Instância PolarDB-X 1.0 de destino	Permissões de leitura e gravação no banco de dados de destino.	Gerenciar contas

Procedimento

Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos métodos abaixo:
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Synchronization.
3. No canto superior esquerdo da página, selecione a região da instância de sincronização.
Pelo console do DMS

Nota
As operações podem variar conforme o modo e o layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.
1. Faça login no Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À direita de Data Synchronization Tasks, selecione a região da instância de sincronização.
Clique em Create Task para abrir a página de configuração.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e de destino, leia atentamente as limitações no topo da página. Descumpri-las pode causar falha na tarefa ou inconsistência de dados.

Categoria	Parâmetro	Descrição
N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database	Database Type	Selecione PolarDB-X 1.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância PolarDB-X 1.0 de origem.
	Instance ID	Selecione o ID da instância PolarDB-X 1.0 de origem.
	Database Account	Insira a conta do banco de dados da instância PolarDB-X 1.0 de origem. Para mais informações sobre permissões, consulte Permissions required for database accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.
Destination Database	Database Type	Selecione PolarDB-X 1.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância PolarDB-X 1.0 de destino.
	Instance ID	Selecione o ID da instância PolarDB-X 1.0 de destino.
	Database Account	Insira a conta do banco de dados da instância PolarDB-X 1.0 de destino. Para mais informações sobre permissões, consulte Permissions required for database accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Nota
Certifique-se de adicionar os blocos CIDR de endereços IP dos servidores DTS às configurações de segurança da origem e do destino para permitir o acesso. Isso pode ser feito automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos a sincronizar.

Parâmetro	Descrição
Synchronization Types	Incremental Data Synchronization vem selecionado por padrão. Selecione também Full Data Synchronization. Não há suporte para Schema Synchronization. Após a pré-verificação, o DTS sincroniza os dados dos objetos selecionados da origem para o cluster de destino. Esses dados servem como base para a sincronização incremental subsequente.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors: Verifica se existe tabela homônima no destino. Se não houver, a pré-verificação é aprovada. Se houver, a pré-verificação falha e a tarefa não inicia. Nota Caso não seja possível excluir ou renomear a tabela homônima no destino, mapeie-a para um nome diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de tabelas duplicadas no destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e riscos ao negócio. Por exemplo: Se os esquemas forem idênticos e um registro no destino tiver a mesma chave primária ou única que um registro na origem: Na sincronização completa, o DTS mantém o registro no cluster de destino. O registro correspondente da origem não é sincronizado. Na sincronização incremental, o registro da origem sobrescreve o registro no destino. Se os esquemas forem diferentes, a sincronização inicial pode falhar. Isso pode resultar em sincronização parcial ou falha total. Prossiga com cautela.
Case Sensitivity Policy for Destination Object Names	Configure a política de diferenciação de maiúsculas e minúsculas para nomes de bancos de dados, tabelas e colunas no destino. Por padrão, a DTS default policy vem selecionada. Também é possível usar as políticas padrão da origem e do destino. Para mais informações, consulte Case sensitivity policy for destination object names.
Source Objects	Na caixa Source Objects, clique em um objeto a sincronizar e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Recomendamos selecionar tabelas como objetos de sincronização. Se selecionar o banco de dados inteiro, alterações de adição ou exclusão de tabelas nesse banco não serão sincronizadas com o destino.
Selected Objects	Para renomear um único objeto no destino, clique com o botão direito nele na caixa Selected Objects. Para mais informações, consulte Map a single database, table, or column. Para alterar em lote os nomes de vários objetos no destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações, consulte Map databases, tables, and columns in a batch. Nota Para selecionar operações SQL específicas a sincronizar, clique com o botão direito no objeto na caixa Selected Objects e selecione as operações desejadas. Para filtrar dados com cláusula WHERE, clique com o botão direito na tabela a sincronizar na caixa Selected Objects e especifique a condição. Para mais informações, consulte Set filter conditions.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em cluster compartilhado, sem necessidade de seleção. Para desempenho mais estável, adquira um cluster dedicado para tarefas de sincronização. Para mais informações, consulte What is a DTS dedicated cluster?.
Retry Time for Failed Connections	Se a conexão com a origem ou o destino falhar após o início da tarefa, o DTS reportará erro e iniciará novas tentativas imediatamente. A duração padrão é de 720 minutos. Especifique uma duração personalizada entre 10 e 1.440 minutos. Recomendamos definir 30 minutos ou mais. Se o DTS reconectar dentro do período, a tarefa retomará automaticamente. Caso contrário, falhará. Nota Se houver múltiplas instâncias DTS (ex.: Instância A e B) compartilhando a mesma origem ou destino, e o tempo de nova tentativa for 30 minutos para A e 60 minutos para B, a menor duração (30 minutos) será usada para ambas. Como o DTS cobra pelo tempo de execução durante as novas tentativas, recomendamos personalizar a duração conforme a necessidade ou liberar a instância DTS assim que possível após liberar as instâncias de banco de dados.
Retry Time for Other Issues	Se ocorrerem problemas não relacionados à conectividade (como exceções DDL/DML) após o início da tarefa, o DTS reportará erro e iniciará novas tentativas contínuas. A duração padrão é de 10 minutos. Personalize entre 1 e 1.440 minutos. Recomendamos definir 10 minutos ou mais. Se as operações forem bem-sucedidas dentro do período, a tarefa retomará automaticamente. Caso contrário, falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Na etapa de sincronização completa, o DTS consome recursos de leitura e gravação da origem e do destino, aumentando a carga. Para reduzir a carga, defina um limite de taxa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Esta opção está disponível apenas quando Synchronization Types estiver definido como Full Data Synchronization. Também é possível adjust the full synchronization rate com a instância em execução.
Enable Throttling for Incremental Data Synchronization	Defina também um limite de taxa para a sincronização incremental. Para aliviar a pressão no destino, configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Não obrigatório neste exemplo.
Configure ETL	Escolha ativar ou não o recurso ETL (extração, transformação e carregamento). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o ETL. Insira instruções de processamento no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o ETL.
Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar, uma notificação será enviada ao contato de alerta. No: Nenhum alerta configurado. Yes: Configure alertas definindo um limiar e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

Salve a tarefa e execute a pré-verificação.
- Para visualizar os parâmetros da API desta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão.
- Após visualizar os parâmetros, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes de iniciar, o DTS executa uma pré-verificação. A tarefa só começa após a aprovação de todos os itens.
- Se a pré-verificação falhar, clique em View Details no item com falha. Corrija o problema conforme indicado e execute novamente.
- Se a pré-verificação retornar aviso:
  
  Se um item falhar e não puder ser ignorado, clique em View Details ao lado dele. Siga as instruções para corrigir e execute novamente.
  
  Para itens ignoráveis, clique sequencialmente em Confirm Alert Details, Ignore, OK e Precheck Again para pular o aviso e reexecutar. Ignorar avisos pode causar inconsistência de dados e riscos ao negócio.

Adquira a instância.

Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione o método de faturamento e a especificação do link. A tabela a seguir detalha esses parâmetros.

Categoria	Parâmetro	Descrição
New Instance Class	Método de faturamento	Assinatura: Pagamento antecipado na criação. Adequado para longo prazo e mais econômico que o pagamento conforme o uso. Maior duração garante maior desconto. Pagamento conforme o uso: Cobrança horária. Ideal para curto prazo. Libere a instância após o uso para economizar.
	Configuração do grupo de recursos	Grupo de recursos da instância. O padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?.
	Especificação do link	O DTS oferece especificações com diferentes níveis de desempenho que afetam a taxa de sincronização. Escolha conforme seu cenário. Para mais informações, consulte Data synchronization link specifications.
	Duração da assinatura	No modo Assinatura, selecione a duração e a quantidade. Opções mensais de 1 a 9 meses ou anuais de 1, 2, 3 ou 5 anos. Nota Disponível apenas quando o método de faturamento for Subscription.

Após configurar, leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

Visualize o progresso na página Data Synchronization.