Migrate data from PolarDB-X 1.0 to DataHub using DTS - Data Transmission Service: Central de Documentação do Alibaba Cloud

Use o Data Transmission Service (DTS) para migrar dados de uma instância do PolarDB-X 1.0 para um projeto do DataHub.

Pré-requisitos

Crie uma instância de origem do PolarDB-X 1.0. Para mais informações, consulte Create a PolarDB-X 1.0 instance.

Nota
A instância PolarDB-X 1.0 deve usar o ApsaraDB RDS for MySQL como tipo de armazenamento. Isso inclui tanto instâncias RDS personalizadas quanto aquelas adquiridas separadamente. O PolarDB for MySQL não é suportado.
Ative o DataHub e crie um projeto para receber os dados migrados. Para mais informações, consulte Quick start (synchronization example) e Manage projects.

Limitações

Tipo	Descrição
Limitações do banco de dados de origem	Se você migrar objetos no nível de tabela e precisar editá-los (por exemplo, mapeando nomes de colunas), uma única tarefa de migração de dados suportará no máximo 1.000 tabelas. Exceder esse limite causará falha no envio da tarefa. Nesse caso, divida as tabelas em várias tarefas de migração de dados ou configure uma tarefa para migrar todo o banco de dados. Para migração incremental, aplicam-se os seguintes requisitos de binary log: O binary log deve estar habilitado e o parâmetro `binlog_row_image` definido como `full`. Caso contrário, a pré-verificação falhará e a tarefa de migração de dados não poderá ser iniciada. Se sua tarefa incluir migração incremental, o DTS exigirá que o banco de dados de origem retenha seu binary log local por pelo menos 24 horas. Recomendamos um período de retenção de 7 dias. Se o período de retenção for insuficiente, o DTS poderá falhar ao obter o binary log. Isso pode causar falha na tarefa e, em casos extremos, levar à inconsistência ou perda de dados. O SLA não cobre problemas causados por um período de retenção de binary log inferior ao necessário. O DTS não suporta migração de dados a partir de instâncias somente leitura do PolarDB-X 1.0. Restrições operacionais no banco de dados de origem: Durante a migração de dados, não execute operações como scale up ou down, migração de tabelas hotspot, alteração de chaves de sharding ou execução de mudanças DDL; tais ações causarão falha na migração de dados. Nota Durante a fase de migração completa de dados, o DTS consulta o banco de dados de origem; isso gera bloqueios de metadados que podem dificultar a execução de operações DDL no banco de dados de origem. Durante a migração completa e incremental, o DTS desativa temporariamente as verificações de restrições e as operações em cascata de chave estrangeira no nível da sessão. Se ocorrerem atualizações ou exclusões em cascata no banco de dados de origem enquanto a tarefa estiver em execução, poderá haver inconsistência de dados. Se você executar apenas uma migração completa de dados, não grave novos dados no banco de dados de origem. Caso contrário, ocorrerá inconsistência de dados entre os bancos de dados de origem e de destino. Para manter a consistência dos dados em tempo real, selecione migração de schema, migração completa de dados e migração incremental de dados. A instância de origem do PolarDB-X 1.0 deve ser da versão 5,2 ou posterior. Enquanto uma tarefa de migração do DTS estiver em execução, as tabelas broadcast na instância de origem do PolarDB-X 1.0 não suportam alterações de tipo durante o processo (por exemplo, converter uma tabela broadcast em uma tabela única ou shardada). Se precisar alterar o tipo de tabela, pare primeiro a tarefa de migração e reconfigure-a após concluir a mudança.
Outras limitações	Há suporte para migração de schema, migração completa e migração incremental. O comprimento máximo para um único campo String no DataHub de destino é de 2 MB. O DTS depende da continuidade das transações XA na instância de origem do PolarDB-X 1.0 para garantir a consistência dos dados nas tarefas de migração incremental. Se essa continuidade for interrompida — por exemplo, durante um failover do módulo de captura de dados incrementais — transações XA não confirmadas poderão ser perdidas. Antes de migrar os dados, avalie o desempenho dos bancos de dados de origem e de destino. Recomendamos também realizar a migração fora do horário de pico. Caso contrário, a carga do banco de dados poderá aumentar. O DTS tenta retomar uma tarefa com falha dentro de sete dias. Portanto, antes do cutover para a instância de destino, encerre ou libere a tarefa. Alternativamente, revogue as permissões de gravação da conta usada pelo DTS para acessar a instância de destino usando o comando `revoke`. Isso impede que os dados de origem sobrescrevam dados na instância de destino caso a tarefa seja retomada automaticamente. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, eles poderão reiniciar a tarefa ou ajustar seus parâmetros. Nota Apenas os parâmetros da tarefa DTS são modificados, não os do banco de dados. Os parâmetros passíveis de ajuste incluem aqueles listados em Modify instance parameters.
Considerações adicionais	Periodicamente, o DTS atualiza a tabela `dts_health_check`.`ha_health_check` no banco de dados de origem para avançar a posição do binlog.

Faturamento

Tipo de migração	Taxa de configuração da instância	Taxa de tráfego pela internet
Migração de schema	Gratuito.	Gratuito.
Migração incremental	Taxas aplicáveis. Para mais informações, consulte Billing overview.	Gratuito.

Tipos de migração

Schema Migration

O DTS migra as definições de schema dos objetos do banco de dados de origem para o banco de dados de destino.
Incremental Migration

O DTS migra alterações incrementais de dados da origem para o banco de dados de destino, permitindo uma migração contínua sem tempo de inatividade.

Operações SQL suportadas

Tipo de operação	Instruções SQL
DML	INSERT, UPDATE, DELETE

Permissões de conta

Banco de dados	Schema migration	Incremental migration
Instância PolarDB-X 1.0	Permissão SELECT	Permissões de leitura e gravação para os objetos de migração. Nota Para informações sobre como conceder permissões, consulte Manage accounts.

Mapeamentos de tipos de dados

Para mais informações, consulte Data type mappings for schema migration.

Procedimento

Acesse a página da lista de tarefas de migração da região de destino usando um dos métodos abaixo.
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Migration.
3. No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
Pelo console do DMS

Nota
As operações reais podem variar conforme o modo e o layout do console do DMS. Para mais informações, consulte Simple mode console e Customize the layout and style of the DMS console.
1. Faça login no console do Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.
3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acessar a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e de destino, leia os Limits no topo da página para garantir a execução bem-sucedida da tarefa de migração.

Categoria	Configuração	Descrição
Configurações básicas	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro chama-se Select a DMS database instance.. Caso não tenha registrado a instância no sistema ou não precise usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione PolarDB-X 1.0.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde a instância de origem do PolarDB-X 1.0 está localizada.
	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa migração na mesma conta. Selecione No.
	Instance ID	Selecione o ID da instância de origem do PolarDB-X 1.0.
	Database Account	Insira a conta do banco de dados para a instância de origem do PolarDB-X 1.0. Para requisitos de permissão, consulte Account permissions.
	Database Password	Insira a senha da conta do banco de dados.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro chama-se Select a DMS database instance.. Caso não tenha registrado a instância no sistema ou não precise usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione DataHub.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde o projeto de destino do DataHub está localizado.
	Project	Selecione o ID do projeto de destino do DataHub.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Nota
Certifique-se de que os segmentos de IP do service DTS foram adicionados automática ou manualmente às configurações de segurança dos bancos de dados de origem e de destino para permitir acesso dos servidores DTS. Para mais informações, consulte Add DTS server IP addresses to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos que deseja migrar.

Configuração	Descrição
Migration Types	Ao migrar dados do PolarDB-X 1.0 para o DataHub, apenas Schema Migration e Incremental Data Migration são suportados. Selecione os tipos de migração conforme necessário. Nota Se você selecionar Schema Migration, as chaves estrangeiras do banco de dados de origem também serão migradas. Para garantir a consistência dos dados, não grave novos dados na instância de origem durante a migração se não selecionar Incremental Data Migration.
Processing Mode for Existing Destination Tables	Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se tal tabela não existir, a pré-verificação será aprovada. Se existir, a pré-verificação reportará um erro e a tarefa de migração não será iniciada. Nota Se não for fácil excluir ou renomear a tabela no banco de dados de destino, altere seu nome nesse banco. Para mais informações, consulte Schema, table, and column name mapping. Ignore Errors and Proceed: Ignora a verificação de tabelas com o mesmo nome no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e riscos ao negócio, como: Se as estruturas das tabelas forem idênticas e os registros compartilharem uma chave primária: Durante a migração incremental, o Data Transmission Service (DTS) sobrescreve o registro no banco de dados de destino com o registro do banco de dados de origem. Se as estruturas das tabelas forem diferentes, apenas algumas colunas de dados poderão ser migradas ou a migração poderá falhar. Prossiga com cautela.
Naming Rules of Additional Columns	O DTS adiciona colunas adicionais às tabelas de destino ao migrar para o DataHub. Se esses nomes de coluna entrarem em conflito com colunas existentes, a migração falhará. Selecione New Rule ou Previous Rule conforme necessário. Aviso Antes de escolher uma regra, avalie se podem ocorrer conflitos de nome entre as colunas adicionais e as existentes. Para detalhes sobre regras e definições, consulte Additional column names and definitions.
Capitalization of Object Names in Destination Instance	Configure a política de capitalização para nomes de bancos de dados, tabelas e colunas na instância de destino. A política do DTS é usada por padrão. Você também pode corresponder à política padrão do banco de dados de origem ou de destino. Para mais informações, consulte Capitalization of object names in the destination instance.
Source Objects	Na caixa Source Objects, clique nos objetos a serem migrados e depois clique em para movê-los à caixa Selected Objects. Nota Selecione objetos para migrar no nível de tabela. Se você selecionar um banco de dados inteiro, quaisquer alterações para adicionar ou excluir tabelas nesse banco de dados não serão migradas para o destino.
Selected Objects	Para alterar o nome de um único objeto de migração na instância de destino, clique com o botão direito no objeto na caixa Selected Objects. Para mais informações, consulte Map individual schema, table, and column names. Para alterar os nomes de múltiplos objetos de migração na instância de destino, clique em Selected Objects no canto superior direito da caixa Batch Edit. Para mais informações, consulte Map multiple schema, table, and column names. Nota Usar o recurso de mapeamento de nomes de objetos pode causar falha na migração de objetos dependentes. Para filtrar dados usando uma cláusula WHERE, clique com o botão direito em uma tabela na caixa Selected Objects e especifique a condição de filtro na caixa de diálogo exibida. Para mais informações, consulte Set filter conditions. Para selecionar operações SQL a serem migradas no nível de banco de dados ou tabela, clique com o botão direito em um objeto na caixa Selected Objects e escolha as operações desejadas.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Configuração	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado. Não é necessário selecionar um. Se desejar tarefas mais estáveis, adquira um dedicated cluster para executar tarefas de migração do DTS.
Retry Time for Failed Connections	Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou de destino falhar, o DTS reportará um erro e começará imediatamente a tentar reconectar. A duração padrão de tentativa é de 720 minutos. Você pode personalizar o tempo de tentativa para um valor entre 10 e 1440 minutos. Recomendamos definir a duração para mais de 30 minutos. Se o DTS reconectar aos bancos de dados de origem e de destino dentro da duração especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Para múltiplas instâncias DTS que compartilham a mesma origem ou destino, o tempo de tentativa de rede é determinado pela configuração da última tarefa criada. Como há cobrança pela tarefa durante o período de tentativa de conexão, recomendamos personalizar o tempo de tentativa conforme suas necessidades de negócio ou liberar a instância DTS assim que as instâncias de banco de dados de origem e de destino forem liberadas.
Retry Time for Other Issues	Após o início da tarefa de migração, se ocorrer um problema não relacionado à conexão (como uma exceção de execução DDL ou DML) no banco de dados de origem ou de destino, o DTS reportará um erro e começará imediatamente a tentar repetir a operação. A duração padrão de tentativa é de 10 minutos. Você pode personalizar o tempo de tentativa para um valor entre 1 e 1440 minutos. Recomendamos definir a duração para mais de 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro da duração de tentativa especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
Enable Throttling for Incremental Data Migration	Se necessário, você também pode optar por definir limites de velocidade para a tarefa de migração incremental. Defina RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se você selecionar Incremental Data Migration em Migration Types. Você também pode adjust the incremental migration speed após a instância de migração estar em execução.
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Não obrigatório neste tutorial.
Configure ETL	Escolha se deseja ativar o recurso extract, transform, and load (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
Monitoring and Alerting	Defina alertas e receba notificações de alerta conforme suas necessidades de negócio. No: Não define alerta. Yes: Configure alertas definindo um alert threshold e notificações de alerta. Se a migração falhar ou a latência exceder o limiar, o sistema enviará uma notificação de alerta.

Salve a tarefa e execute a pré-verificação.
- Para visualizar os parâmetros de configuração desta instância ao chamar a operação de API, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão exibido.
- Se não precisar visualizar ou já tiver terminado de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes de iniciar a tarefa de migração, o DTS executa uma pré-verificação. A tarefa só começa após ser aprovada na pré-verificação.
- Se a pré-verificação falhar, clique em View Details ao lado do item reprovado, corrija o problema conforme a orientação e execute a pré-verificação novamente.
- Se um aviso for reportado durante a pré-verificação:
  
  Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item reprovado, corrija o problema conforme a orientação e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o item de aviso e executar a pré-verificação novamente. Se você optar por ignorar um aviso, isso poderá causar problemas como inconsistência de dados e representar riscos ao seu negócio.

Adquira a instância de migração.

Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione a especificação de link para a instância de migração de dados. Para mais informações, consulte a tabela abaixo.

Categoria	Parâmetro	Descrição
New Instance Class	Resource Group Settings	Selecione o grupo de recursos ao qual a instância pertence. O valor padrão é default resource group. Para mais informações, consulte What is resource management?
New Instance Class	Instance Class	O DTS oferece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade da migração. Você pode selecionar uma especificação com base no seu cenário de negócio. Para mais informações, consulte Data migration link specifications.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK exibida, clique em OK.

Você pode visualizar o progresso da tarefa de migração na página de lista Data Migration Tasks.
Nota
- Se a tarefa de migração não incluir migração incremental, ela parará automaticamente após a conclusão da migração completa. Após a parada da tarefa, seu Status mudará para Completed.
- Se a tarefa de migração incluir migração incremental, ela não parará automaticamente. A tarefa de migração incremental continuará em execução. Enquanto a tarefa de migração incremental estiver em execução, o Status da tarefa será Running.