Migrate data from PolarDB-X 1.0 to a PolarDB-X 2.0 instance - Data Transmission Service: Central de Documentação do Alibaba Cloud

Este tópico descreve como migrar dados de uma instância PolarDB-X 1.0 para uma instância PolarDB-X 2.0 com o Data Transmission Service (DTS).

Pré-requisitos

O armazenamento da instância PolarDB-X 1.0 de origem deve ser uma instância ApsaraDB RDS for MySQL, incluindo instâncias RDS personalizadas de forma privada e instâncias RDS adquiridas separadamente. O PolarDB for MySQL não é compatível.
Você deve ter criado uma instância PolarDB-X 2.0 de destino e um banco de dados para armazenar os dados migrados. Para mais informações, consulte Create an instance (Starter Edition) e Create a database.
O espaço de armazenamento disponível da instância de destino deve ser maior que o espaço ocupado pela instância de origem.

Limitações

Nota

O DTS migra chaves estrangeiras durante a migração de esquema.
Durante a migração de dados completa e incremental, o DTS desabilita temporariamente as verificações de restrição e cascatas de chave estrangeira no nível da sessão. Atualizações ou exclusões em cascata no banco de dados de origem durante a execução da tarefa podem causar inconsistência de dados.
O DTS não suporta realizar uma migração completa em várias etapas; a migração completa deve ser concluída em uma única operação. Para migrar dados em lotes, configure várias tarefas de migração.

Tipo	Descrição
Limitações do banco de dados de origem	As tabelas a serem migradas devem ter uma chave primária ou uma restrição exclusiva. Caso contrário, pode ocorrer duplicação de dados no banco de dados de destino. A migração de esquema não é compatível com tabelas que têm apenas uma restrição exclusiva. Recomendamos usar uma chave primária. Ao migrar dados no nível da tabela e precisar editar tabelas, como mapear nomes de tabelas ou colunas, uma única tarefa de migração de dados suporta no máximo 1.000 tabelas. Se exceder esse limite, o envio da tarefa falha. Nesse caso, divida as tabelas em várias tarefas ou migre o banco de dados inteiro. Para o log binário da instância ApsaraDB RDS for MySQL anexada ao PolarDB-X 1.0: Por padrão, o log binário está ativado. Consulte View instance parameters e confirme se o parâmetro `binlog_row_image` está definido como `full`. Caso contrário, a pré-verificação falha e a tarefa de migração de dados não pode ser iniciada. Para uma tarefa de migração de dados incremental, o DTS exige que o banco de dados de origem retenha seu log binário local por pelo menos 24 horas. Para uma tarefa que inclui migração de dados completa e incremental, o DTS exige que o banco de dados de origem retenha seu log binário local por pelo menos 7 dias. Altere o período de retenção para 24 horas ou mais após a conclusão da migração completa de dados. Se o período de retenção for insuficiente, o DTS pode falhar ao obter o log binário. Isso pode causar falha na tarefa e, em casos extremos, levar à inconsistência ou perda de dados. Problemas causados por um período de retenção de log binário insuficiente não são cobertos pelo SLA. Restrições operacionais no banco de dados de origem: Durante a migração de dados, não execute scale-out, scale-in, migração de tabela quente, alterações de chave de shard ou alterações de DDL. Caso contrário, a tarefa de migração de dados falha. Nota Durante a fase de migração completa, o DTS consulta o banco de dados de origem. Isso cria um bloqueio de metadados, podendo bloquear operações DDL no banco de dados de origem. Durante a migração completa e incremental, o DTS desabilita temporariamente as verificações de restrição e operações em cascata de chave estrangeira no nível da sessão. Se operações de atualização ou exclusão em cascata ocorrerem no banco de dados de origem durante a execução da tarefa, pode ocorrer inconsistência de dados. Ao executar apenas uma migração completa de dados, não grave nem atualize dados no banco de dados de origem. Caso contrário, ocorre inconsistência de dados entre os bancos de dados de origem e de destino. Para manter a consistência de dados em tempo real, selecione a migração de esquema, a migração completa de dados e a migração incremental de dados. A instância PolarDB-X 1.0 de origem deve ser da versão 5.2 ou posterior. Não altere o tipo de uma tabela de broadcast na instância PolarDB-X 1.0 de origem durante a execução de uma tarefa de migração do DTS (por exemplo, de uma tabela de broadcast para uma tabela única ou com shard). Se precisar alterar o tipo de tabela, interrompa a tarefa de migração. Após a conclusão da alteração, reconfigure a tarefa de migração.
Outras limitações	O armazenamento do PolarDB-X 1.0 deve ser o ApsaraDB RDS for MySQL, incluindo instâncias RDS personalizadas privadas e instâncias RDS adquiridas separadamente. O PolarDB for MySQL não é compatível como tipo de armazenamento. Uma tarefa de migração de dados para o PolarDB-X 1.0 é uma tarefa distribuída. O DTS cria uma subtarefa para cada instância ApsaraDB RDS for MySQL anexada à instância PolarDB-X 1.0. Visualize o status das subtarefas na página performance monitoring. O DTS depende da continuidade das transações XA na instância PolarDB-X 1.0 de origem para garantir a consistência dos dados nas tarefas de migração incremental. Se a continuidade das transações XA for interrompida, por exemplo, durante um cenário de recuperação de desastres para o módulo de captura de dados incrementais, as transações XA não confirmadas podem ser perdidas. Antes de migrar os dados, avalie o desempenho dos bancos de dados de origem e de destino. Também recomendamos executar a migração de dados fora dos horários de pico. Caso contrário, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e de destino durante a migração completa de dados, podendo aumentar a carga do banco de dados. Durante a migração completa de dados, o DTS executa operações INSERT simultâneas, podendo causar fragmentação de tabelas no banco de dados de destino. Como resultado, as tabelas no banco de dados de destino podem ocupar mais espaço de armazenamento do que na instância de origem. Verifique se a precisão da migração para colunas do tipo de dados FLOAT ou DOUBLE atende aos seus requisitos de negócios. O DTS lê os valores dessas colunas usando a função `ROUND(COLUMN,PRECISION)`. Se a precisão não estiver definida explicitamente, o DTS migra colunas FLOAT com precisão de 38 dígitos e colunas DOUBLE com precisão de 308 dígitos. O DTS tenta retomar uma tarefa com falha em até sete dias. Portanto, antes do cutover para a instância de destino, encerre ou libere a tarefa. Como alternativa, revogue as permissões de gravação da conta do DTS usando o comando `revoke`. Isso impede os dados de origem de substituir os dados na instância de destino caso a tarefa seja retomada automaticamente. Se uma tarefa falhar, a equipe de suporte do DTS tenta restaurá-la em até oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota Apenas os parâmetros da tarefa do DTS são modificados, e não os parâmetros do banco de dados. Os parâmetros passíveis de ajuste incluem os listados em Modify instance parameters. Se a tabela PolarDB-X 2.0 de destino tiver o particionamento automático ativado (`auto_partition=true`), cada instrução DDL executada na origem pode conter apenas um `alter_specification`. Caso contrário, o DTS relata um erro (`TDDL-4998`: `Multi alter specifications when create GSI not support yet`). Para executar uma instrução DDL com vários itens `alter_specification`, divida cada `alter_specification` em uma instrução DDL separada e execute-as uma a uma. Para mais informações, consulte ALTER TABLE (DRDS mode) e ALTER TABLE (AUTO mode).

Faturamento

Tipo de migração	Taxa de configuração da instância	Taxa de tráfego de Internet
Migração de esquema e migração completa de dados	Gratuito.	Quando o parâmetro Access Method do banco de dados de destino está definido como Public IP Address, há cobrança pelo tráfego de Internet. Para mais informações, consulte Billing overview.
Migração incremental de dados	Cobrado. Para mais informações, consulte Billing overview.

Tipos de migração

Migração de esquema

O DTS migra as definições de esquema dos objetos de migração do banco de dados de origem para o banco de dados de destino.
Migração completa

O DTS migra todos os dados históricos dos objetos de migração especificados do banco de dados de origem para o banco de dados de destino.
Migração incremental

Após a conclusão de uma migração completa, o DTS migra atualizações incrementais de dados do banco de dados de origem para o banco de dados de destino. A migração incremental permite a migração de dados de forma suave, sem interromper suas aplicações autogerenciadas.

Operações SQL para migração incremental

Tipo de operação	Instrução SQL
DML	INSERT, UPDATE, DELETE

Permissões de conta de banco de dados

Banco de dados	Migração de esquema	Migração completa de dados	Migração incremental de dados	Autorização
Instância PolarDB-X 1.0	SELECT	SELECT	REPLICATION SLAVE, REPLICATION CLIENT e SELECT nos objetos a serem migrados. O DTS concede essas permissões automaticamente.	Manage accounts
Instância PolarDB-X 2.0	Permissões de leitura e gravação			Manage accounts

Procedimento

Primeiramente, acesse a página da lista de tarefas de migração para a região de destino usando um dos seguintes métodos.
A partir do console do DTS
1. Faça login no console do Data Transmission service (DTS).
2. No painel de navegação à esquerda, clique em Data Migration.
3. No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
A partir do console do DMS

Nota
As operações reais podem variar com base no modo e no layout do console do DMS. Para mais informações, consulte Simple mode console e Customize the layout and style of the DMS console.
1. Faça login no console do Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.
3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acessar a página de configuração e crie a tarefa.

Configure os bancos de dados de origem e de destino.

Categoria	Parâmetro	Descrição
N/A	Task Name	O DTS gera automaticamente um nome de tarefa. Especifique um nome descritivo para fácil identificação. O nome não precisa ser único.
Source Database	Database Type	Selecione PolarDB-X 1.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância PolarDB-X 1.0 de origem.
	Replicate Data Across Alibaba Cloud Accounts	Este exemplo mostra uma migração dentro da mesma conta Alibaba Cloud. Selecione No.
	Instance ID	Selecione o ID da instância PolarDB-X 1.0 de origem.
	Database Account	Em seguida, insira a conta do banco de dados da instância PolarDB-X 1.0 de origem.
	Database Password	Por favor, insira a senha correspondente à conta do banco de dados.
Destination Database	Database Type	Selecione PolarDB-X 2.0.
	Connection Type	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância PolarDB-X 2.0 de destino.
	Instance ID	Selecione o ID da instância PolarDB-X 2.0 de destino.
	Database Account	Em seguida, insira a conta do banco de dados da instância PolarDB-X 2.0 de destino.
	Database Password	Por favor, insira a senha correspondente à conta do banco de dados.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Nota
Certifique-se de que os segmentos de endereços IP do DTS sejam adicionados automática ou manualmente às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso a partir dos servidores do DTS. Para mais informações, consulte Add DTS server IP addresses to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos a serem migrados.

Parâmetro	Descrição
Synchronization Types	Para realizar apenas uma migração completa, selecione Schema Migration e Full Data Migration. Para realizar uma migração sem tempo de inatividade, selecione Schema Migration, Full Data Migration e Incremental Data Migration. Nota Caso não selecione Schema Migration, garanta que exista um banco de dados e tabelas para receber os dados no banco de dados de destino. Use também o recurso de mapeamento de nomes de objetos na caixa Selected Objects, conforme necessário. Caso não selecione Incremental Data Migration, não grave nem exclua dados na instância de origem durante a migração de dados para garantir a consistência dos dados.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors: Verifica se existem tabelas com os mesmos nomes no banco de dados de destino. Se não existirem tabelas com os mesmos nomes, a pré-verificação é aprovada. Se existirem tabelas com os mesmos nomes, um erro é relatado durante a pré-verificação e a tarefa de migração de dados não é iniciada. Nota Se uma tabela no banco de dados de destino tiver o mesmo nome, mas não puder ser facilmente excluída ou renomeada, altere o nome da tabela no banco de dados de destino. Para mais informações, consulte Object name mapping. Ignore Errors and Proceed: Ignora a verificação de tabelas com os mesmos nomes. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e riscos aos negócios. Por exemplo: Se os esquemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro no banco de dados de origem: Durante a migração completa, o DTS mantém o registro no banco de dados de destino. O registro do banco de dados de origem não é migrado. Durante a migração incremental, o DTS não mantém o registro no banco de dados de destino. O registro do banco de dados de origem substitui o registro no banco de dados de destino. Se os esquemas das tabelas forem inconsistentes, apenas algumas colunas de dados podem ser migradas, ou a migração pode falhar. Prossiga com cautela.
Case Sensitivity Policy for Destination Object Names	Configure a política de diferenciação de maiúsculas e minúsculas para os nomes dos objetos migrados, como bancos de dados, tabelas e colunas, na instância de destino. Por padrão, DTS default policy está selecionado. Opte também por manter a diferenciação de maiúsculas e minúsculas consistente com a política padrão do banco de dados de origem ou de destino. Para mais informações, consulte Case sensitivity of object names in the destination database.
Source Objects	Na caixa Source Objects, clique nos objetos a serem migrados e, em seguida, clique em para movê-los para a caixa Selected Objects. Nota Selecione os objetos a serem migrados no nível da tabela. Ao selecionar um banco de dados inteiro, quaisquer alterações para adicionar ou excluir tabelas nesse banco de dados não são migradas para o destino.
Selected Objects	Para alterar o nome de um único objeto de migração na instância de destino, clique com o botão direito do mouse no objeto na caixa Selected Objects. Para mais informações sobre como definir o nome, consulte Map a single table or column name. Para alterar os nomes de vários objetos de migração em lote, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações sobre como definir os nomes, consulte Map multiple table or column names in a batch. Nota Ao usar o recurso de mapeamento de nomes de objetos, outros objetos dependentes do objeto mapeado podem falhar na migração.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado. Não é necessário selecionar um. Se desejar tarefas mais estáveis, adquira um dedicated cluster para executar tarefas de migração do DTS.
Retry Time for Failed Connections	Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relata um erro e começa imediatamente a tentar reconectar. A duração padrão de nova tentativa é de 720 minutos. Personalize o tempo de nova tentativa para um valor de 10 a 1440 minutos. Recomendamos definir a duração para mais de 30 minutos. Se o DTS reconectar aos bancos de dados de origem e de destino dentro da duração especificada, a tarefa de migração é retomada automaticamente. Caso contrário, a tarefa falha. Nota Para várias instâncias do DTS com a mesma origem ou destino, o tempo de nova tentativa de rede é determinado pela configuração da última tarefa criada. Como há cobrança pela tarefa durante o período de nova tentativa de conexão, recomendamos personalizar o tempo de nova tentativa com base nas suas necessidades de negócios, ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de migração, se ocorrer um problema que não seja de conectividade, como uma exceção de execução DDL ou DML, no banco de dados de origem ou de destino, o DTS relata um erro e começa imediatamente a tentar repetir a operação. A duração padrão de nova tentativa é de 10 minutos. Personalize o tempo de nova tentativa para um valor de 1 a 1440 minutos. Recomendamos definir a duração para mais de 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro da duração de nova tentativa especificada, a tarefa de migração é retomada automaticamente. Caso contrário, a tarefa falha. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Durante a migração completa, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e de destino, podendo aumentar a carga do banco de dados. Se necessário, ative o limitador para a tarefa de migração completa e por favor, defina Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas ao selecionar Full Data Migration para Migration Types. Também é possível adjust the full migration speed após a instância de migração estar em execução.
Enable Throttling for Incremental Data Migration	Se necessário, opte também por definir limites de velocidade para a tarefa de migração incremental e por favor, defina RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas ao selecionar Incremental Data Migration para Migration Types. Também é possível adjust the incremental migration speed após a instância de migração estar em execução.
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Isso não é necessário para este exemplo.
Configure ETL	Com base nas suas necessidades de negócios, escolha se deseja configurar o ETL feature para processar dados. Yes: Configura o recurso ETL. Insira também data processing statements na caixa de texto. No: Não configura o recurso ETL.
Monitoring and Alerting	Selecione se deseja definir alertas e receber notificações de alerta com base nas suas necessidades de negócios. No: Não define um alerta. Yes: Configure alertas definindo um alert threshold e um notificações de alerta. Se uma migração falhar ou a latência exceder o limiar, o sistema envia uma notificação de alerta.

Agora, salve a tarefa e execute uma pré-verificação.
- Por favor, visualize os parâmetros de configuração desta instância ao chamar a operação da api movendo o ponteiro sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters na bolha que aparece.
- Caso não precise visualizar ou já tenha terminado de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de migração, o DTS executa uma pré-verificação. A tarefa só é iniciada após a aprovação na pré-verificação.
- Se a pré-verificação falhar, clique em View Details ao lado do item de verificação com falha, corrija o problema com base na instrução e execute a pré-verificação novamente.
- Se um aviso for relatado durante a pré-verificação:
  
  Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item com falha, corrija o problema com base na instrução e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o item de alerta e executar a pré-verificação novamente. Ao optar por ignorar um aviso, isso pode causar problemas como inconsistência de dados e apresentar riscos aos seus negócios.

Adquira a tarefa de migração.

Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione a especificação de link para a instância de migração de dados. Para mais informações, consulte a tabela a seguir.

Categoria	Parâmetro	Descrição
New Instance Class	Resource Group Settings	Selecione o grupo de recursos da instância. O valor padrão é o grupo de recursos padrão. Para mais informações, consulte What is resource management?
New Instance Class	Instance Class	O DTS fornece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade da migração. Selecione uma especificação com base no seu cenário de negócios. Para mais informações, consulte Data migration link specifications.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK que aparece, clique em OK.

Visualize o progresso da tarefa de migração na página de lista Data Migration Tasks.
Nota
- Se a tarefa de migração não incluir migração incremental, ela é interrompida automaticamente após a conclusão da migração completa. Após a interrupção da tarefa, seu Status muda para Completed.
- Se a tarefa de migração incluir migração incremental, ela não é interrompida automaticamente. A tarefa de migração incremental continua em execução. Enquanto a tarefa de migração incremental está em execução, o Status da tarefa é Running.