Migrate data from PolarDB for MySQL to PolarDB-X 2.0 - Data Transmission Service: Central de Documentação do Alibaba Cloud

O Data Transmission Service (DTS) permite migrar dados de um cluster PolarDB for MySQL para uma instância PolarDB-X 2.0.

Pré-requisitos

Crie uma instância PolarDB-X 2.0.
A instância PolarDB-X 2.0 deve ter mais espaço de armazenamento disponível do que o ocupado pelo cluster PolarDB for MySQL.

Observações de uso

Nota

O DTS migra chaves estrangeiras durante a migração de schema.
Durante a migração completa e incremental de dados, o DTS desativa temporariamente as verificações de restrições e cascatas de chave estrangeira no nível da sessão. Atualizações ou exclusões em cascata no banco de dados de origem enquanto a tarefa está em execução podem causar inconsistência de dados.
O DTS não permite realizar uma migração completa em várias etapas; ela deve ser concluída em uma única operação. Caso precise migrar dados em lotes, configure várias tarefas de migração.

Tipo	Descrição
Limites do banco de dados de origem	O servidor que hospeda o banco de dados de origem deve ter largura de banda de saída suficiente. Caso contrário, a velocidade de migração de dados será afetada. As tabelas a serem migradas devem ter uma chave primária ou uma restrição UNIQUE, e os campos na chave ou restrição devem ser únicos. Caso contrário, dados duplicados podem aparecer no banco de dados de destino. Se você migrar dados no nível da tabela e precisar editar as tabelas, como mapear nomes de colunas, uma única tarefa de migração de dados pode migrar no máximo 1.000 tabelas. Se exceder esse limite, um erro será relatado após o envio da tarefa. Nesse caso, divida as tabelas em várias tarefas de migração ou configure uma tarefa para migrar todo o banco de dados. Se você realizar migração incremental: É necessário ativar o log binário e definir o parâmetro loose_polar_log_bin como on. Caso contrário, a pré-verificação relatará um erro e a tarefa de migração de dados não poderá ser iniciada. Para obter mais informações sobre como ativar o log binário e modifique parâmetros, consulte Enable binary logging e Modify parameters. Nota Ativar o log binário para um cluster PolarDB for MySQL consome espaço de armazenamento e gera taxas de armazenamento. Os logs binários do cluster PolarDB for MySQL devem ser retidos por pelo menos 3 dias. Recomendamos um período de retenção de 7 dias. Caso contrário, o DTS pode falhar ao obter os logs binários, o que pode causar falha na tarefa. Em casos extremos, isso pode levar a inconsistência ou perda de dados. Problemas causados por um período de retenção de log binário inferior ao requisito do DTS não são cobertos pelo Acordo de Nível de Serviço (SLA) do DTS. Nota Para obter mais informações sobre como defina o período de retenção para logs binários de um cluster PolarDB for MySQL, consulte Modify the retention period. Limites operacionais para o banco de dados de origem: Durante a migração completa de dados, não execute operações DDL que alterem o schema do banco de dados ou da tabela. Caso contrário, a tarefa de migração de dados falhará. Nota Durante a migração completa de dados, o DTS consulta o banco de dados de origem. Isso cria um bloqueio de metadados, que pode impedir operações DDL no banco de dados de origem. Se você realizar apenas a migração completa de dados, não grave novos dados na instância de origem. Caso contrário, ocorrerá inconsistência de dados entre a origem e o destino. Para manter a consistência dos dados em tempo real, selecione tanto a migração completa quanto a migração incremental de dados. A migração incremental de operações DDL não é suportada. Se precisar execute uma operação DDL, execute-a primeiro no banco de dados de destino e depois no banco de dados de origem.
Observações	Se o banco de dados de origem usar operações DDL online no modo de tabela temporária — incluindo cenários de mesclagem de várias tabelas — ou adicionar índices baseados em função a colunas de chave exclusiva, poderá ocorrer perda de dados ou falha na tarefa no banco de dados de destino. Se ocorrer um conflito de chave primária ou exclusiva durante a migração: Se os schemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro no banco de dados de origem: Durante a migração completa, o DTS mantém o registro no banco de dados de destino. O registro do banco de dados de origem não é migrado. Durante a migração incremental, o DTS não mantém o registro no banco de dados de destino. O registro do banco de dados de origem substitui o registro no banco de dados de destino. Se os schemas das tabelas forem inconsistentes, apenas algumas colunas de dados poderão ser migradas ou a migração poderá falhar. Prossiga com cautela. O DTS não oferece suporte à migração de nós somente leitura da instância de origem PolarDB for MySQL. O DTS não oferece suporte à migração de tabelas externas do OSS da instância de origem PolarDB for MySQL. A migração de dados do tipo VECTOR não é suportada. O DTS não suporta cenários de failover primário/standby para a instância de banco de dados durante a migração completa de dados. Nesse cenário, reconfigure a tarefa de migração prontamente. Antes de realizar a migração de dados, avalie o desempenho dos bancos de dados de origem e de destino. Recomendamos que você realize a migração de dados fora dos horários de pico. Durante a migração completa de dados, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. A migração completa de dados envolve operações INSERT simultâneas, o que causa fragmentação de tabela no banco de dados de destino. Como resultado, o espaço de armazenamento da tabela no banco de dados de destino será maior do que na instância de origem após a conclusão da migração completa. Verifique se a precisão da migração para colunas do tipo de dados FLOAT ou DOUBLE atende aos seus requisitos de negócios. O DTS lê os valores dessas colunas usando `ROUND(COLUMN,PRECISION)`. Se a precisão não for definida explicitamente, o DTS usará uma precisão padrão de 38 para FLOAT e 308 para DOUBLE. O DTS tenta recuperar tarefas com falha dentro de sete dias. Antes de alternar suas cargas de trabalho para a instância de destino, encerre ou libere a tarefa. Alternativamente, revogue as permissões de gravação da conta de banco de dados que o DTS usa para acessar a instância de destino usando o comando `revoke`. Isso impede que os dados de origem substituam os dados na instância de destino caso a tarefa seja recuperada automaticamente. O DTS executa periodicamente o comando CREATE DATABASE IF NOT EXISTS `test` no banco de dados de origem para avançar o deslocamento do log binário. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la dentro de oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota Apenas os parâmetros da tarefa DTS são modificados — não os parâmetros do banco de dados. Os parâmetros que podem ser ajustados incluem aqueles listados em Modify instance parameters.

Faturamento

Tipo de migração	Taxa de configuração da instância	Taxa de tráfego pela Internet
Migração de schema e migração completa de dados	Gratuito.	Quando o parâmetro Access Method do banco de dados de destino estiver definido como Public IP Address, você será cobrado pelo tráfego pela Internet. Para obter mais informações, consulte Billing overview.
Migração incremental de dados	Pago. Para obter mais informações, consulte Billing overview.

Tipos de migração

Migração de schema

O Data Transmission Service (DTS) migra as definições de schema dos objetos de migração do banco de dados de origem para o banco de dados de destino.
- O DTS suporta migração de schema para tabelas, visualizações, gatilhos, procedimentos armazenados e funções.
  
  Nota
  O routine_body dos procedimentos armazenados, o routine_body das funções e o select_statement das visualizações não são modificados.
- Durante a migração de schema, o DTS altera o DEFINER para INVOKER nas visualizações, procedimentos armazenados e funções a serem migrados. Essa ação altera o valor de SQL SECURITY para INVOKER. O DTS também define o DEFINER como a conta do banco de dados de destino usada para a tarefa de migração.
  
  Nota
  O método de autenticação de segurança e o definer do banco de dados de origem não são modificados.
- O DTS não migra as informações de conta e permissão (informações USER) do banco de dados de origem. O DTS também altera o método de autenticação de segurança das visualizações, procedimentos armazenados e funções a serem migrados para INVOKER. Portanto, ao chamar esses objetos no banco de dados de destino, o invocador deve ter permissões de leitura e gravação no banco de dados de destino. Caso contrário, a chamada falhará devido a permissões insuficientes. Se a conta do invocador já tiver permissões de leitura e gravação no banco de dados de destino, a chamada desses objetos não será afetada. Se desejar que o DEFINER de um objeto no banco de dados de destino seja idêntico ao do banco de dados de origem, exclua o objeto que falhou ao ser chamado no banco de dados de destino e recrie-o. Ao recriar o objeto, especifique o DEFINER original na instrução de criação e certifique-se de que a conta definer exista no banco de dados de destino.
Migração completa

O DTS migra todos os dados históricos dos objetos de migração especificados do banco de dados de origem para o banco de dados de destino.
Migração incremental

Após a conclusão da migração completa, o DTS migra atualizações incrementais de dados do banco de dados de origem para o banco de dados de destino. A migração incremental permite migrar dados sem problemas, sem interromper suas aplicações autogerenciadas.

Operações SQL para migração incremental

Tipo	Instrução SQL
DML	INSERT, UPDATE e DELETE
DDL	ALTER TABLE e ALTER VIEW CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE e CREATE VIEW DROP INDEX e DROP TABLE RENAME TABLE Importante Uma operação RENAME TABLE pode causar inconsistência de dados. Por exemplo, se você selecionar apenas uma tabela como objeto de migração e renomear a tabela na instância de origem durante a migração, os dados dessa tabela não serão migrados para o banco de dados de destino. Para evitar esse problema, selecione todo o banco de dados ao qual a tabela pertence como objeto de migração ao configurar a tarefa de migração de dados. Certifique-se de que os bancos de dados aos quais a tabela pertence antes e depois da operação RENAME TABLE estejam incluídos nos objetos de migração. TRUNCATE TABLE

Permissões necessárias do banco de dados

Banco de dados	Permissões necessárias
Cluster PolarDB for MySQL	Permissões de leitura nos objetos a serem migrados
Instância PolarDB-X 2.0	Permissões de leitura e gravação nos objetos de migração

Para crie uma conta de banco de dados e conceder permissões:

Cluster PolarDB for MySQL: Consulte Create and gerencie database accounts.
Instância PolarDB-X 2.0: Consulte gerencie database accounts.

Procedimento

Acesse a página da lista de tarefas de migração da região de destino usando um dos seguintes métodos.
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Migration.
3. No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
Pelo console do DMS

Nota
As operações reais podem variar dependendo do modo e do layout do console do DMS. Para obter mais informações, consulte Simple mode console e Customize the layout and style of the DMS console.
1. Faça login no console do Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.
3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acesse a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e de destino, recomendamos que leia atentamente os limites exibidos na parte superior da página. Caso contrário, a tarefa poderá falhar ou poderá ocorrer inconsistência de dados.

Categoria	Parâmetro	Descrição
N/A	Task Name	O DTS gera automaticamente um nome de tarefa. Recomendamos que você especifique um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro é denominado Select a DMS database instance.. Se você não registrou a instância de banco de dados no sistema ou não precisa usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione PolarDB for MySQL.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região do cluster de origem PolarDB for MySQL.
	PolarDB Cluster ID	Insira o ID do cluster de origem PolarDB for MySQL.
	Database Account	Insira a conta do banco de dados do cluster de origem PolarDB for MySQL. Para visualize as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Insira a senha da conta do banco de dados.
	Encryption	Selecione um tipo de conexão conforme necessário. Para obter mais informações sobre o recurso de criptografia ssl, consulte Enable ssl encryption.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro é denominado Select a DMS database instance.. Se você não registrou a instância de banco de dados no sistema ou não precisa usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione PolarDB-X 2.0.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância de destino PolarDB-X 2.0.
	Instance ID	Selecione o ID da instância de destino PolarDB-X 2.0.
	Database Account	Insira a conta do banco de dados da instância de destino PolarDB-X 2.0. Para visualize as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Insira a senha da conta do banco de dados.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Nota
Certifique-se de que os segmentos de endereço IP do service DTS foram adicionados automática ou manualmente às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores DTS. Para obter mais informações, consulte Add DTS server IP addresses to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos que deseja migrar.

Parâmetro	Descrição
Migration Types	Se precisar realizar apenas uma migração completa, selecione tanto Schema Migration quanto Full Data Migration. Para realizar uma migração sem tempo de inatividade, selecione Schema Migration, Full Data Migration e Incremental Data Migration. Nota Se não selecionar Schema Migration, garanta que existam um banco de dados e tabelas para receber os dados no banco de dados de destino. Também é possível usar o recurso de mapeamento de nomes de objetos na caixa Selected Objects, conforme necessário. Se não selecionar Incremental Data Migration, não grave novos dados na instância de origem durante a migração de dados para garantir a consistência dos dados.
Processing Mode for Existing Destination Tables	Precheck and Report Errors: Verifica se existem tabelas com os mesmos nomes no banco de dados de destino. Se não existirem tabelas com os mesmos nomes, a pré-verificação é aprovada. Se existirem tabelas com os mesmos nomes, um erro será relatado durante a pré-verificação e a tarefa de migração de dados não será iniciada. Nota Se uma tabela no banco de dados de destino tiver o mesmo nome, mas não puder ser facilmente excluída ou renomeada, altere o nome da tabela no banco de dados de destino. Para obter mais informações, consulte Object name mapping. Ignore Errors and Proceed: Ignora a verificação de tabelas com os mesmos nomes. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e riscos aos negócios. Por exemplo: Se os schemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro no banco de dados de origem: Durante a migração completa, o DTS mantém o registro no banco de dados de destino. O registro do banco de dados de origem não é migrado. Durante a migração incremental, o DTS não mantém o registro no banco de dados de destino. O registro do banco de dados de origem substitui o registro no banco de dados de destino. Se os schemas das tabelas forem inconsistentes, apenas algumas colunas de dados poderão ser migradas ou a migração poderá falhar. Prossiga com cautela.
Source Objects	Selecione um ou mais objetos na seção Source Objects. Clique no ícone e adicione os objetos à seção Selected Objects. Nota A granularidade para seleção de objetos de migração é schema, tabela e coluna. Se você selecionar apenas tabelas ou colunas como objetos de migração, outros objetos, como visualizações, gatilhos e procedimentos armazenados, não serão migrados para o banco de dados de destino.
Selected Objects	Para alterar o nome de um único objeto de migração na instância de destino, clique com o botão direito do mouse no objeto na caixa Selected Objects. Para obter mais informações, consulte Map individual schema, table, and column names. Para alterar os nomes de vários objetos de migração na instância de destino, clique em Selected Objects no canto superior direito da caixa Batch Edit. Para obter mais informações, consulte Map multiple schema, table, and column names. Nota Se você usar o recurso de mapeamento de nomes de objetos, a migração de outros objetos que dependem do objeto renomeado poderá falhar. Para filtrar dados usando condições WHERE, clique com o botão direito do mouse em uma tabela a ser migrada no painel Selected Objects e defina as condições de filtro na caixa de diálogo exibida. Para obter detalhes, consulte defina filter conditions. Para selecionar as operações SQL a serem migradas no nível do banco de dados ou da tabela, clique com o botão direito do mouse em um objeto de migração no painel Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado. Não é necessário selecionar um. Se desejar tarefas mais estáveis, adquira um dedicated cluster para execute tarefas de migração do DTS.
Retry Time for Failed Connections	Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e começará imediatamente a tentar reconectar. A duração padrão de nova tentativa é de 720 minutos. Personalize o tempo de nova tentativa para um valor entre 10 e 1440 minutos. Recomendamos defina a duração para mais de 30 minutos. Se o DTS se reconectar aos bancos de dados de origem e de destino dentro da duração especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Para várias instâncias DTS que compartilham a mesma origem ou destino, o tempo de nova tentativa de rede é determinado pela configuração da última tarefa criada. Como você é cobrado pela tarefa durante o período de nova tentativa de conexão, recomendamos personalizar o tempo de nova tentativa com base nas necessidades do seu negócio ou liberar a instância DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de migração, se ocorrer um problema que não seja de conectividade, como uma exceção de execução DDL ou DML, no banco de dados de origem ou de destino, o DTS relatará um erro e começará imediatamente a tentar novamente a operação. A duração padrão de nova tentativa é de 10 minutos. Personalize o tempo de nova tentativa para um valor entre 1 e 1440 minutos. Recomendamos defina a duração para mais de 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro da duração de nova tentativa especificada, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Durante a migração completa, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Se necessário, ative o limitador de taxa para a tarefa de migração completa. Defina Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se você selecionar Full Data Migration em Migration Types. Também é possível adjust the full migration speed após a instância de migração estar em execução.
Enable Throttling for Incremental Data Migration	Se necessário, defina limites de velocidade para a tarefa de migração incremental. Defina RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se você selecionar Incremental Data Migration em Migration Types. Também é possível adjust the incremental migration speed após a instância de migração estar em execução.
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Neste exemplo, não é necessário selecionar uma tag.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem enquanto a instância DTS estiver em execução. Yes: As informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância DTS relate um atraso. No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
Configure ETL	Com base nas necessidades do seu negócio, selecione se deseja configurar o ETL feature para processar dados. Yes: Configura o recurso ETL. Insira também data processing statements na caixa de texto. No: Não configura o recurso ETL.
Monitoring and Alerting	Selecione se deseja defina alertas e receber notificações de alerta com base nas necessidades do seu negócio. No: Não define um alerta. Yes: Configure alertas definindo um alert threshold e um notificações de alerta. Se uma migração falhar ou a latência exceder o limiar, o sistema enviará uma notificação de alerta.

Clique em Next: Data Validation para configurar uma tarefa de validação de dados.

Para obter mais informações sobre o recurso de validação de dados, consulte Configure data validation.

Salve a tarefa e execute uma pré-verificação.
- Para visualize os parâmetros de configuração desta instância ao chamar a operação da API, passe o ponteiro do mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão que aparece.
- Se não precisar visualize ou já tiver terminado de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de migração, o DTS realiza uma pré-verificação. A tarefa só começa após ser aprovada na pré-verificação.
- Se a pré-verificação falhar, clique em View Details ao lado do item de verificação com falha, corrija o problema com base no aviso e execute a pré-verificação novamente.
- Se um aviso for relatado durante a pré-verificação:
  
  Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item com falha, corrija o problema com base no aviso e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o item de alerta e execute a pré-verificação novamente. Se optar por ignorar um aviso, isso poderá causar problemas como inconsistência de dados e representar riscos ao seu negócio.

Adquira a instância.

Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione a especificação de link para a instância de migração de dados. Para obter mais informações, consulte a tabela a seguir.

Categoria	Parâmetro	Descrição
New Instance Class	Resource Group Settings	Selecione o grupo de recursos ao qual a instância pertence. O valor padrão é default resource group. Para obter mais informações, consulte What is resource management?
New Instance Class	Instance Class	O DTS fornece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade de migração. Selecione uma especificação com base no seu cenário de negócios. Para obter mais informações, consulte Data migration link specifications.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK que aparece, clique em OK.

Visualize o progresso da tarefa de migração na página de lista Data Migration Tasks.
Nota
- Se a tarefa de migração não incluir migração incremental, ela será interrompida automaticamente após a conclusão da migração completa. Após a interrupção da tarefa, seu Status muda para Completed.
- Se a tarefa de migração incluir migração incremental, ela não será interrompida automaticamente. A tarefa de migração incremental continua em execução. Enquanto a tarefa de migração incremental estiver em execução, o Status da tarefa será Running.