Use o Data Transmission Service (DTS) para migrar dados de uma instância do ApsaraDB RDS for MySQL Enterprise Edition para uma instância Cluster Edition com tempo de inatividade mínimo, mantendo seu aplicativo em execução durante todo o processo.
Pré-requisitos
Antes de começar, verifique se você possui:
Uma instância de origem do ApsaraDB RDS for MySQL Enterprise Edition e uma instância de destino Cluster Edition. Consulte Create an ApsaraDB RDS for MySQL instance
Espaço de armazenamento disponível na instância de destino que exceda o tamanho total dos dados na instância de origem
binlog_formatconfigurado comoROWebinlog_row_imageconfigurado comoFULLna instância de origem. Consulte Modify instance parameters. Se esses parâmetros não estiverem configurados corretamente, a pré-verificação falhará e impedirá o início da tarefa de migração
Permissões necessárias
Conceda as seguintes permissões às contas de banco de dados que o DTS utiliza.
|
Banco de dados |
Migração de schema |
Migração completa de dados |
Migração incremental de dados |
|
Instância de origem do ApsaraDB RDS for MySQL Enterprise Edition |
SELECT |
SELECT |
Leitura e gravação |
|
Instância de destino do ApsaraDB RDS for MySQL Cluster Edition |
Leitura e gravação |
Leitura e gravação |
Leitura e gravação |
Para crie contas e conceder permissões, consulte Create an account e Modify the permissions of an account.
Tipos de migração
O DTS oferece suporte a três tipos de migração. Você pode combiná-los de acordo com seus requisitos.
A migração de schema copia os schemas dos objetos selecionados — tabelas, views, triggers, stored procedures e stored functions — da origem para o destino. Durante a migração de schema:
O DTS migra foreign keys da origem para o destino.
O atributo SECURITY muda de DEFINER para INVOKER em views, stored procedures e funções. Para chamar esses objetos no destino, conceda permissões de leitura e gravação ao INVOKER.
O DTS não migra contas de usuário.
Durante a migração completa e a incremental, o DTS desabilita temporariamente a verificação de restrições e as operações em cascata em foreign keys no nível da sessão. Se você executar operações de atualize e exclua em cascata no banco de dados de origem durante a migração, podem ocorrer inconsistências de dados.
A migração completa de dados copia todos os dados históricos dos objetos selecionados da origem para o destino.
A migração incremental de dados replica continuamente as alterações da origem para o destino após a conclusão da migração completa, mantendo as duas instâncias sincronizadas enquanto o aplicativo continua em execução.
Escolha sua abordagem de migração
|
Objetivo |
Selecionar |
|
Migração única com janela de manutenção planejada |
Migração de schema + Migração completa de dados |
|
Minimizar o tempo de inatividade — manter o aplicativo em execução durante a migração |
Migração de schema + Migração completa de dados + Migração incremental de dados |
Se você executar apenas a migração completa de dados (sem a migração incremental), interrompa todas as gravações no banco de dados de origem durante a migração para evitar inconsistências de dados.
Operações SQL com suporte na migração incremental de dados
|
Tipo de operação |
Instruções SQL |
|
DML |
INSERT, UPDATE, DELETE |
|
DDL |
ALTER TABLE, ALTER VIEW; CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE, CREATE VIEW; DROP INDEX, DROP TABLE; RENAME TABLE; TRUNCATE TABLE |
As operações RENAME TABLE podem causar inconsistências de dados. Se você renomear uma tabela durante a migração e essa tabela tiver sido selecionada como objeto de migração, os dados dela não serão replicados para o destino. Para evitar isso, selecione o banco de dados (e não tabelas individuais) como objeto de migração e certifique-se de que tanto o nome anterior quanto o posterior à renomeação estejam incluídos no escopo da migração.
Faturamento
|
Tipo de migração |
Taxa de configuração da instância |
Taxa de tráfego de Internet |
|
Migração de schema + migração completa de dados |
Gratuita |
Cobrada apenas quando os dados são migrados da Alibaba Cloud pela Internet |
|
Migração incremental de dados |
Cobrada |
— |
Para obter detalhes de preços, consulte Billing overview.
Limitações
Banco de dados de origem
O servidor de origem precisa ter largura de banda de saída suficiente. A largura de banda insuficiente reduz a velocidade da migração.
As tabelas devem ter restrições PRIMARY KEY ou UNIQUE, e todos os campos devem ser exclusivos. Tabelas sem essas restrições podem gerar registros duplicados no destino.
Se você selecionar tabelas como objetos de migração e precisar renomear tabelas ou colunas no destino, o limite é de 1.000 tabelas por tarefa. Para migrações maiores, divida a migração em várias tarefas ou selecione o banco de dados inteiro como objeto de migração.
-
Requisitos de retenção de log binário:
Apenas migração incremental: retenha os logs binários por mais de 24 horas
Migração completa + incremental: retenha os logs binários por pelo menos 7 dias
Após a conclusão da migração completa, você pode reduzir o período de retenção para mais de 24 horas. Manter a retenção abaixo desses limites pode impedir que o DTS recupere os logs binários, o que pode levar à falha da tarefa ou à perda de dados. O Acordo de Nível de Serviço (SLA) do DTS não cobre a confiabilidade do service se esses requisitos não forem atendidos.
Durante a migração de schema e a migração completa de dados: não execute operações DDL que alterem os schemas do banco de dados ou das tabelas. Caso contrário, a tarefa falhará.
Durante apenas a migração completa de dados: não grave dados no banco de dados de origem. Se as gravações precisarem continuar, inclua a migração incremental de dados.
Geral
Use a mesma versão do engine MySQL nas instâncias de origem e de destino para garantir a compatibilidade.
Agende a migração para horários fora de pico. A migração completa de dados utiliza recursos de leitura e gravação em ambas as instâncias, o que aumenta a carga do servidor.
Após a migração completa de dados, o tablespace no destino pode ser maior do que na origem devido à fragmentação causada por operações INSERT simultâneas.
Para colunas FLOAT e DOUBLE, o DTS usa
ROUND(COLUMN, PRECISION)para ler valores. Se você não especifique uma precisão, o DTS adota como padrão 38 dígitos para FLOAT e 308 dígitos para DOUBLE. Verifique se esses padrões atendem aos seus requisitos antes de iniciar.O DTS tenta novamente executar tarefas com falha por até 7 dias. Antes de alternar as cargas de trabalho para o destino, interrompa ou libere quaisquer tarefas com falha, ou execute
REVOKEpara remover o acesso de gravação do DTS ao destino. Caso contrário, os dados de origem podem sobrescrever os dados de destino quando uma tarefa com falha for retomada.Se o nome do banco de dados de origem for inválido, crie manualmente o banco de dados de destino antes de configurar a tarefa. Consulte Manage databases. Para nomes de banco de dados válidos, o DTS cria o banco de dados de destino automaticamente.
Gerencie a tarefa de migração
Etapa 1: Acesse a página de Tarefas de Migração de Dados
Acesse o console do Data Management (DMS).
-
Na barra de navegação superior, passe o ponteiro sobre DTS e escolha DTS (DTS) > Data Migration.
As etapas podem variar dependendo do modo do console DMS. Consulte Simple mode e Customize the layout and style of the DMS console . Alternativamente, acesse diretamente a página de Migração de Dados do novo console DTS .
Etapa 2: Selecione a região
Na lista suspensa no lado direito de Data Migration Tasks, selecione a região onde sua instância de migração de dados reside.
No novo console DTS, selecione a região no canto superior esquerdo.
Etapa 3: Configurar os bancos de dados de origem e de destino
Clique em Create Task. Na página Create Data Migration Task, configure os bancos de dados de origem e de destino da seguinte forma.
Após configurar os bancos de dados de origem e de destino, leia os Limits exibidos na parte superior da página antes de prosseguir.
Banco de dados de origem
|
Parâmetro |
Valor |
|
Select an existing DMS database instance |
(Opcional) Selecione uma instância existente para preencher automaticamente os parâmetros abaixo. |
|
Database Type |
MySQL |
|
Access Method |
Alibaba Cloud Instance |
|
Instance Region |
A região onde a instância de origem reside |
|
Replicate Data Across Alibaba Cloud Accounts |
No |
|
RDS Instance ID |
O ID da instância de origem Enterprise Edition |
|
Database Account |
A conta do banco de dados com as permissões necessárias (consulte Permissions required) |
|
Database Password |
A senha da conta |
|
Encryption |
Selecione Non-encrypted ou SSL-encrypted. Para usar a criptografia SSL, ative-a primeiro na instância RDS. Consulte Use a cloud certificate to enable SSL encryption. |
Banco de dados de destino
|
Parâmetro |
Valor |
|
Select an existing DMS database instance |
(Opcional) Selecione uma instância existente para preencher automaticamente os parâmetros abaixo. |
|
Database Type |
MySQL |
|
Access Method |
Alibaba Cloud Instance |
|
Instance Region |
A região onde a instância de destino reside |
|
RDS Instance ID |
O ID da instância de destino Cluster Edition |
|
Database Account |
A conta do banco de dados com permissões de leitura e gravação |
|
Database Password |
A senha da conta |
|
Encryption |
Selecione Non-encrypted ou SSL-encrypted. |
Etapa 4: Testar a conectividade
Clique em Test Connectivity and Proceed. O DTS adiciona automaticamente seus blocos CIDR de servidor à lista de permissões de endereços IP das instâncias do ApsaraDB RDS.
Para bancos de dados autogerenciados em instâncias do Elastic Compute Service (ECS), o DTS adiciona seus blocos CIDR às regras do grupo de segurança do ECS. Se o banco de dados for executado em várias instâncias ECS, adicione manualmente os blocos CIDR do DTS ao grupo de segurança de cada instância. Para bancos de dados autogerenciados em data centers ou em nuvens de terceiros, adicione manualmente os blocos CIDR do DTS à lista de permissões de endereços IP do banco de dados. Para a lista completa de blocos CIDR, consulte Add the CIDR blocks of DTS servers.
Adicionar blocos CIDR de servidores DTS à sua lista de permissões ou às regras do grupo de segurança apresenta riscos de segurança. Adote medidas preventivas, como fortalecer as credenciais da conta, limitar portas expostas, autenticar chamadas de API, auditar regularmente as regras da lista de permissões e do grupo de segurança, e considerar opções de conectividade privada, como Express Connect, VPN Gateway ou Smart Access Gateway.
Etapa 5: Selecione objetos e defina configurações de migração
Configure os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Migration Types |
Selecione os tipos de migração com base na sua abordagem. Consulte Escolha sua abordagem de migração. |
|
Processing Mode of Conflicting Tables |
Precheck and Report Errors: falha a pré-verificação se o destino tiver tabelas com os mesmos nomes da origem. Use esta opção para detectar conflitos antes do início da migração. Ignore Errors and Proceed: ignora a verificação de conflito de nomes. Durante a migração completa de dados, os registros existentes no destino são mantidos. Durante a migração incremental de dados, os registros existentes são sobrescritos. Se os schemas forem diferentes entre a origem e o destino, apenas colunas específicas podem ser migradas ou a tarefa pode falhar. Use esta opção com cautela. |
|
Capitalization of Object Names in Destination Instance |
O padrão é DTS default policy. Modifique se o banco de dados de destino tiver requisitos específicos de uso de maiúsculas e minúsculas. Consulte Specify the capitalization of object names in the destination instance. |
|
Source Objects |
Selecione um ou mais objetos e clique no ícone de seta para a direita para movê-los para Selected Objects. Você pode selecionar colunas, tabelas ou bancos de dados inteiros. A seleção de tabelas ou colunas exclua views, triggers e stored procedures da migração. |
|
Selected Objects |
Para edite um único objeto, clique com o botão direito nele e selecione uma opção de renomeação. Para renomear vários objetos, clique em Batch Edit. Consulte Map object names. Para filtrar linhas com uma condição WHERE, clique com o botão direito no objeto e especifique a condição. Consulte Specify filter conditions. Para selecionar quais operações DML ou DDL replicar incrementalmente, clique com o botão direito no objeto e configure as operações. |
Renomear um objeto pode causar falha na migração de objetos dependentes.
Etapa 6: salve opções avançadas
Clique em Next: Advanced Settings.
Data Verification Settings: para ative a verificação de dados, consulte Configure a data verification task.
Advanced Settings:
| Parâmetro | Descrição |
|---|---|
| Monitoring and Alerting | Selecione Yes para receber alertas quando a tarefa falhar ou a latência da migração exceder um limiar. Configure o limiar de alerta e as configurações de notificação. Consulte Configure monitoring and alerting. |
| Copy the temporary table of the Online DDL tool that is generated in the source table to the destination database | Controla como o DTS lida com tabelas temporárias de ferramentas de DDL online. Yes: migra os dados da tabela temporária. Pode causar latência se o volume de dados for grande. No, Adapt to DMS Online DDL: migra apenas o DDL original de DMS; os dados da tabela temporária são ignorados. As tabelas no destino podem ser bloqueadas. No, Adapt to gh-ost: migra apenas o DDL original da ferramenta gh-ost; os dados da tabela temporária são ignorados. Use expressões regulares padrão ou personalizadas para filtrar shadow tables. As tabelas no destino podem ser bloqueadas. Importante
Não use o pt-online-schema-change no banco de dados de origem durante a migração — isso causará a falha da tarefa do DTS. |
| Retry Time for Failed Connections | A janela durante a qual o DTS tenta restabelecer uma conexão perdida. Intervalo válido: 10 a 1.440 minutos. Padrão: 720 minutos. Defina este valor para pelo menos 30 minutos. Se o DTS reconectar dentro desta janela, a tarefa será retomada automaticamente; caso contrário, ela falhará. O DTS cobra pela instância durante as tentativas de reconexão. Se várias tarefas compartilharem a mesma origem ou destino, o valor definido mais recentemente é aplicado. |
| Configure ETL | Selecione Yes para usar o recurso de extração, transformação e carga (ETL) para transformar dados durante a migração. Consulte What is ETL? e Configure ETL in a data migration or data synchronization task. |
Etapa 7: Execute a pré-verificação
Clique em Next: Save Task Settings and Precheck.
O DTS executa uma pré-verificação automaticamente. A tarefa só inicia após a aprovação de todos os itens da pré-verificação.
Se um item da pré-verificação falhar, clique em View Details, corrija o problema e clique em Precheck Again.
Se um alerta for acionado e puder ser ignorado, clique em Confirm Alert Details, depois em Ignore, em seguida em OK e clique em Precheck Again. Ignorar alertas pode levar a inconsistências de dados.
visualize os parâmetros da API desta configuração, passe o ponteiro do mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .
Etapa 8: Comprar a instância de migração
Aguarde até que a Success Rate atinja 100% e clique em Next: Purchase Instance.
Na página Purchase Instance, configure os seguintes parâmetros:
|
Parâmetro |
Descrição |
|
Resource Group |
O grupo de recursos para a instância de migração. O padrão é default resource group. Consulte What is Resource Management? |
|
Instance Class |
Selecione uma classe de instância com base na velocidade de migração necessária. Classes mais altas suportam migrações mais rápidas. Consulte Instance classes of data migration instances. |
Etapa 9: Iniciar a migração
Leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms marcando a caixa de seleção.
Clique em Buy and Start e, em seguida, clique em OK e confirme a mensagem.
Acompanhe o progresso da migração na página Data Migration.