ApsaraDB RDS:Migrate data from a self-managed MySQL database to an ApsaraDB RDS for MySQL instance

Escolher uma solução de migração

O DTS oferece três tipos de migração que você pode combinar para compor sua solução:

Combine esses tipos conforme sua tolerância a tempo de inatividade:

Faturamento

A migração de schema, a migração completa de dados e o tráfego pela rede pública são gratuitos. Os itens abaixo são cobrados:

• Incremental data migration: Cobrado enquanto estiver em execução. Não há cobrança quando pausado ou com falha.

• Data verification: Cobrado com base no volume de dados verificados. Consulte data verification fees.

Pré-requisitos

Antes de começar, certifique-se de ter:

• Um banco de dados MySQL de origem executando a versão 5,1, 5,5, 5,6, 5,7 ou 8,0

• Uma instância RDS for MySQL de destino com espaço de armazenamento disponível superior ao do banco de dados de origem

Fase 1: Preparar a migração

-- Replace dts_user and Your_Password123 with actual values.
CREATE USER 'dts_user'@'%' IDENTIFIED BY 'Your_Password123';

-- Required for schema migration and full data migration.
GRANT SELECT ON *.* TO 'dts_user'@'%';

-- Required for incremental data migration.
GRANT REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW ON *.* TO 'dts_user'@'%';

-- Required for DTS to create a heartbeat table to advance the binary log position.
GRANT CREATE ON *.* TO 'dts_user'@'%';

FLUSH PRIVILEGES;

Fase 2: Configurar a tarefa de migração

1. Faça login no console do DTS, clique em Data Migration no painel de navegação à esquerda e, em seguida, clique em Create Task.

2. Configure o banco de dados de origem e a instância RDS de destino.

   Banco de dados de origem

   Parâmetro	Valor
   Database Type	MySQL
   Access Method	Selecione o método configurado na Etapa 3 (por exemplo, Public IP)
   Instance Region	Região onde o banco de dados de origem está localizado
   Domain Name or IP	Endpoint público ou endereço IP do banco de dados de origem
   Port	Porta de service do banco de dados de origem. Padrão: 3306
   Database Account	Conta criada na Etapa 2
   Database Password	Senha da conta
   Encryption	Non-encrypted se o SSL não estiver ativado; SSL-encrypted se o SSL estiver ativado (faça upload de um CA Certificate e defina a CA Key)

   Instância RDS de destino

   Parâmetro	Valor
   Database Type	MySQL
   Access Method	Alibaba Cloud Instance
   Instance Region	Região da instância RDS de destino
   Replicate Data Across Alibaba Cloud Accounts	No
   RDS Instance ID	ID da instância RDS de destino
   Database Account	Conta privilegiada criada na Etapa 2
   Database Password	Senha da conta
   Encryption	Non-encrypted ou SSL-encrypted. Se optar por SSL-encrypted, enable SSL encryption na instância RDS de destino primeiro

3. Clique em Test Connectivity and Proceed. Na caixa de diálogo, clique em Test Connectivity. Se o teste falhar, corrija o problema com base na mensagem de erro antes de continuar.

4. Configure os objetos a serem migrados.

   Configurar Objetos

   Na aba Configure Objects, defina os tipos de migração e selecione os objetos a migrar: Clique em Next: Advanced Settings.

   Parâmetro	Descrição
   Migration Types	Selecione Schema Migration e Full Data Migration para uma migração completa. Adicione Incremental Data Migration para minimizar o tempo de inatividade.
   Source Objects	Selecione os bancos de dados, tabelas ou colunas a migrar e clique em para adicioná-los aos Selected Objects.
   Selected Objects	Clique com o botão direito em um objeto para renomeá-lo ou configurar um filtro WHERE. Clique em Batch Edit para renomear vários objetos simultaneamente.
   Processing Mode of Conflicting Tables	Precheck and Report Errors (padrão): falha na pré-verificação se o destino já contiver tabelas com os mesmos nomes. Ignore Errors and Proceed: ignora essa verificação — durante a migração completa, os registros existentes são mantidos; durante a migração incremental, os registros existentes são sobrescritos.
   Method to Migrate Triggers in Source Database	Disponível quando tanto Schema Migration quanto Incremental Data Migration estão selecionados. Consulte Sincronizar ou migrar triggers.
   Whether to migrate Event	Especifica se eventos do banco de dados de origem devem ser migrados. Se você selecionar Yes, deverá concluir as operações subsequentes. Para mais informações, consulte Sincronizar ou migrar eventos.
   Enable Migration Assessment	Disponível quando Schema Migration está selecionado. Verifica se os schemas de origem e destino (tamanhos de índices, stored procedures, tabelas dependentes) são compatíveis. Os resultados aparecem durante a pré-verificação, mas não afetam o resultado dela.
   Capitalization of Object Names in Destination Instance	Controla o uso de maiúsculas e minúsculas nos nomes de bancos de dados, tabelas e colunas no destino. O padrão é DTS default policy. Consulte Especificar uso de maiúsculas em nomes de objetos.

   (Opcional) Configurações Avançadas

   (Opcional) Na aba Advanced Configurations, ajuste as configurações conforme necessário: Clique em Next: Data verification.

   Parâmetro	Descrição
   Dedicated Cluster for Task Scheduling	Por padrão, as tarefas executam no cluster compartilhado. Adquira um cluster dedicado para maior estabilidade.
   Copy the temporary table of the Online DDL tool	Se usar DMS ou gh-ost para Online DDL na origem: Yes migra dados da tabela temporária (pode aumentar a latência); No, Adapt to DMS Online DDL migra apenas operações DDL originais; No, Adapt to gh-ost migra apenas DDL original do gh-ost.
   Whether to Migrate Accounts	Migra informações de contas da origem. Se ativado, selecione as contas a migrar e verifique as permissões das contas.
   Retry Time for Failed Connections	Tempo durante o qual o DTS tenta reconectar após falha de conexão. Intervalo: 10–1.440 minutos. Padrão: 720 minutos. Defina pelo menos 30 minutos.
   Retry Time for Other Issues	Tempo durante o qual o DTS tenta novamente após falhas de DDL ou DML. Intervalo: 1–1.440 minutos. Padrão: 10 minutos. Deve ser menor que Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Limita o QPS no banco de dados de origem, o RPS para migração completa e a velocidade de migração (MB/s). Utilize para reduzir a carga nos servidores de banco de dados.
   Enable Throttling for Incremental Data Migration	Limita o RPS e a velocidade de migração (MB/s) para a migração incremental.
   Configure ETL	Habilita processamento de extração, transformação e carga (ETL). Consulte Configure ETL.
   Monitoring and Alerting	Envia alertas quando a tarefa falha ou a latência excede um limiar. Consulte Configurar monitoramento e alertas.
   Whether to delete SQL operations on heartbeat tables	Yes: não grava SQL de heartbeat na origem (a latência de migração pode ser exibida). No: grava SQL de heartbeat na origem (pode afetar backup físico e clonagem).

   (Opcional) Verificação de Dados

   (Opcional) Na aba Data Verification, configure a verificação de dados: Se configurar Verificação Completa de Dados, defina os seguintes parâmetros: Se configurar Verificação Incremental de Dados, defina o Incremental Verification Benchmark para filtrar as operações DML a verificar. Para configurar alertas de verificação de dados, defina Full Data Verification Alert ou Incremental Data Verification Alert como Yes e, em seguida, selecione e configure as regras de alerta. Para receber notificações de alerta, inscreva-se nas mensagens de alerta no CloudMonitor. Consulte Configurar regras de alerta para tarefas do DTS.

   Método de verificação	Custo	Descrição
   Full Data Verification	Pago	Compara dados entre origem e destino após a migração completa
   Incremental Data Verification	Pago	Compara dados durante a migração incremental
   Schema Verification	Gratuito	Verifica a compatibilidade de schema entre origem e destino

   Selecione um ou mais métodos de verificação de dados conforme as necessidades do seu negócio.

   1. Verificação Completa de Dados

      Configure os seguintes parâmetros se selecionar Verificação Completa de Dados.

      Parâmetro	Descrição
      Full Data Verification	Validação completa de campos por amostragem de linhas: amostra uma porcentagem de linhas (10–100%) para comparação de todos os campos. Verificar com base no número de linhas da tabela: compara apenas contagens de linhas (gratuito).
      Full Data Verification Time Rule	Apenas Start Now é suportado.
      Timeout Settings for Full Data Verification	Defina um tempo limite (1–72 horas) para encerrar automaticamente a tarefa de verificação se ela demorar demais.
      Full calibration reference	Default: usa a união de origem e destino como base. Source Database: verifica se o destino corresponde à origem. Destination Database: verifica se a origem corresponde ao destino.

      Verificação Incremental de Dados

Fase 3: Executar a pré-verificação e iniciar a migração

1. Clique em Next: Save Task Settings and Precheck. O DTS valida sua configuração e ambiente.

2. Aguarde a conclusão da pré-verificação:

   • Se a Success Rate atingir 100%, o ambiente está pronto. Analise quaisquer avisos para confirmar que não representam risco e, em seguida, ignore-os e prossiga.

   • Se a pré-verificação falhar, clique em View Details, corrija o problema e execute a pré-verificação novamente.

3. Clique em Next: Purchase Instance.

4. Selecione um Resource Group (padrão: default resource group) e a especificação adequada da instância DTS.

5. Aceite os Data Transmission Service (Pay-As-You-Go) Terms of Service, clique em Purchase and Start e, em seguida, clique em Confirm. A tarefa de migração inicia automaticamente.

Fase 4: Verificar dados e realizar a transição

1. Monitore o status da tarefa de migração:

   • Tarefas sem migração incremental de dados mostram Status: Completed ao terminar.

   • Tarefas com migração incremental de dados mostram Status: Running e não terminam automaticamente.

2. Após a conclusão da migração completa e quando a latência da migração incremental estiver próxima de zero, verifique a consistência dos dados: Opção 1 — Verificação automática: Configure a data verification task no DTS. Opção 2 — Verificação manual: Execute as consultas a seguir tanto no banco de dados de origem quanto na instância RDS de destino e compare os resultados:

   -- Compare row counts
   SELECT COUNT(*) FROM <your_table>;
   
   -- Compare key business metrics
   SELECT SUM(amount) FROM orders WHERE create_time >= '2024-01-01';

3. Realize a transição da aplicação fora do horário de pico:

   1. Pare sua aplicação.

   2. Confirme que a latência da migração incremental atingiu zero.

   3. Atualize as strings de conexão do banco de dados da sua aplicação para the endpoint of the destination RDS instance.

   4. Libere a tarefa de migração após a conclusão da transição.

Operações SQL suportadas para migração incremental de dados

Perguntas frequentes

P: Por que o DTS falha ao conectar com o erro "Host 'XXX' is not allowed to connect to this MySQL server"?

Trata-se de um erro de conexão Java Database Connectivity (JDBC). Verifique se as credenciais da conta estão corretas e se a conta possui as permissões necessárias. Usar uma conta privilegiada para testar a conexão pode ajudar a isolar o problema.

P: Por que não consigo selecionar uma instância RDS na região China (Fuzhou) ao criar uma tarefa de migração?

O DTS não suporta instâncias na região China (Fuzhou). Como alternativa, back up a self-managed MySQL 5.7 or 8.0 database to the cloud.