Data Transmission Service:Migrar do RDS SQL Server para o RDS MySQL

Limites do banco de dados source

Requisitos de log para migração incremental:

• Os logs devem estar ativados com o modo de backup definido como Full. Um backup físico completo deve ter sido concluído.

• Retenção de log: superior a 24 horas para tarefas apenas incrementais; pelo menos 7 dias para tarefas que incluem migração completa e incremental. É possível alterar o período de retenção de log após a conclusão da migração completa. Problemas causados por um período de retenção de log inferior ao necessário não são cobertos pelo SLA do DTS.

• O DTS usa a função fn_log para obter logs do banco de dados source. Não limpe os logs do banco de dados source prematuramente; caso contrário, a tarefa do DTS poderá falhar.

Pré-requisitos do CDC:

• O valor do campo srvname na view sys.sysservers deve corresponder ao valor retornado pela função SERVERPROPERTY.

• Proprietário do banco de dados: sa para SQL Server autogerenciado; sqlsa para RDS for SQL Server.

• Enterprise Edition: SQL Server 2008 ou posterior.

• Standard Edition: SQL Server 2016 SP1 ou posterior.

• SQL Server 2017 (Standard ou Enterprise Edition): atualize a versão do banco de dados antes de configurar o CDC.

Restrições operacionais durante a migração:

• Durante a sincronização inicial de schema e a migração completa de dados, não execute operações DDL em schemas de banco de dados ou tabelas; caso contrário, a tarefa falhará.

• Se você executar apenas a migração completa de dados, não grave novos dados na instância source durante a migração; caso contrário, ocorrerá inconsistência de dados. Para manter a consistência dos dados em tempo real, selecione Initial Schema Synchronization, Full Data Migration e Incremental Data Migration.

• Se uma tarefa incluir migração incremental de dados, não reindexe; caso contrário, a tarefa poderá falhar ou haver perda de dados. Não é possível alterar as chaves primárias de tabelas com CDC ativado.

Web Edition RDS for SQL Server:

Defina SQL Server Incremental Synchronization Mode como Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported) ao configurar a tarefa.

Outros limites

• O DTS não migra operações DDL complexas.

• Os seguintes tipos de dados não podem ser migrados: CURSOR, ROWVERSION, SQL_VARIANT, HIERARCHYID, POLYGON, GEOMETRY, GEOGRAPHY e tipos de dados definidos pelo usuário criados com CREATE TYPE.

• Os seguintes tipos de objeto não podem ser migrados: PROCEDURE, FUNCTION, TRIGGER, DATATYPE, SYNONYM, CATALOG, PLAN_GUIDE e SEQUENCE.

• Se o número de tabelas com CDC ativado em uma única tarefa exceder 1.000, a pré-verificação falhará.

• Se os dados contiverem caracteres de quatro bytes (caracteres incomuns), o banco de dados e as tabelas de destino devem usar o charset utf8mb4. Se o DTS realizar a migração de schema, defina também o parâmetro character_set_server como utf8mb4.

• Se os dados incrementais gravados em um único campo de uma tabela com CDC ativado excederem 64 KB, execute exec sp_configure 'max text repl size', -1; no banco de dados source antecipadamente. Por padrão, um job de CDC processa no máximo 64 KB por campo.

• Realize a migração de dados fora dos horários de pico. O DTS consome recursos de leitura e gravação nos bancos de dados source e de destino durante a migração completa de dados, o que aumenta a carga do banco de dados.

• Se os nomes das colunas de campo diferirem apenas em maiúsculas/minúsculas em uma tabela gravada no banco de dados MySQL de destino, o resultado da migração poderá não ser o esperado, pois os nomes de colunas no MySQL não diferenciam maiúsculas de minúsculas.

• Se uma instrução DDL falhar ao gravar no banco de dados de destino, a tarefa do DTS continuará em execução. Verifique nos logs da tarefa a instrução com falha. Visualize Consultar logs da tarefa.

• Se várias instâncias do DTS usarem o mesmo banco de dados SQL Server como source, seus módulos de ingestão de dados incrementais serão independentes entre si.

• Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até 8 horas. Eles podem reiniciar a tarefa ou ajustar parâmetros da tarefa (não parâmetros do banco de dados). Para parâmetros ajustáveis, visualize Modifique parâmetros da instância.

• A migração completa de dados usa operações INSERT simultâneas, o que causa fragmentação de tabela no banco de dados de destino. Após a migração completa, o espaço de armazenamento da tabela no banco de dados de destino será maior do que na instância source. Depois que a migração for concluída (o Status da instância mudar para Completed), execute analyze table <table_name> para confirmar se todos os dados foram gravados na tabela de destino. Por exemplo, se um failover de HA for acionado no banco de dados MySQL de destino, os dados poderão ser gravados apenas na memória, causando perda de dados.

Limites do modo Polling CDC

• A conta do banco de dados source deve ter permissões para ativar o CDC. Para ativar o CDC no nível do banco de dados, a conta precisa da função sysadmin. Para ativar o CDC no nível da tabela, é necessária uma conta privilegiada.

  A conta privilegiada fornecida pelo Azure SQL Database atende a esses requisitos. Para bancos de dados baseados em vCore, todos os tipos de instância suportam CDC. Para bancos de dados baseados em DTU, apenas os tipos de instância S3 e posteriores suportam CDC. A conta privilegiada do Amazon RDS for SQL Server atende aos requisitos para ativar o CDC no nível do banco de dados via stored procedures. Tabelas com índice columnstore clusterizado não suportam CDC.

• O DTS consulta a instância CDC de cada tabela para obter dados incrementais. Migre no máximo 1.000 tabelas; caso contrário, podem ocorrer latência ou instabilidade na tarefa.

• Por padrão, os dados incrementais no componente CDC são retidos por 3 dias. Para ajustar o período de retenção, execute:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention= <time>;

  <time> está em minutos. Se uma única tabela tiver mais de 10 milhões de instruções SQL de alteração incremental por dia, defina <time> como 1440.

• Não adicione ou remova colunas consecutivamente. Por exemplo, não execute mais de duas operações DDL para adicionar ou remover colunas dentro de um minuto; caso contrário, a tarefa poderá falhar.

• Não altere a instância CDC do banco de dados source; caso contrário, a tarefa poderá falhar ou poderá haver perda de dados.

Limites do modo de análise híbrida de log

• A migração incremental depende do componente CDC. Certifique-se de que o job de CDC no banco de dados source esteja em execução; caso contrário, a tarefa do DTS falhará.

• Por padrão, os dados incrementais no componente CDC são retidos por 3 dias. Para ajustar, execute:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention= <time>;

  <time> está em minutos. Defina <time> como 1440 se uma única tabela tiver mais de 10 milhões de instruções SQL de alteração incremental por dia.

• Ative o CDC para no máximo 1.000 tabelas em uma única tarefa; caso contrário, podem ocorrer latência ou instabilidade na tarefa.

• O módulo de pré-requisito de uma tarefa de migração incremental ativa o CDC para o banco de dados source. Durante esse processo, o banco de dados source pode ser brevemente bloqueado devido a limites do kernel do banco de dados SQL Server.

• Não adicione ou remova colunas consecutivamente em um intervalo inferior a 10 minutos. Por exemplo, executar as seguintes instruções SQL consecutivamente causa um erro:

  ALTER TABLE test_table DROP COLUMN Flag;
  ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');

• O DTS cria o trigger dts_cdc_sync_ddl, a tabela de heartbeat dts_sync_progress e a tabela de armazenamento DDL dts_cdc_ddl_history no banco de dados source. No modo de sincronização incremental híbrida, o DTS também ativa o CDC no nível do banco de dados e o CDC para algumas tabelas. Mantenha a taxa de alteração de dados das tabelas com CDC ativado em ou abaixo de 1.000 registros por segundo (RPS).

• Não é possível executar instruções SELECT INTO, TRUNCATE ou RENAME COLUMN em tabelas com CDC ativado no banco de dados source. Não é possível excluir manualmente triggers criados pelo DTS no banco de dados source.

Casos especiais

Se a instância source for uma instância do RDS for SQL Server, o DTS criará uma conta rdsdt_dtsacct na instância source para a migração de dados. Não exclua essa conta nem altere sua senha enquanto a tarefa estiver em execução; caso contrário, a tarefa poderá falhar. Visualize Contas do sistema.

SQL Server como source — observação importante

O SQL Server é um banco de dados comercial de código fechado. Devido a limites específicos de formato conhecidos ou desconhecidos, podem ocorrer problemas quando o DTS executa CDC e análise de log. Antes de ativar a sincronização ou migração incremental para uma source SQL Server em produção, realize um teste abrangente de prova de conceito (POC) cobrindo todos os tipos de alterações de negócios, alterações de schema de tabela e testes de estresse em horários de pico. Certifique-se de que a lógica de negócios no ambiente de produção corresponda à do teste POC para garantir a eficiência e a estabilidade do DTS.

Etapa 1: Acesse a lista de tarefas de migração

Use um dos seguintes métodos:

Etapa 2: Configurar bancos de dados source e de destino

Clique em Create Task para abrir a página de configuração da tarefa e configure o seguinte:

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

Certifique-se de que o intervalo de endereços IP do serviço DTS foi adicionado (automaticamente ou manualmente) às configurações de segurança dos bancos de dados source e de destino. Visualize Adicionar endereços IP de servidores DTS a uma lista de permissões . Se o banco de dados source ou de destino for autogerenciado (Access Method não for Alibaba Cloud Instance ), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers .

Etapa 3: Configurar objetos da tarefa

Na página Configure Objects, defina os seguintes parâmetros:

Etapa 4: Configurar definições avançadas

Clique em Next: Advanced Settings para configurar o seguinte:

Etapa 5: Configurar validação de dados

Clique em Next: Data Validation para configurar uma tarefa de validação de dados. Para detalhes, visualize Configurar validação de dados.

Etapa 6: Salve e execute a pré-verificação

Clique em Next: Save Task Settings and Precheck.

Para visualizar os parâmetros da API para esta configuração, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .

Antes do início da tarefa, o DTS executa uma pré-verificação. A tarefa só começa após passar na pré-verificação.

• Se a pré-verificação falhar, clique em View Details ao lado do item com falha, corrija o problema e execute a pré-verificação novamente.

• Se um aviso for relatado:

  • Para itens que não podem ser ignorados, clique em View Details, corrija o problema e execute a pré-verificação novamente.

  • Para itens ignoráveis, clique em Confirm Alert Details > Ignore > OK > Precheck Again. Ignorar avisos pode causar inconsistência de dados e apresentar riscos ao negócio.

Etapa 7: Adquirir a instância

1. Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

2. Na página Purchase, selecione a especificação do link para a instância de migração:

   Categoria	Parâmetro	Descrição
   New Instance Class	Resource Group Settings	Selecione o grupo de recursos para a instância. Padrão: grupo de recursos padrão. Visualize O que é Resource Management?
   	Instance Class	Selecione uma especificação com base no seu cenário de migração. A especificação do link afeta a velocidade da migração. Visualize Especificações de link de migração de dados.

3. Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

4. Clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo de confirmação.