Data Transmission Service:Migrar dados de um banco de dados TiDB autogerenciado para o AnalyticDB for MySQL 3.0

Escolher um método

Configurar parâmetros do Kafka

Antes de conectar ao DTS, aumente os seguintes parâmetros do Kafka. Sem essas alterações, o cluster Kafka pode rejeitar grandes cargas úteis de log binário do TiDB.

Preparar um cluster Kafka

Utilize uma das opções a seguir:

• Cluster Kafka autogerenciado — Implante seu próprio cluster. Consulte o site oficial do Apache Kafka.

• Instância do ApsaraMQ for Kafka — Crie uma instância gerenciada. Consulte a Visão geral de introdução. Implante a instância na mesma virtual private cloud (VPC) do servidor de banco de dados TiDB.

Após preparar o cluster Kafka, crie um tópico com exactly one partition. O DTS lê apenas da partição com ID 0. Partições adicionais causam perda de dados.

Usar o TiDB Binlog

1. Implante o Pump e o Drainer em servidores na mesma rede interna do banco de dados TiDB. Consulte a Implantação de cluster TiDB Binlog.

2. Edite o arquivo de configuração do Drainer para apontar para o cluster Kafka. Consulte o Guia do usuário do cliente consumidor de Binlog.

3. Verifique se o servidor TiDB consegue acessar o cluster Kafka.

4. Adicione os blocos CIDR dos servidores DTS à lista de permissões do banco de dados TiDB. Consulte Adicionar os blocos CIDR dos servidores DTS.

Usar o TiCDC

1. Instale o TiCDC usando o TiUP para adicionar um novo nó TiCDC ou expandir um nó existente no cluster TiDB. Consulte Implantar e manter o TiCDC.

2. Crie um changefeed para replicar dados incrementais para o Kafka. Use tiup cdc cli changefeed create como comando inicial. Consulte Replicar dados para o Kafka.

3. Verifique se o servidor TiDB consegue acessar o cluster Kafka.

Banco de dados de source

• O servidor TiDB deve ter largura de banda de saída suficiente. Largura de banda baixa reduz a velocidade da migração.

• As tabelas a serem migradas devem ter restrições PRIMARY KEY ou UNIQUE com todos os campos únicos. Tabelas sem essas restrições podem gerar registros duplicados no destino.

• Se você renomear tabelas ou colunas durante a migração, uma única tarefa suporta até 1.000 tabelas. Para mais de 1.000 tabelas, divida a migração em várias tarefas ou migre o banco de dados inteiro em uma única tarefa.

• Para migrar dados incrementais do banco de dados TiDB de source, implante um cluster Kafka e instale os componentes relacionados para que o TiDB colete os dados incrementais.

• Índices de prefixo não podem ser migrados. Se o banco de dados de source contiver índices de prefixo, a tarefa de migração poderá falhar.

Migração incremental

• O DTS lê dados apenas da partição com ID 0 do tópico Kafka. Configure o tópico com exatamente uma partição.

• Após criar uma tarefa de migração incremental, execute operações no banco de dados de source ou insira dados de teste prontamente para atualizar as informações de offset da tarefa. Longos atrasos antes do primeiro evento de dados podem causar falha na tarefa.

Comportamento do destino e da tarefa

• Especifique uma chave primária personalizada no banco de dados de destino ou configure a Primary Key Column na etapa Configurations for Databases, Tables, and Columns. A ausência da configuração de chave primária causa falha na migração de dados.

• Se o cluster AnalyticDB for MySQL V3.0 estiver em backup enquanto a tarefa do DTS estiver em execução, a tarefa falhará.

• Caso o uso de disco nos nós do AnalyticDB for MySQL V3.0 exceda 80%, a tarefa de migração será atrasada e erros serão retornados. Estime o espaço em disco necessário antes de começar.

• A migração completa de dados aumenta a carga nos bancos de dados de source e de destino. Execute migrações fora do horário de pico, quando a carga da CPU estiver abaixo de 30%.

• A migração completa de dados usa operações INSERT simultâneas, o que causa fragmentação nas tabelas de destino. Após a conclusão da migração completa, o tamanho do tablespace de destino será maior que o da source.

• Se outras origens gravarem no destino durante a migração, poderá ocorrer inconsistência de dados.

• O DTS usa a função ROUND(COLUMN,PRECISION) para recuperar valores FLOAT e DOUBLE. A precisão padrão é de 38 dígitos para FLOAT e 308 dígitos para DOUBLE. Verifique se esses padrões atendem aos seus requisitos antes de iniciar.

• Durante a migração de esquema, o DTS não oferece suporte à migração de visualizações materializadas para a instância AnalyticDB for MySQL de destino. Para usar visualizações materializadas, crie-as manualmente na instância de destino após a conclusão da migração.

• O DTS tenta retomar automaticamente tarefas com falha por até sete dias. Antes de alternar cargas de trabalho para o destino, pare ou libere quaisquer tarefas com falha, ou execute a instrução REVOKE para remover permissões de gravação das contas do DTS. Caso contrário, uma tarefa retomada poderá sobrescrever dados no destino.

• Se instruções DDL falharem no destino, a tarefa do DTS continuará em execução. Visualize as instruções DDL com falha nos logs da tarefa. Consulte Visualizar logs da tarefa.

• Se uma tarefa do DTS falhar, o suporte técnico do DTS tentará restaurá-la dentro de 8 horas. Durante a restauração, a tarefa pode ser reiniciada e parâmetros da tarefa (não parâmetros do banco de dados) podem ser modificados. Para obter uma lista de parâmetros que podem ser alterados, consulte Modificar parâmetros da instância.

Etapa 1: Acessar a página Data Migration

Use o console do DTS ou o console do DMS.

Console do DTS

1. Faça login no console do DTS.

2. No painel de navegação à esquerda, clique em Data Migration.

3. No canto superior esquerdo, selecione a região onde a instância de migração residirá.

Console do DMS

As etapas podem variar dependendo do modo e do layout do console do DMS. Consulte Modo simples e Personalizar o layout e o estilo do console do DMS .

1. Faça login no console do DMS.

2. Na barra de navegação superior, passe o ponteiro sobre Data + AI > DTS (DTS) > Data Migration.

3. Na lista suspensa à direita de Data Migration Tasks, selecione a região onde a instância de migração residirá.

Etapa 2: Configurar bancos de dados de source e de destino

1. Clique em Create Task.

2. Insira um Task Name. O DTS gera um nome automaticamente; especifique um nome descritivo para facilitar a identificação da tarefa posteriormente.

3. Configure o banco de dados de source:

   Parâmetro	Descrição
   Select Existing Connection	Selecione uma instância de banco de dados registrada para preencher automaticamente os parâmetros abaixo ou deixe em branco e insira os detalhes de conexão manualmente.
   Database Type	Selecione TiDB.
   Access Method	Selecione o método de acesso com base no local onde o TiDB está implantado. Este exemplo usa Self-managed Database on ECS. Para outros métodos de acesso, prepare o ambiente necessário primeiro. Consulte Preparation overview.
   Instance Region	A região onde o banco de dados TiDB reside.
   ECS Instance ID	O ID da instância ECS que hospeda o TiDB.
   Port Number	A porta do service TiDB. Padrão: 4000.
   Database Account	A conta do banco de dados TiDB.
   Database Password	A senha da conta do banco de dados.
   Migrate Incremental Data	Selecione Yes se desejar a migração incremental de dados e insira os detalhes do cluster Kafka na seção Kafka cluster configuration.

4. Configure o banco de dados de destino:

   Parâmetro	Descrição
   Select Existing Connection	Selecione uma instância registrada para preencher automaticamente os parâmetros abaixo ou deixe em branco e insira os detalhes de conexão manualmente.
   Database Type	Selecione AnalyticDB for MySQL 3.0.
   Access Method	Selecione Alibaba Cloud Instance.
   Instance Region	A região onde o cluster de destino reside.
   Instance ID	O ID do cluster AnalyticDB for MySQL V3.0 de destino.
   Database Account	A conta do banco de dados para o cluster de destino. Consulte Permissões necessárias.
   Database Password	A senha da conta do banco de dados.

5. Clique em Test Connectivity and Proceed. Na caixa de diálogo CIDR Blocks of DTS Servers, clique em Test Connectivity.

   Os blocos CIDR do DTS devem ser adicionados às configurações de segurança dos bancos de dados de source e de destino. Consulte Adicionar os blocos CIDR dos servidores DTS .

Etapa 3: Configurar objetos a serem migrados

Na página Configure Objects, defina os seguintes parâmetros:

Clique em Next: Advanced Settings.

Etapa 4: Definir configurações avançadas

Etapa 5: Configurar verificação de dados (opcional)

Clique em Next Step: Data Verification para configurar uma tarefa de verificação de dados. Consulte Configurar uma tarefa de verificação de dados.

Etapa 6: Configurar campos de banco de dados e tabelas (opcional)

Clique em Next: Configure Database and Table Fields para definir o Type, Primary Key Column, Distribution Key, Partition Key, Partitioning Rules e Partition Lifecycle para as tabelas de destino.

Esta etapa está disponível apenas se Schema Migration estiver selecionado. Defina o Definition Status como All para visualizar e editar todas as tabelas. Para formar uma chave primária composta, especifique várias colunas em Primary Key Column e designe uma ou mais como Distribution Key e Partition Key . Consulte CREATE TABLE .

Etapa 7: Executar a pré-verificação

Clique em Next: Save Task Settings and Precheck.

Para visualizar os parâmetros da API para esta configuração de tarefa, passe o mouse sobre o botão e clique em Preview OpenAPI parameters antes de prosseguir.

O DTS executa uma pré-verificação antes de iniciar a migração. Se a pré-verificação falhar:

• Clique em View Details ao lado do item com falha, resolva o problema e clique em Precheck Again.

• Para itens de alerta que podem ser ignorados com segurança, clique em Confirm Alert Details > Ignore > OK e, em seguida, clique em Precheck Again. Ignorar alertas pode resultar em inconsistência de dados.

Etapa 8: Adquirir uma instância e iniciar a tarefa

1. Aguarde até que a Success Rate atinja 100% e clique em Next: Purchase Instance.

2. Na página Purchase Instance, configure o seguinte:

   Parâmetro	Descrição
   Resource Group	O grupo de recursos para a instância de migração. Padrão: default resource group. Consulte O que é Resource Management?.
   Instance Class	A classe da instância determina a velocidade da migração. Consulte Classes de instâncias de migração de dados.

3. Leia e aceite os Data Transmission service (Pay-as-you-go) Service Terms.

4. Clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo de confirmação.

Monitore o progresso da tarefa na página Data Migration.

• Tarefas sem migração incremental param automaticamente quando concluídas. O status mostra Completed.

• Tarefas com migração incremental são executadas continuamente. O status mostra Running. Pare a tarefa manualmente após o cutover.