Data Transmission Service:Migrate data from a PolarDB for MySQL cluster to an ApsaraDB for ClickHouse cluster

Limites do banco de dados source

• A largura de banda de saída do servidor do banco de dados source deve ser suficiente; a largura de banda baixa reduz a velocidade da migração.

• Uma única tarefa de migração suporta no máximo 1.000 tabelas ao migrar no nível de tabela com mapeamento de nomes de objetos. Caso ultrapasse esse limite, divida as tabelas em várias tarefas ou migre no nível do banco de dados.

• Durante a migração de schema e a migração completa de dados, não execute operações DDL no banco de dados source para evitar falhas na tarefa de migração.

Durante a migração completa de dados, o DTS consulta o banco de dados source e pode criar um bloqueio de metadados que impede temporariamente as operações DDL.

• Caso execute apenas a migração completa de dados (sem migração incremental), não grave novos dados no banco de dados source durante a migração para evitar inconsistência de dados.

Outros limites

• Os nós somente leitura do cluster PolarDB for MySQL source não podem ser migrados.

• Tabelas externas do Object Storage Service (OSS) não são migradas.

• Não há suporte para os seguintes tipos de objetos: INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER e FOREIGN KEY (FK).

• Não há suporte para failover primário/standby durante a migração completa de dados. Caso ocorra um failover, reconfigure a tarefa de migração.

• A operação RENAME TABLE não pode ser migrada.

• O limite máximo de bancos de dados para migração é 256 (limite do ApsaraDB for ClickHouse).

• Os nomes de bancos de dados, tabelas e colunas devem estar em conformidade com ApsaraDB for ClickHouse naming conventions.

• A Chave de Partição não pode ser um campo anulável e aceita apenas os tipos de dados BIGINT, INT, TIMESTAMP, DATETIME e DATE.

• Os dados de data e hora no ApsaraDB for ClickHouse possuem limites de intervalo específicos. Consulte Intervalos de tipos de dados de data e hora para obter detalhes.

• Quando a migração de schema está ativada, o DTS adiciona automaticamente os campos _sign, _is_deleted e _version às tabelas de destino. Caso pule a migração de schema, crie as tabelas de destino manualmente com esses campos. Consulte Requisitos da tabela de destino.

• Durante a migração do DTS, não grave dados de outras origens no banco de dados de destino para evitar inconsistência de dados.

• Caso uma instância do DTS falhe, a equipe do DTS tentará recuperá-la em até 8 horas. As operações de recuperação podem incluir a reinicialização da instância e o ajuste de parâmetros da instância do DTS (os parâmetros do banco de dados nunca são modificados).

• Antes da migração, avalie o desempenho de ambos os bancos de dados e execute a migração em horários de baixa demanda para reduzir a carga.

• Caso esteja migrando tabelas específicas (e não um banco de dados inteiro), não use o pt-online-schema-change para alterações DDL online nessas tabelas para evitar falhas na migração. Use o Data Management (DMS). Consulte Alterar schemas sem bloquear tabelas.

• Não há suporte para a migração de dados do tipo VECTOR.

Limites de DDL online

Etapa 1: Acessar a página Data Migration

Use um dos seguintes consoles.

Console do DTS

1. Acesse o console do DTS.

2. No painel de navegação à esquerda, clique em Data Migration.

3. No canto superior esquerdo, selecione a região da instância de migração.

Console do DMS

As etapas exatas podem variar conforme o modo e o layout do seu console do DMS. Consulte Modo simples e Personalizar o layout e o estilo do console do DMS .

1. Acesse o console do DMS.

2. Na barra de navegação superior, passe o ponteiro sobre Data + AI > DTS (DTS) > Data Migration.

3. Na lista suspensa ao lado de Data Migration Tasks, selecione a região da instância de migração.

Etapa 2: Configurar os bancos de dados source e de destino

Clique em Create Task e configure os seguintes parâmetros.

Clique em Test Connectivity and Proceed.

Certifique-se de adicionar os blocos CIDR dos servidores do DTS às configurações de segurança (lista de permissões) de ambos os bancos de dados. Consulte Adicionar endereços IP do servidor DTS a uma lista de permissões .

Etapa 3: Configurar os objetos de migração

Na página Configure Objects, defina os seguintes parâmetros.

Etapa 4: Definir as configurações avançadas

Clique em Next: Advanced Settings e defina os seguintes parâmetros.

Etapa 5: Configurar os campos da tabela para o ClickHouse

Clique em Next: Configure Database and Table Fields e defina os parâmetros Type, Primary Key Column, Sort Key, Distribution Key e Partition Key para cada tabela migrada.

O DTS fornece configurações padrão. Revise-as ou modifique-as, defina Definition Status como All.

Regras principais:

• Primary Key Column e Sort Key aceitam chaves compostas: selecione vários campos nas listas suspensas.

• Selecione uma ou mais colunas da Primary Key Column para atuar como Partition Key.

• A Distribution Key aceita apenas um único campo.

• Deixe a Partition Key em branco se não for necessária, mas não selecione um campo anulável para evitar falhas na tarefa de migração.

• As chaves de partição aceitam apenas BIGINT, INT, TIMESTAMP, DATETIME e DATE. Consulte Partition key calculation logic.

Para obter mais informações sobre chaves primárias, chaves de classificação e chaves de partição, consulte CREATE TABLE.

Etapa 6: Execute a pré-verificação e inicie a migração

1. Clique em Next: Save Task Settings and Precheck. Visualize os parâmetros da API para esta tarefa, passe o ponteiro do mouse sobre Próximo: Salve as configurações da tarefa e faça a pré-verificação e clique em Preview OpenAPI parameters antes de continuar.

2. O DTS executa uma pré-verificação antes de iniciar a migração. Caso a pré-verificação falhe:

   • Clique em View Details ao lado de cada item com falha, corrija o problema e clique em Precheck Again.

   • Caso um item exiba um aviso (e não uma falha) e você possa aceitar o risco, clique em Confirm Alert Details > Ignore > OK e, em seguida, clique em Precheck Again.

   Importante

   Ignorar um alerta de pré-verificação pode causar inconsistência de dados.

Etapa 7: Adquirir a instância e iniciar a migração

1. Aguarde até que a Success Rate atinja 100% e clique em Next: Purchase Instance.

2. Na página Purchase Instance, configure os seguintes parâmetros.

   Seção	Parâmetro	Descrição
   New Instance Class	Resource Group	O grupo de recursos para a instância de migração. Padrão: default resource group. Consulte O que é o Resource Management?
   	Instance Class	A classe da instância determina a velocidade da migração. Consulte Classes de instâncias de migração de dados.

3. Leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms e clique em Buy and Start > OK.

Visualize o progresso da migração na página Data Migration.

Caso a tarefa não inclua migração incremental de dados, ela será interrompida automaticamente após a conclusão. A coluna Status exibirá Completed .

Caso a tarefa inclua migração incremental de dados, ela será executada continuamente e não será interrompida automaticamente. A coluna Status exibirá Running .

Requisitos da tabela de destino

Caso pule a migração de schema e crie as tabelas de destino manualmente, as tabelas deverão atender aos seguintes requisitos.

SELECT * FROM <table_name> FINAL WHERE _sign > 0;

Intervalos de tipos de dados de data e hora

Caso os dados de data e hora no cluster PolarDB for MySQL source estejam fora dos seguintes intervalos, os valores gravados no ApsaraDB for ClickHouse estarão incorretos.

Lógica de cálculo da chave de partição

O DTS aplica a seguinte lógica ao derivar valores de chave de partição a partir dos campos source.