ApsaraDB for SelectDB:Migração de dados

Este tópico descreve como usar o recurso de migração de dados para realizar uma migração completa de uma fonte de dados externa para o ApsaraDB for SelectDB.

Visão geral do recurso

O recurso de migração de dados permite a migração completa das seguintes fontes de dados para o ApsaraDB for SelectDB:

• Apache Doris

• SelectDB

• StarRocks

Pré-requisitos

• Reúna as informações de conexão do cluster de origem, incluindo endereço, porta, nome de usuário e senha.

• Prepare um bucket temporário do Object Storage Service (OSS) para armazenamento provisório dos dados. Obtenha o endpoint e as informações de autorização desse bucket. A tarefa de migração usa esse bucket do OSS para armazenar dados temporariamente e limpa os arquivos automaticamente após a conclusão da tarefa.

Procedimento

Acesse a página Data Migration

1. Faça login no console do ApsaraDB for SelectDB.

2. No canto superior esquerdo da página, selecione a região onde sua instância está localizada.

3. Na página Instances, clique em Instance ID desejado para acessar a página Instance Details.

4. Clique em Data Development and Management (Studio) no painel de navegação à esquerda e, em seguida, clique em data migration.

   Nota

   Ao usar o Data Development and Management pela primeira vez, o sistema solicitará a adição do seu endereço IP público local ao grupo de lista de permissões de endereços IP webui_whitelist. Leia o aviso com atenção e clique em OK.

Crie uma tarefa de migração

Na página Data Migration, clique em Create Migration Task e siga o assistente para concluir a configuração passo a passo.

1. Configure o cluster de origem e as informações básicas da tarefa

   No painel de navegação à esquerda, acesse o módulo de migração e clique em Create Migration Task. Insira as informações solicitadas e clique em Next para verificar a conectividade.

   • Task Name e Description: Defina um nome e uma descrição personalizados para a tarefa.

   • Source Cluster Connection Information: Informe o endpoint, a porta JDBC, a porta HTTP, o nome de usuário e a senha do cluster de origem.

2. Configure o armazenamento de objetos temporário

   Selecione o provedor de cloud para o armazenamento de objetos e insira o Object Storage Endpoint e as Authorization Information correspondentes.

3. Selecione os objetos a serem migrados

   Escolha os bancos de dados e tabelas para migração. Selecione vários objetos simultaneamente ou use a caixa de pesquisa para filtrá-los. Use também o recurso Data Filtering para definir condições de filtro para tabelas específicas e migrar apenas os dados que atendam a esses critérios. A tarefa de migração cria automaticamente as tabelas correspondentes no ApsaraDB for SelectDB de destino com base no esquema da tabela de origem, eliminando a necessidade de criação prévia. Se você se conectar ao ApsaraDB for SelectDB via JDBC (protocolo MySQL) e executar uma instrução INSERT para gravar dados, o erro Table does not exist será retornado caso a tabela de destino não exista. Nesse cenário, execute CREATE TABLE para criar o esquema da tabela antes de gravar os dados.

4. Configurações avançadas

   Defina as métricas de desempenho da tarefa de migração:

   • Cluster: Escolha o recurso de computação para executar a tarefa de migração.

   • Table-level concurrency: Especifique a quantidade de tabelas a serem migradas simultaneamente.

   • In-table concurrency: Determine o número de partições de dados (Tablets) concorrentes a serem migradas dentro de uma única tabela.

5. Precheck and start

   O sistema realiza uma verificação prévia da configuração. Após a aprovação nessa etapa, inicie a tarefa de migração.

Consistência dos dados

A manutenção da consistência do esquema da tabela e dos dados após a migração depende do tipo de campo:

• Campos comuns, como INT, VARCHAR e DECIMAL, preservam a consistência do esquema da tabela e dos dados.

• Campos agregados BITMAP e HLL não suportam migração direta. Recrie a tabela no destino e reimporte os dados usando as funções correspondentes:

  • Campos BITMAP: Especifique o tipo de agregação BITMAP_UNION ao criar a tabela e use a função bitmap_hash() para importar os dados.

  • Campos HLL: Defina o tipo de agregação HLL_UNION durante a criação da tabela e use a função hll_hash() para importar os dados.

Após a conclusão da migração, compare o esquema da tabela (nomes de colunas, tipos e restrições) e a integridade dos dados (contagem de linhas e conteúdo) entre a origem e o destino para confirmar que o resultado atende às suas expectativas.

Visualize e gerencie tarefas de migração

Ao iniciar uma tarefa de migração, a página redireciona automaticamente para a lista Data Migration. Nesse local, visualize e gerencie todas as tarefas de migração.

• Visualização da lista de tarefas: Na página Data Migration, consulte informações básicas de todas as tarefas, como Name, Data Source, Status e Created At.

• Detalhes da tarefa: Clique em botão na coluna Actions de uma tarefa para abrir a página de detalhes. Nela, acompanhe o progresso da migração, os detalhes no nível da tabela e as informações de configuração.