Use o serviço de migração de dados para transferir informações de um banco de dados Milvus autogerenciado para o Vector Retrieval Service for Milvus. O banco de dados source pode estar em um data center on-premises, em outra plataforma de nuvem ou em uma instância ECS da Alibaba Cloud. O serviço também permite migrar dados entre diferentes instâncias do Vector Retrieval Service for Milvus. Ele utiliza um mecanismo de migração completa e incremental para garantir a sincronização total dos dados. Este guia demonstra como migrar seus dados com segurança e eficiência de um Milvus autogerenciado em uma instância ECS para o Vector Retrieval Service for Milvus.
Limitações e requisitos
Preparativos pré-migração (obrigatórios)
-
Controle do status das operações
Tipo de cluster
Requisito
Descrição
Cluster source
Interrompa todas as operações de modificação de dados
Inclui operações de escrita, exclusão e atualização. O cluster deve permanecer em estado de somente leitura para evitar inconsistências de dados durante a migração.
Cluster de destino
Pause todas as operações de dados
Abrange consultas, escritas, exclusões e atualizações. O cluster precisa ficar indisponível para prevenir conflitos de dados durante a migração.
-
Compatibilidade de versões
Requisito
Especificação
Versão do cluster source
Deve ser superior a 2.3.6 (≥ v2.3.7)
Versão do cluster de destino
Deve ser igual ou superior à versão do cluster source
Limites da tarefa de migração
-
Gerenciamento de tarefas
Limite de concorrência: Execute apenas uma tarefa de migração por vez.
-
Escopo dos dados
Limite de banco de dados: Cada tarefa de migração transfere coleções de apenas um banco de dados.
Limite de coleções: Uma única tarefa suporta no máximo cinco coleções.
Tamanho total dos dados: A soma de entidades em todas as coleções não pode ultrapassar 500 milhões.
-
Estado dos dados
Requisito da instância source: As coleções a serem migradas devem estar no estado carregado (loaded).
Requisito da instância de destino: A instância de destino deve estar vazia, sem dados de entidades existentes.
O Vector Retrieval Service for Milvus 2.6 tem compatibilidade retroativa com a versão 2.5. Se o cluster source executar uma versão 2.5.x, como a 2.5.12, migre os dados diretamente para uma instância de destino 2.6 sem converter o formato dos dados.
Configuração de segurança de rede
O serviço de migração de dados lê informações do cluster source e as transfere para o cluster de destino usando um conjunto fixo de endereços IP. Para garantir o sucesso da migração, o cluster source deve permitir conexões de entrada dessas faixas de endereços IP (CIDRs). Configure o firewall do banco de dados, o grupo de segurança ou a lista de controle de acesso (ACL) para aceitar tráfego da faixa de IP correspondente à região da instância de destino. Por exemplo, se a instância de destino estiver na região China (Hangzhou), adicione a faixa de endereços IP de China (Hangzhou) ao grupo de segurança da ECS.
|
Região |
Faixa de endereços IP (CIDR) |
|
China (Beijing) |
|
|
China (Shenzhen) |
|
|
China (Shanghai) |
|
|
China (Hong Kong) |
|
|
China (Hangzhou) |
|
|
China (Ulanqab) |
|
|
Singapore |
|
|
Germany (Frankfurt) |
|
Procedimento de migração
Etapa 1: Configurar a lista de permissões do firewall
No grupo de segurança do servidor onde o serviço Milvus source está implantado, abra a porta padrão 19530 e configure uma regra de entrada que permita acesso exclusivamente da faixa fixa de endereços IP (CIDR) do serviço de migração de dados.
O exemplo a seguir mostra como configurar a regra do grupo de segurança para um Milvus autogerenciado em uma instância ECS:
Defina Authorization Policy como Allow, Priority como 1 e Protocol como Custom TCP. Insira o CIDR do serviço de migração de dados 115.29.196.0/24 no campo Source, digite 19530 na porta Destination (this instance) e clique em Submit.
Etapa 2: Iniciar a tarefa de migração de dados
Faça login no console do Vector Retrieval Service for Milvus, clique em Data Migration e selecione Milvus (via Endpoint).
-
Configure as informações de conexão do Source Cluster, selecione um Target Cluster e clique em Next.
Se o cluster source for um Milvus autogerenciado em uma instância ECS:
Source Cluster Endpoint: http://ECS_Public_IP:9091
-
Username e Password: Nome de usuário e senha do Milvus autogerenciado na instância ECS.
O aviso no topo da página de configuração indica: a versão do cluster source deve ser 2.3.6 ou superior, a configuração de rede precisa ser concluída antecipadamente, é possível usar a ferramenta VTS se a rede não estiver acessível e não há suporte para migração de uma versão mais recente para uma anterior. Após concluir a configuração, clique em Next.
Ao usar uma ferramenta de migração de terceiros, como o Milvus Migration Tool, para conectar-se a uma instância do Vector Retrieval Service for Milvus, o parâmetro Token deve seguir o formato
username:password(por exemplo,root:YourPassword123). O nome de usuário administrador padrão é root, definido durante a criação da instância e não pode ser alterado. A senha corresponde à credencial de login estabelecida na criação da instância. Para redefinir a senha, acesse a página Details, clique na aba Security Configuration e selecione Reset Root Password na seção de configurações do cluster. -
Selecione o Database a ser migrado e adicione-o ao Database de destino. Em seguida, clique em Next.
Certifique-se de que as coleções a serem migradas no cluster source estejam no estado carregado. No painel Migration Source, selecione o banco de dados e a coleção e use os botões de seta para adicioná-los ao painel Migration Target à direita.
-
Revise e configure o mapeamento de campos e clique em OK para iniciar a tarefa de migração.
Na página de mapeamento de campos, tanto a coleção source quanto a de destino são minimal_vectors. Os campos incluem id (Int64, chave primária, auto ID) e vector (FloatVector). A opção Dynamic Column está ativada e o valor de Shard é 2.
Clique no ícone de engrenagem ao lado de um campo na coleção de destino para ajustar opções avançadas no painel pop-up, incluindo Auto ID (alternador de geração automática de ID), Default Value e Partition Key. A Partition Key aceita os tipos INT64 ou VARCHAR. Selecione no máximo um campo como chave de partição; esse campo não pode ser configurado para aceitar valores nulos.
Etapa 3: Monitorar e verificar
-
Visualize o progresso da migração e os logs de erros no console.
Após a conclusão da tarefa, a coluna Status exibirá Succeeded e a coluna Progress mostrará uma barra de progresso totalmente verde na página Data Migration, indicando que a migração foi finalizada com êxito.
Após a migração, valide o volume de dados e a consistência de recall da coleção de destino.