Migração de dados entre instâncias do Alibaba Cloud Milvus - Vector Retrieval Service for Milvus: Central de Documentação do Alibaba Cloud

O service de migração de dados do Alibaba Cloud Milvus permite transferir dados de bancos de dados Milvus autogerenciados — localizados on-premises, em outras plataformas cloud ou em instâncias ECS da Alibaba Cloud — para o service gerenciado do Alibaba Cloud Milvus. Esse recurso também suporta a migração de dados entre duas instâncias do Alibaba Cloud Milvus, abrangendo cenários na mesma conta e entre contas diferentes. O mecanismo de migração completa garante a sincronização integral dos dados. Este tópico utiliza um exemplo de migração entre instâncias para demonstrar como usar o service de migração de dados e mover informações para o Alibaba Cloud Milvus com segurança e eficiência.

Limitações e requisitos

Preparativos pré-migração (obrigatórios)

Controle do estado operacional

Tipo de cluster	Requisito	Descrição
Cluster source	Interrompa todas as operações de modificação de dados.	Pare todas as operações de escrita, exclusão e atualização para garantir que o cluster esteja em estado somente leitura. Essa medida evita inconsistências de dados durante a migração.
Cluster de destino	Pause todas as operações de dados.	Suspenda consultas, escritas, exclusões e atualizações. Mantenha a instância indisponível para evitar conflitos com os dados recebidos.

Compatibilidade de versões

Requisito	Especificação
Versão do cluster source	Deve ser v2.3.7 ou posterior (≥ v2.3.7).
Versão do cluster de destino	Precisa ser igual ou superior à versão do cluster source.

Limites da tarefa de migração

Gerenciamento de tarefas
- Limite de concorrência: Apenas uma tarefa de migração pode ser executada por vez.
Escopo dos dados
- Restrição de banco de dados: Cada tarefa de migração transfere coleções de apenas um banco de dados.
- Quantidade de coleções: Uma única tarefa suporta no máximo cinco coleções.
- Volume total: O número total de entidades em todas as coleções não pode ultrapassar 500 milhões.
Estado dos dados
- Instância source: As coleções a serem migradas devem estar no estado carregado (loaded).
- Instância de destino: A instância de destino precisa estar vazia, sem dados de entidades existentes.

Requisitos de rede

Duas instâncias Milvus na mesma região: Conecte-as pelo endpoint interno. Não é necessário configurar lista de permissões ou grupo de segurança, e a transferência de dados ocorre mais rapidamente.

Duas instâncias Milvus em regiões diferentes: Utilize o endpoint público. Adicione o bloco CIDR de IP público da região onde reside a instância de destino à lista de permissões de acesso público da instância source.

Região da instância de destino

Bloco CIDR de IP

China (Beijing)

39.105.32.0/24

China (Shenzhen)

120.77.174.0/24

China (Shanghai)

47.117.185.0/24

China (Hong Kong)

8.217.170.0/24

China (Hangzhou)

115.29.196.0/24

China (Ulanqab)

121.89.83.0/24

Singapore

45.113.192.0/24

Germany (Frankfurt)

47.245.133.0/24

Duas instâncias Milvus em contas diferentes (migração entre contas): O campo EndPoint do cluster source aceita o endereço de conexão de qualquer instância Milvus, inclusive de outras contas da Alibaba Cloud. Para migrações entre contas, garanta que a instância de destino consiga acessar o EndPoint da instância source pela rede. Caso as instâncias estejam em VPCs distintas, estabeleça conectividade de rede via Cloud Enterprise Network (CEN) ou solução similar antes de prosseguir. Se optar pelo endpoint público, adicione o bloco CIDR de IP público da região da instância de destino à lista de permissões de acesso público da instância source.

Procedimento de migração

Faça logon no console do Alibaba Cloud Milvus, clique em Data Migration e, em seguida, clique em Milvus (via Endpoint).
Configure as informações de conexão do Source Cluster, selecione o Target Cluster e clique em Next.
- Source Cluster Endpoint: Endereço de conexão do cluster Milvus source. Em cenários de mesma conta e mesma região, insira o endpoint interno. Para cenários entre contas ou entre regiões, insira o endpoint público ou um endpoint interno com conectividade de rede já estabelecida.
  
  Na página Instance Details da instância source, obtenha o internal endpoint na seção Connection Address.
- Username e Password: Nome de usuário e senha da instância Milvus source. Em migrações entre contas, insira as credenciais de autenticação da instância Milvus da conta source.
  
  As seguintes observações aparecem no topo da página:
  - A versão do cluster source deve ser 2.3.6 ou posterior.
  - Conclua a configuração de rede do cluster antes da migração.
  - Não há suporte para migração de uma versão superior para uma inferior.
  Na seção Target Cluster, selecione a instância Milvus de destino na lista suspensa.
Selecione o Database a ser migrado e adicione-o ao Database de destino; depois, clique em Next.

Ao configurar os dados de migração, certifique-se de que as coleções do cluster source estejam no estado carregado (Load).
Revise e configure o mapeamento de campos e clique em OK para iniciar a tarefa de migração.

Monitoramento e verificação

Visualize o progresso da migração e os logs de erros no console.

Na lista de tarefas da página Data Migration, é possível acompanhar o status e o andamento das migrações. Quando a coluna de status exibir Succeeded e a barra de progresso estiver completa, a migração de dados foi concluída.
Após concluir a migração, recomenda-se verificar o volume de dados e a consistência de recall das coleções de destino.