Data migration between Alibaba Cloud Milvus instances - Vector Retrieval Service for Milvus: Central de Documentação do Alibaba Cloud

Use o serviço de migração de dados do Alibaba Cloud Milvus para transferir dados de bancos de dados Milvus autogerenciados — locais, em outras plataformas de nuvem ou em instâncias do Alibaba Cloud ECS — para o serviço gerenciado do Alibaba Cloud Milvus. Esse recurso também permite migrar dados entre duas instâncias do Alibaba Cloud Milvus, tanto na mesma conta quanto entre contas diferentes. O mecanismo de migração completa garante a sincronização total dos dados. Este tópico descreve uma migração entre instâncias para demonstrar como mover dados para o Alibaba Cloud Milvus com segurança e eficiência.

Limitações e requisitos

Preparações pré-migração (obrigatórias)

Controle do estado operacional

Tipo de cluster	Requisito	Descrição
Cluster de origem	Interrompa todas as operações de modificação de dados.	Suspenda escritas, exclusões e atualizações para manter o cluster em estado somente leitura. Isso evita inconsistências durante a migração.
Cluster de destino	Pause todas as operações de dados.	Suspenda consultas, escritas, exclusões e atualizações. Mantenha a instância indisponível para evitar conflitos com os dados recebidos.

Compatibilidade de versões

Requisito	Especificação
Versão do cluster de origem	Deve ser v2.3.7 ou posterior (≥ v2.3.7).
Versão do cluster de destino	Deve ser igual ou superior à versão do cluster de origem.

Limites da tarefa de migração

Gerenciamento de tarefas
- Limite de simultaneidade: Execute apenas uma tarefa de migração por vez.
Escopo de dados
- Limite de banco de dados: Migre coleções de apenas um banco de dados por tarefa.
- Limite de coleções: Cada tarefa aceita no máximo cinco coleções.
- Tamanho total dos dados: O número total de entidades em todas as coleções não pode exceder 500 milhões.
Estado dos dados
- Requisito da instância de origem: As coleções a migrar devem estar no estado carregado (loaded).
- Requisito da instância de destino: A instância de destino deve estar vazia, sem entidades existentes.

Requisitos de rede

Duas instâncias do Milvus na mesma região: Conecte-as pelo endpoint interno. A transferência ocorre mais rapidamente e dispensa configuração de lista de permissões ou grupo de segurança.

Duas instâncias do Milvus em regiões diferentes: Use o endpoint público. Adicione o bloco CIDR de IP público da região da instância de destino à lista de permissões de acesso público da instância de origem.

Região da instância de destino	Bloco CIDR de IP
China (Beijing)	`39.105.32.0/24`
China (Shenzhen)	`120.77.174.0/24`
China (Shanghai)	`47.117.185.0/24`
China (Hong Kong)	`8.217.170.0/24`
China (Hangzhou)	`115.29.196.0/24`
China (Ulanqab)	`121.89.83.0/24`
Singapore	`45.113.192.0/24`
Germany (Frankfurt)	`47.245.133.0/24`

Duas instâncias do Milvus em contas diferentes (migração entre contas): O campo EndPoint do cluster de origem aceita o endereço de conexão de qualquer instância do Milvus, inclusive de outras contas da Alibaba Cloud. Em migrações entre contas, garanta que a instância de destino acesse o EndPoint da instância de origem pela rede. Se as instâncias estiverem em VPCs distintas, estabeleça a conectividade via Cloud Enterprise Network (CEN) ou solução similar antes de prosseguir. Ao usar um endpoint público, adicione o bloco CIDR de IP público da região da instância de destino à lista de permissões de acesso público da instância de origem.

Procedimento de migração

Faça logon no console do Alibaba Cloud Milvus, clique em Data Migration e, em seguida, em Milvus (via Endpoint).
Configure as informações de conexão do Source Cluster, selecione o Target Cluster e clique em Next.
- Source Cluster Endpoint: Endereço de conexão do cluster Milvus de origem. Para cenários de mesma conta e região, insira o endpoint interno. Para cenários entre contas ou regiões, insira o endpoint público ou um endpoint interno com conectividade já estabelecida.
- Username e Password: Nome de usuário e senha da instância Milvus de origem. Para migração entre contas, insira as credenciais de autenticação da instância Milvus da conta de origem.
Selecione o Database a migrar e adicione-o ao Database de destino; depois, clique em Next.
Revise e configure o mapeamento de campos e clique em OK para iniciar a tarefa de migração.

Monitoramento e verificação

Visualize o progresso da migração e os logs de erros no console.
Após concluir a migração, verifique o volume de dados e a consistência de recall das coleções de destino.