Data migration between Alibaba Cloud Milvus instances - Vector Retrieval Service for Milvus: Central de Documentação do Alibaba Cloud

Use o service de migração de dados do alibaba cloud Milvus para transferir dados de bancos de dados Milvus autogerenciados — localizados em um IDC local, em outras plataformas de cloud ou em instâncias do Alibaba Cloud ECS — para o service gerenciado do Alibaba Cloud Milvus. O service também oferece suporte à migração de dados entre duas instâncias do Alibaba Cloud Milvus, incluindo cenários na mesma conta e entre contas diferentes. Ele utiliza um mecanismo de migração completa para garantir a sincronização total dos dados. Este tópico usa a migração entre instâncias do Alibaba Cloud Milvus como exemplo para descrever como usar o service de migração de dados para transferir dados com segurança e eficiência para o Alibaba Cloud Milvus.

Limitações e requisitos

Antes de iniciar a migração, verifique as preparações, os limites de tarefas e os requisitos de rede a seguir.

Preparações pré-migração (obrigatórias)

Controle do estado operacional

Tipo de cluster	Requisito	Descrição
Cluster de origem	Interrompa todas as operações de modificação de dados.	Interrompa todas as operações de gravação, não exclua e não atualize dados para garantir que o cluster esteja em estado de somente leitura. Isso evita inconsistências de dados durante a migração.
Cluster de destino	Pause todas as operações de dados.	Interrompa todas as operações de consulta, gravação, e não exclua ou atualize dados. Mantenha a instância indisponível para evitar conflitos com os dados de entrada.

Compatibilidade de versões

Requisito	Especificação
Versão do cluster de origem	Deve ser posterior a 2.3.6 (ou seja, ≥ v2.3.7)
Versão do cluster de destino	Não deve ser anterior à versão do cluster de origem

Limites de tarefas de migração

Gerenciamento de tarefas
- Limite de simultaneidade: O sistema permite que você execute apenas uma tarefa de migração por vez.
Escopo de dados
- Limite de banco de dados: Cada tarefa de migração pode migrar coleções de apenas um banco de dados.
- Limite de coleções: Cada tarefa de migração suporta no máximo cinco coleções.
- Tamanho total dos dados: O número total de entidades em todas as coleções não pode exceder 500 milhões.
Estado dos dados
- Requisito da instância de origem: As coleções a serem migradas devem estar no estado carregado.
- Requisito da instância de destino: A instância de destino deve estar vazia, sem dados de entidades existentes.

Requisitos de rede

As duas instâncias do Milvus estão na mesma região: Conecte-se à instância pelo endereço interno. Você não precisa configurar uma lista de permissões ou grupo de segurança, e a transferência de dados é mais rápida.

As duas instâncias do Milvus estão em regiões diferentes: Conecte-se à instância pelo endereço público. Adicione o intervalo de endereços ip públicos da região onde a instância de destino está localizada à lista de permissões de acesso público da instância de origem.

Região da instância de destino	Intervalo de endereços IP (CIDR)
China (Beijing)	`39.105.32.0/24`
China (Shenzhen)	`120.77.174.0/24`
China (Shanghai)	`47.117.185.0/24`
China (Hong Kong)	`8.217.170.0/24`
China (Hangzhou)	`115.29.196.0/24`
China (Ulanqab)	`121.89.83.0/24`
Singapore (Southeast Asia)	`45.113.192.0/24`
Germany (Frankfurt)	`47.245.133.0/24`

As duas instâncias do Milvus estão em contas diferentes (migração entre contas): O campo EndPoint do cluster de origem suporta o endereço de conexão de uma instância do Milvus em outra conta da Alibaba Cloud. Para migrações entre contas, certifique-se de que a instância de destino possa acessar o endereço EndPoint da instância de origem pela rede. Se você usar um endereço público para a conexão, adicione o intervalo de endereços IP públicos da região onde a instância de destino está localizada à lista de permissões de acesso público da instância de origem.

Etapas de migração

Faça login no console do Alibaba Cloud Milvus, clique em Data Migration e, em seguida, clique em Milvus (via Endpoint).
Agora, configure as informações de conexão do Source Cluster, selecione o Target Cluster e clique em Next.
- Source Cluster Endpoint: O endereço de conexão do cluster Milvus source. Para cenários de mesma conta e mesma região, insira o endereço interno. Para cenários entre contas ou entre regiões, insira o endereço público ou um endereço interno com rede conectada.
  
  Na página Instance Details da instância de origem, você pode obter o Internal Address na seção Access Address.
- Username e Password: O nome de usuário e a senha da instância Milvus de origem. Para migração entre contas, insira as informações de autenticação da instância Milvus na conta de origem.
  
  As seguintes notas aparecem na parte superior da página:
  - A versão do cluster de origem deve ser 2.3.6 ou posterior.
  - Conclua a configuração de rede do cluster antes da migração.
  - O sistema não suporta a migração de uma versão superior para uma inferior.
  Na seção Target Cluster, selecione a instância Milvus de destino na lista suspensa.
Selecione o Database a ser migrado, adicione-o ao Database de destino e clique em Next.

Ao configurar a migração de dados, certifique-se de que as coleções a serem migradas no cluster de origem estejam no estado carregado.
Verifique e configure o mapeamento de campos e clique em OK para iniciar a tarefa de migração.

Monitoramento e verificação

Acesse o console e visualize o progresso da migração e os logs de erros

Na lista de tarefas na página Data Migration, você pode verificar o status e o progresso da tarefa de migração. Quando a coluna de status exibir Success e a barra de progresso estiver cheia, a migração de dados estará concluída.
Após concluir a migração, verifique o volume de dados e a consistência de recall da coleção de destino.