A busca vetorial é uma tecnologia essencial para pesquisas de similaridade eficientes. Este tópico descreve como implementar rapidamente a busca vetorial com exemplos detalhados.
Pré-requisitos
-
Biblioteca PyMilvus instalada e atualizada para a versão mais recente no cliente local.
Para instalar ou atualizar a biblioteca PyMilvus, execute o comando a seguir.
pip install --upgrade pymilvus Instância do Milvus criada. Para mais informações, consulte Crie uma instância do Milvus.
Observações
O Alibaba Cloud AISearch for Milvus (Milvus) oferece suporte a conexões via rede interna e Internet. Antes de se conectar a uma instância do Milvus, verifique se o cliente tem as permissões de acesso à rede necessárias. Para mais informações, consulte Network access and security settings.
Procedimento
Etapa 1: Conectar-se a uma instância do Milvus
Use o código a seguir para se conectar a uma instância do Milvus.
from pymilvus import MilvusClient
# Create a Milvus client.
client = MilvusClient(
uri="http://c-xxxx.milvus.aliyuncs.com:19530", # The public endpoint of the Milvus instance.
token="<yourUsername>:<yourPassword>", # The username and password to log on to the Milvus instance.
db_name="default" # The name of the database to connect to. This example uses the default database.
)
Etapa 2: Criar uma coleção
Use o código abaixo para criar uma coleção. Para opções adicionais de parâmetros personalizados, consulte Gerencie coleções.
client.create_collection(
collection_name="demo", # The name of the collection.
dimension=5 # The vector dimensions.
)Esse código define o nome da coleção e as dimensões do vetor. Também aplica automaticamente as seguintes configurações:
Usa os nomes padrão "id" para o campo de chave primária e "vector" para o campo vetorial.
Define a propriedade "metric_type" como COSINE por padrão.
Configura o campo de chave primária "id" como inteiro, sem incremento automático.
Adiciona um campo extra "$meta" para armazenar dados de campos não definidos no schema como pares chave-valor.
Etapa 3: Inserir dados
Após criar a coleção, o sistema carrega automaticamente a coleção e seu índice na memória. Use o código a seguir para inserir dados de teste na coleção.
Inserir uma pequena quantidade de dados
Este código insere 10 entidades predefinidas. Cada entidade possui um vetor fixo e uma tag de cor.
data=[{'id': 0, 'vector': [-0.493313706583155, -0.172001225836391, 0.16825615330139554, -0.0198911518739604, -0.9756816265213708], 'color': 'green_5760'}, {'id': 1, 'vector': [0.6695699219225086, 0.49952523907354496, -0.49870548178008534, 0.8824655547230731, -0.7182693622931615], 'color': 'blue_2330'}, {'id': 2, 'vector': [-0.6057771959702387, 0.9141473782193543, 0.32053983678483466, -0.32126010092015655, 0.725222856037071], 'color': 'grey_9673'}, {'id': 3, 'vector': [0.14082089434165868, 0.9924029949938447, 0.7943279666144052, -0.7898608705081103, -0.9941425813199956], 'color': 'white_2829'}, {'id': 4, 'vector': [-0.46180540826224026, 0.33216876051895783, 0.5786699695956004, 0.8891120357625131, 0.04872530176990697], 'color': 'pink_9061'}, {'id': 5, 'vector': [-0.6097452740606673, 0.35648319550551144, -0.5699789153006387, 0.15085357921088316, -0.8817226997144627], 'color': 'pink_8525'}, {'id': 6, 'vector': [0.7843522543512762, -0.7663837586858071, -0.8681839054724569, 0.6880645348647785, -0.5151293183261791], 'color': 'green_5016'}, {'id': 7, 'vector': [-0.9967116931989293, 0.5741923070732655, -0.019126124261334976, -0.34163875885482753, -0.8189843931354175], 'color': 'brown_7434'}, {'id': 8, 'vector': [0.7347243385915765, -0.7358853080124825, -0.23737428377511716, 0.06980552357261627, -0.30613964550461437], 'color': 'blue_5059'}, {'id': 9, 'vector': [-0.21187155428455862, -0.3288541717216129, -0.32564136453418824, -0.14054963599686743, 0.5491320339870627], 'color': 'yellow_9887'}]
res = client.insert(
collection_name="demo",
data=data
)
Inserir mais dados
O exemplo a seguir usa compreensão de lista para gerar dinamicamente várias entidades. Os vetores e as tags de cor são gerados aleatoriamente dentro de um intervalo especificado.
import random
colors = ["green", "blue", "yellow", "red", "black", "white", "purple", "pink", "orange", "brown", "grey"]
data = [ {
"id": i,
"vector": [ random.uniform(-1, 1) for _ in range(5) ],
"color": f"{random.choice(colors)}_{str(random.randint(1000, 9999))}"
} for i in range(1000) ]
res = client.insert(
collection_name="demo",
data=data[1:]
)
print(res)Etapa 4: Busca vetorial
A inserção de dados é um processo assíncrono. Após inserir os dados, o sistema não atualiza imediatamente o índice de busca. Para consultar os dados mais recentes, aguarde alguns segundos até que o índice seja atualizado antes de buscar.
Busca por vetor único
Para executar uma busca de similaridade, forneça uma lista contendo um único vetor de consulta.
query_vectors = [
[-0.8832567462711804, -0.2999882617491647, 0.9921295273224382, -0.272575369985379, -0.688914679645338]
]
res = client.search(
collection_name="demo", # The collection to query
data=query_vectors, # The query vectors.
limit=3, # The number of entities to return.
)
print(res)
Busca vetorial em lote
Em buscas em lote com múltiplos vetores de consulta, use uma lista de vetores como parâmetro de entrada. O código a seguir apresenta um exemplo.
query_vectors = [
[0.06586461994037252, 0.7693023529849932, 0.8199991781350795, -0.6988017611187176, 0.408383847889378],
[0.8988257992203861, 0.021911711196309414, 0.19086900086430836, 0.63590610476426, -0.6713237387993141]
]
res = client.search(
collection_name="demo",
data=query_vectors,
limit=3,
)
print(res)Etapa 5: Busca filtrada
Use os campos definidos no schema para estabelecer condições de filtro. Isso restringe o escopo da busca e melhora sua eficiência.
Filtrar por um campo numérico
O exemplo a seguir demonstra como filtrar com base no intervalo de valores do campo id.
query_vectors = [
[-0.30932351869632435, -0.7132856078639205, 0.6006201320181415, 0.40140510356426784, -0.21223937444001328]
]
res = client.search(
collection_name="demo",
data=query_vectors,
filter="3 < id < 5", # The filter condition for a numeric field range.
limit=3
)
print(res)
Filtrar por um campo de metadados ($meta)
Este exemplo ilustra como buscar registros nos quais o valor da propriedade color comece com "green". Também especifica a inclusão do campo color na saída.
query_vectors = [
[0.9636568288732006, -0.5900490884830603, 0.2504591754023724, 0.7120903924474389, 0.7620604497390009]
]
res = client.search(
collection_name="demo",
data=query_vectors,
filter='$meta["color"] like "green%"', # The filter condition to match a metadata field property value.
limit=3,
output_fields=["color"] # The fields to include in the returned results.
)
print(res)