Tair (Redis® OSS-Compatible):Implemente a busca híbrida usando o TairVector

Por que combinar métodos de busca

Os modelos de linguagem de grande porte (LLMs) codificam dados não estruturados — texto, imagens, áudio e vídeo — como vetores, o que possibilita a busca por similaridade semântica. Cada método de busca possui pontos fortes e limitações específicas:

O TairVector combina esses três métodos em uma única instrução. Os resultados de cada método recebem uma pontuação, são ponderados e mesclados em um conjunto final de candidatos. Use o parâmetro hybrid_ratio para controlar o peso de cada método.

Como o hybrid_ratio funciona

O hybrid_ratio define o peso da busca vetorial. O peso da busca de texto completo é 1 - hybrid_ratio.

Quando a busca vetorial e a busca de texto completo recuperam o mesmo item, esse item recebe uma classificação mais alta nos resultados mesclados.

Conjunto de dados de exemplo

Os exemplos deste guia usam o conjunto de dados de open source fashion-product-images-small, que contém 44.000 registros de product.

Ao usar conjuntos de dados de open source, cumpra as licenças associadas e as leis aplicáveis.

Pré-requisitos

Antes de começar, gerencie sua instância do Tair e verifique se você:

• Carregou o conjunto de dados fashion-product-images-small

• Configurou uma instância do Tair

• Importou o conjunto de dados para o Tair usando o mapeamento de campos acima

Para obter o código completo de configuração e importação, baixe o arquivo hybrid_search_demo.ipynb. Para preparar o ambiente, instale as dependências necessárias executando pip install jupyter antes de abrir o arquivo.

Execute consultas de busca híbrida

Todos os exemplos usam o tvs_knnsearch para consultar o hybrid_index com topk=20. O texto da consulta é "Green Kidswear". O valor do hybrid_ratio é a única variável entre os cenários. Para testar, execute os códigos abaixo.

topk = 20
text = "Green Kidswear"
vector = model.encode([text])[0]
filter_str = None
kwargs = {"TEXT": text, "hybrid_ratio": 0.9999}
result = client.tvs_knnsearch(index_name, topk, vector, False, filter_str, **kwargs)
top_img = [images[id_pos[int(item[0])]] for item in result]
display_result(top_img)

topk = 20
text = "Green Kidswear"
vector = model.encode([text])[0]
filter_str = None
kwargs = {"TEXT": text, "hybrid_ratio": 0.0001}
result = client.tvs_knnsearch(index_name, topk, vector, False, filter_str, **kwargs)
top_img = [images[id_pos[int(item[0])]] for item in result]
display_result(top_img)

topk = 20
text = "Green Kidswear"
vector = model.encode([text])[0]
filter_str = None
kwargs = {"TEXT": text, "hybrid_ratio": 0.5}
result = client.tvs_knnsearch(index_name, topk, vector, False, filter_str, **kwargs)
top_img = [images[id_pos[int(item[0])]] for item in result]
display_result(top_img)

topk = 20
text = "Green Kidswear"
vector = model.encode([text])[0]
filter_str = "subCategory == \"Topwear\""
kwargs = {"TEXT": text, "hybrid_ratio": 0.5}
result = client.tvs_knnsearch(index_name, topk, vector, False, filter_str, **kwargs)
print(result)
top_img = [images[id_pos[int(item[0])]] for item in result]
display_result(top_img)

Escolha uma estratégia de busca

Use a tabela a seguir para escolher a combinação ideal para o seu cenário.

Principais observações sobre os resultados do exemplo:

• Tanto a busca vetorial quanto a de texto completo retornam resultados relevantes para "Green Kidswear". A busca de texto completo apresenta uma precisão ligeiramente maior no conjunto de candidatos mais bem classificados.

• No modo híbrido, os itens recuperados por ambos os métodos recebem uma classificação mais alta do que os itens recuperados por apenas um. Esse efeito de reclassificação melhora a qualidade dos resultados sem a necessidade de ajuste manual de pontuação.

• A filtragem condicional reduz o conjunto de candidatos para melhorar a taxa de acerto da busca vetorial quando o atributo alvo é conhecido.

Próximos passos

• Para obter a referência completa da API tvs_knnsearch e os parâmetros suportados, consulte TairVector.