A função AI_SIMILARITY compara a similaridade semântica entre dois segmentos de texto e retorna uma pontuação de 0 a 1. Use esta função em cenários como identificação de tickets duplicados, deduplicação de perguntas e respostas e correspondência de product similares.
Pré-requisitos
Uma instância do Milvus com URL de endpoint e credenciais de autenticação.
Um modelo de texto configurado, como
qwen3.7-max.(Para Python) PyMilvus instalado.
Formato do comando
A função AI_SIMILARITY oferece suporte a dois padrões de uso:
Interface REST — Envie uma solicitação direta à API para comparar pares de textos sob demanda.
Função de Coleção — Defina uma função no schema da coleção para calcular a similaridade automaticamente durante a inserção de dados.
Interface REST
Interface REST
@id="c0043k7q2t43"
POST /v2/vectordb/ai/similarity
Content-Type: application/json
{
"model_name": "<model_name>",
"texts": ["<text_A>", "<text_B>"],
"params": {}
}
@id="cmdpysecsim01"
@id="cmdpyhsim0001"
Python
Python
@id="cmdpycodsim01"
schema = MilvusClient.create_schema(auto_id=True, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("left_text", DataType.VARCHAR, max_length=4096)
schema.add_field("right_text", DataType.VARCHAR, max_length=4096)
schema.add_field("similarity", DataType.DOUBLE)
schema.add_field("dummy_vector", DataType.FLOAT_VECTOR, dim=2)
schema.add_function(
Function(
name="compare_texts",
function_type=texttransform_function_type(),
input_field_names=["left_text", "right_text"],
output_field_names=["similarity"],
params={
"provider": "aliyun_milvus",
"model_name": "<model_name>",
"task": "ai_similarity",
"temperature": "0",
},
)
)
Parâmetros
|
@id="p0050k7q2t50" Parâmetro |
@id="p0052k7q2t52" Descrição |
|
@id="p0003k7q2t03" |
@id="p0005k7q2t05" Obrigatório. Nome do modelo de texto configurado. A interface REST também aceita |
|
@id="p0008k7q2t08" |
@id="p0010k7q2t10" Obrigatório para REST. O comprimento deve ser par. |
|
@id="p0013k7q2t13" |
@id="p0015k7q2t15" Opcional. Defina como |
|
@id="p0018k7q2t18" |
@id="p0020k7q2t20" Opcional. Controla a concorrência e o tempo limite de uma única chamada. |
|
@id="p0023k7q2t23" |
@id="p0025k7q2t25" Obrigatório apenas para Função de Coleção. Valores fixos: |
Valor de retorno
O número de elementos em data.output.outputs corresponde ao número de pares de texto. Cada elemento é uma string de pontuação. Ao gravar em uma coleção, o sistema interpreta a pontuação como FLOAT ou DOUBLE. Valores não interpretáveis ou fora do intervalo de 0 a 1 são gravados como 0.
Exemplo de uso: Identificação de problemas duplicados no atendimento ao cliente
Um service de atendimento ao cliente precisa determinar se duas perguntas podem ser processadas em conjunto. O exemplo abaixo usa a interface REST para comparar dois pares de textos e a Função de Coleção para calcular a similaridade durante a inserção de dados.
Interface REST
Interface REST
Antes de executar o script, substitua os placeholders MILVUS_REST_BASE_URL e MILVUS_AUTH_TOKEN pelo endpoint real do cluster e pelas credenciais correspondentes.
@id="c0062k7q2t62"
#!/usr/bin/env bash
set -euo pipefail
MILVUS_REST_BASE_URL="http://c-xxxx.milvus.aliyuncs.com:19530"
MILVUS_AUTH_TOKEN="<yourUsername>:<yourPassword>"
post_json() {
local path="$1"
local body="$2"
curl -X POST \
"$MILVUS_REST_BASE_URL$path" \
-H "Authorization: Bearer $MILVUS_AUTH_TOKEN" \
-H "Content-Type: application/json" \
-d "$body"
}
MODEL_NAME="qwen3.7-max"
BODY=$(cat <<JSON
{
"model_name": "$MODEL_NAME",
"texts": [
"A cat is a mammal.", "Cats belong to mammals.",
"An apple is a fruit.", "Python is a programming language."
],
"params": {"max_concurrency": 2, "temperature": 0}
}
JSON
)
RESPONSE_BODY="$(post_json "/v2/vectordb/ai/similarity" "$BODY")"
if command -v jq >/dev/null 2>&1; then
echo "$RESPONSE_BODY" | jq .
[ "$(echo "$RESPONSE_BODY" | jq -r '.code // -1')" = "0" ] || exit 1
else
echo "$RESPONSE_BODY"
fi
# Expected: number of outputs equals number of text pairs, e.g., ["1","0.0"] (similar pairs score high, dissimilar pairs close to 0)
@id="pt0063k7q2t63"
@id="h0064k7q2t64"
Python
Python
@id="p0065k7q2t65"
Após instalar o PyMilvus, substitua os placeholders MILVUS_URI e MILVUS_TOKEN pelo endereço e token reais do cluster antes da execução. O exemplo inclui funções auxiliares comuns integradas diretamente no código.
@id="c0066k7q2t66"
from __future__ import annotations
from typing import Any
from pymilvus import DataType, Function, FunctionType, MilvusClient
MILVUS_URI = "http://c-xxxx.milvus.aliyuncs.com:19530"
MILVUS_TOKEN = "<yourUsername>:<yourPassword>"
DUMMY_VECTOR_DIM = 2
TEXTTRANSFORM_FUNCTION_TYPE = 9
def texttransform_function_type() -> Any:
for type_name in ("TEXTTRANSFORM", "TEXT_TRANSFORM", "TextTransform"):
function_type = getattr(FunctionType, type_name, None)
if function_type is not None:
return function_type
# Alibaba Cloud Milvus provides TEXTTRANSFORM as a managed extension (function type value 9);
# some pymilvus versions do not include this enum member yet, and Function(...) validates through FunctionType(...).
existing = getattr(FunctionType, "_value2member_map_", {}).get(TEXTTRANSFORM_FUNCTION_TYPE)
if existing is not None:
return existing
extension = int.__new__(FunctionType, TEXTTRANSFORM_FUNCTION_TYPE)
extension._name_ = "TEXTTRANSFORM"
extension._value_ = TEXTTRANSFORM_FUNCTION_TYPE
FunctionType._value2member_map_[TEXTTRANSFORM_FUNCTION_TYPE] = extension
FunctionType._member_map_["TEXTTRANSFORM"] = extension
return extension
def add_id(schema: Any) -> None:
schema.add_field("id", DataType.INT64, is_primary=True)
def add_dummy_vector(schema: Any) -> None:
schema.add_field("dummy_vector", DataType.FLOAT_VECTOR, dim=DUMMY_VECTOR_DIM)
def run_texttransform_example(*, client, collection_name, input_fields, output_field, function_name, function_params, rows) -> None:
if client.has_collection(collection_name):
client.drop_collection(collection_name)
schema = MilvusClient.create_schema(auto_id=True, enable_dynamic_field=False)
add_id(schema)
for name, data_type, max_length in input_fields:
field_params = {"max_length": max_length} if max_length is not None else {}
schema.add_field(name, data_type, **field_params)
output_name, output_data_type, output_max_length = output_field
output_params = {"max_length": output_max_length} if output_max_length is not None else {}
schema.add_field(output_name, output_data_type, **output_params)
add_dummy_vector(schema)
schema.add_function(
Function(
name=function_name,
function_type=texttransform_function_type(),
input_field_names=[name for name, _, _ in input_fields],
output_field_names=[output_name],
params=function_params,
)
)
index_params = client.prepare_index_params()
index_params.add_index(field_name="dummy_vector", index_type="AUTOINDEX", metric_type="COSINE")
client.create_collection(collection_name=collection_name, schema=schema, index_params=index_params)
client.insert(collection_name, rows)
client.flush(collection_name)
fields = [name for name, _, _ in input_fields] + [output_name]
for row in client.query(collection_name, filter="", output_fields=fields, limit=len(rows)):
print(row)
MODEL_NAME = "qwen3.7-max"
client = MilvusClient(uri=MILVUS_URI, token=MILVUS_TOKEN)
run_texttransform_example(
client=client,
collection_name="simple_ai_similarity",
input_fields=[("left_text", DataType.VARCHAR, 4096), ("right_text", DataType.VARCHAR, 4096)],
output_field=("similarity", DataType.DOUBLE, None),
function_name="compare_texts",
function_params={"provider": "aliyun_milvus", "model_name": MODEL_NAME, "task": "ai_similarity", "temperature": "0"},
rows=[{"left_text": "A cat is a mammal.", "right_text": "Cats belong to mammals.", "dummy_vector": [0.1, 0.2]}],
)
# Expected: similarity receives a score close to 1 (highly similar)
Pares semelhantes (como o exemplo gato/mamífero) recebem uma pontuação próxima de 1, enquanto pares distintos recebem uma pontuação próxima de 0. Direcione perguntas com pontuações acima de 0.85 para a mesma fila de processamento.