Embedding de texto disperso - OpenSearch - Centro de documentación de Alibaba Cloud

AI Search Open Platform ofrece una API de embedding de texto disperso que convierte texto en vectores dispersos. Los vectores dispersos usan menos almacenamiento y son ideales para representar palabras clave y frecuencias de términos. También puede combinarlos con vectores densos en búsquedas híbridas para mejorar los resultados.

Nombre del servicio	ID del servicio	Descripción	Límite de QPS
OpenSearch sparse text embedding service-001	ops-text-sparse-embedding-001	Idiomas compatibles: más de 100 Longitud máxima de entrada: 8,192 tokens	50 Nota Para solicitar un límite de QPS de API mayor, envíe un ticket al soporte técnico.

Requisitos previos

Obtenga las credenciales de autenticación

La plataforma abierta AI Search requiere una clave de API para la autenticación. Para obtener instrucciones, consulte Get an API key.
Obtenga el endpoint del servicio

Puede invocar el servicio mediante la red pública o una VPC. Para más detalles, consulte Get the service endpoint.

Notas de uso

El cuerpo de la solicitud no debe exceder los 8 MB.

Método de solicitud

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/text-sparse-embedding/{service_id}

Parámetros de URL

host: El endpoint del servicio. Puede invocar la API mediante Internet o una VPC. Para más información, consulte Get service endpoints.

En la página API Keys de la consola, consulte los dominios de API de Internet y VPC en la sección Access Domain Name. El formato del nombre de dominio es http://<instance_id>.opensearch.aliyuncs.com (también se admite HTTPS). El dominio de API de VPC aplica a entornos de VPC en las regiones China (Shanghai), China (Hangzhou), China (Shenzhen), China (Beijing), China (Zhangjiakou) y China (Qingdao).
workspace_name: El nombre del espacio de trabajo. Ejemplo: default.
service_id: El ID del servicio integrado. Ejemplo: ops-text-sparse-embedding-001.

Parámetros de solicitud

Parámetros de encabezado

Autenticación por clave de API

Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
Content-Type	String	Sí	El tipo de medio de la solicitud. Establezca este valor en `application/json`.	application/json
Authorization	String	Sí	La clave de API para la autenticación. El formato es `Bearer <your_api_key>`.	Bearer OS-d1**2a

Parámetros del cuerpo

Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
input	Array/String	Sí	Texto de entrada para generar el embedding, proporcionado como cadena o arreglo de cadenas. Una sola solicitud admite hasta 32 entradas. La longitud máxima de cada entrada depende del modelo. No se admiten cadenas vacías.	["Science and technology are the primary productive forces", "OpenSearch product documentation"]
input_type	String	No	Tipo de entrada. Valores válidos: `query` `document` El valor predeterminado es `document`.	document
return_token	boolean	No	Indica si se devuelve el texto tokenizado. Valores válidos: `true`: Se devuelve el texto tokenizado. `false`: No se devuelve el texto tokenizado. El valor predeterminado es `false`.	false

Parámetros de respuesta

Parámetro	Tipo	Descripción	Ejemplo
request_id	String	ID único de la llamada a la API.	B4AB89C8-B135-****-A6F8-2BAB801A2CE4
latency	Float/Int	Latencia de la solicitud en milisegundos (ms).	10
usage	Object	Información de uso de la llamada.	"usage": { "token_count": 11 }
usage.token_count	Int	Número de tokens.	11
result.sparse_embeddings	List	Resultados del embedding. Arreglo de objetos donde cada uno corresponde a un elemento del arreglo de entrada.	[ { "index": 0, "embedding": [{ "tokenId": 6, "weight": 0.10137939453125 }] }, { "index": 1, "embedding": [{ "tokenId": 9803, "weight": 0.1951904296875 }] } ]
result.sparse_embeddings[].index	Int	Índice del texto correspondiente en el arreglo de entrada.	0
result.sparse_embeddings[].embedding	List	Resultado del embedding disperso.	[ { "token":"test", "token_id": 900, "weight":0.423 }]
result.sparse_embeddings[].embedding[].token	String	Token de texto. Este campo se devuelve solo cuando `return_token` se establece en `true` en la solicitud.	"xxx"
result.sparse_embeddings[].embedding[].token_id	Int	ID del token.	123
result.sparse_embeddings[].embedding[].weight	Float	Peso.	0.121

Ejemplo de curl

curl -XPOST -H "Content-Type: application/json" \
"http://****-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/text-sparse-embedding/ops-text-sparse-embedding-001" \
-H "Authorization: Bearer " \
-d '{
    "input": [
          "Science and technology are the primary productive forces", 
          "OpenSearch product documentation"
    ], 
    "input_type": "query", 
    "return_token": false
}'

Ejemplos de respuesta

Respuesta exitosa

{
	"request_id": "75C50B5B-E79E-4930-****-F48DBB392231",
	"latency": 22,
	"usage": {
		"token_count": 11
	},
	"result": {
		"sparse_embeddings": [
			{
				"index": 0,
				"embedding": [
					{
						"tokenId": 6,
						"weight": 0.10137939453125
					},
					{
						"tokenId": 163040,
						"weight": 0.2841796875
					},
					{
						"tokenId": 354,
						"weight": 0.1431884765625
					},
					{
						"tokenId": 5998,
						"weight": 0.161376953125
					},
					{
						"tokenId": 8550,
						"weight": 0.2388916015625
					},
					{
						"tokenId": 2017,
						"weight": 0.1614990234375
					}
				]
			},
			{
				"index": 1,
				"embedding": [
					{
						"tokenId": 9803,
						"weight": 0.1951904296875
					},
					{
						"tokenId": 86250,
						"weight": 0.317138671875
					},
					{
						"tokenId": 5889,
						"weight": 0.17529296875
					},
					{
						"tokenId": 2564,
						"weight": 0.11614990234375
					},
					{
						"tokenId": 59529,
						"weight": 0.1666259765625
					}
				]
			}
		]
	}
}

Respuesta de error

Si ocurre un error, la respuesta contiene los campos code y message que describen el error.

{
    "request_id": "45C8C9E5-6BCB-****-80D3-E298F788512B",
    "latency": 0,
    "code": "InvalidParameter",
    "message": "JSON parse error: Unexpected character ..."
}

Códigos de estado

Para más información, consulte los Status codes de AI Search Open Platform.