Embedding multimodal - OpenSearch - Centro de documentación de Alibaba Cloud

Servicio de embedding multimodal basado en Qwen2-VL que convierte texto, imágenes y entradas combinadas en vectores semánticos.

ID del modelo (service_id)	Dimensión	Descripción del servicio	Límite de QPS
ops-m2-encoder	768 dimensiones	Servicio multimodal bilingüe (chino-inglés) entrenado con BM-6B mediante 6 mil millones de pares imagen-texto (3 mil millones en chino y 3 mil millones en inglés). Admite recuperación cruzada entre modalidades (de texto a imagen y de imagen a texto), así como clasificación de imágenes. Nota Este modelo no acepta texto e imagen simultáneamente en el mismo objeto de entrada.	10 Nota Para solicitar un límite superior de QPS para la API, envíe un ticket al soporte técnico.
ops-m2-encoder-large	1024 dimensiones	Servicio multimodal bilingüe (chino-inglés) con 1000 millones de parámetros. Ofrece un rendimiento superior al de `ops-m2-encoder` en tareas multimodales. Nota Este modelo no acepta texto e imagen simultáneamente en el mismo objeto de entrada.
ops-gme-qwen2-vl-2b-instruct	1536 dimensiones	Servicio de embedding multimodal basado en los MLLM Qwen2-VL. Admite entradas unimodales y multimodales para texto, imagen y datos combinados.
ops-mm-embedding-v1-2b	1536 dimensiones	Modelo de embedding multimodal desarrollado por el equipo de la Plataforma Abierta de Búsqueda con IA de Alibaba Cloud. Ajustado finamente sobre Qwen2-VL 2B Instruct, admite entradas de texto, imagen y video, y las codifica en vectores semánticos unificados para tareas de recuperación y comprensión cruzada entre modalidades.
ops-mm-embedding-v1-7b	3584 dimensiones	Modelo de embedding multimodal desarrollado por el equipo de la Plataforma Abierta de Búsqueda con IA de Alibaba Cloud. Ajustado finamente sobre Qwen2-VL 7B Instruct, admite entradas de texto, imagen y video, y las codifica en vectores semánticos unificados para tareas de recuperación y comprensión cruzada entre modalidades.
ops-mm-embedding-face-001	512 dimensiones	Modelo de recuperación facial que codifica una o varias imágenes de entrada en vectores semánticos de alta dimensión para búsqueda y comparación de rostros.

Requisitos previos

Obtenga las credenciales de autenticación

La plataforma abierta AI Search requiere una clave de API para la autenticación. Para obtener instrucciones, consulte Get an API key.
Obtenga el endpoint del servicio

Puede invocar el servicio a través de la red pública o de una VPC. Para más detalles, consulte Get the service endpoint.

Solicitud

Límite del cuerpo de la solicitud

El cuerpo de la solicitud no debe exceder los 8 MB.

Método de la solicitud

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/multi-modal-embedding/{service_id}

host: Endpoint del servicio, accesible mediante la red pública o la VPC. Get service endpoints.

En el panel de navegación izquierdo, seleccione su espacio de trabajo (por ejemplo, predeterminado) y haga clic en API Keys para localizar el public API endpoint y el private API endpoint.
workspace_name: Nombre del espacio de trabajo, como default.
service_id: ID del modelo, como ops-m2-encoder.

Parámetros de la solicitud

Parámetros de encabezado

Autenticación mediante clave de API

Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
Content-Type	String	Sí	Establezca este valor en `application/json`.	application/json
Authorization	String	Sí	Clave de API para la autenticación.	Bearer OS-d1**2a

Parámetros del cuerpo

Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
input	List[ContentObject]	Sí	Contenido para convertir en embeddings. Se admiten hasta 32 objetos por solicitud.	`[ { "text":"Science and technology are the primary productive forces" }, { "image":"http://***/a.jpg" } ]`

ContentObject

Parámetro

Tipo

Obligatorio

Descripción

Ejemplo

text

String

Texto para convertir en un embedding.

{
  "text":"Text input"
}

image

String

Imagen para convertir en un embedding, proporcionada como URL o cadena codificada en Base64.

Las URL deben ser accesibles públicamente.
Para entradas en Base64, pase los datos al parámetro image con el formato data:image/{format};base64,{base64_image}, donde:

image/{format}: Formato de la imagen, como image/jpeg.

base64_image: Datos de la imagen codificados en Base64.

{
  "image":"http://xxxxx/a.jpg"
}

o bien

{
  "image":"data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAAoHCB..."
}

Parámetros de la respuesta

Parámetro	Tipo	Descripción	Ejemplo
result.embeddings	List	Arreglo de objetos de embedding; cada uno corresponde a un elemento del arreglo `input`.	`[ { "index": 0, "embedding": [0.003143,0.009750,...,-0.017395] }, {} ]`
result.embeddings[].index	Int	Índice del objeto de entrada correspondiente.	0
result.embeddings[].embedding	List[Double]	Vector de embedding resultante.	[0.003143,0.009750,...,-0.017395]

Ejemplo de solicitud con curl

curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
"http://****-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/multi-modal-embedding/ops-m2-encoder" \
-d '{
"input":[
  {
    "image":"http://***/a.jpg"
  }
]
}'

Ejemplos de respuesta

Ejemplo de respuesta exitosa

{
    "request_id": "B4AB89C8-B135-****-A6F8-2BAB801A2CE4",
    "latency": 38,
    "usage": {
        "image":1,
        "token_count":28
    },
    "result": {
        "embeddings": [
            {
                "index": 0,
                "embedding": [
                   -0.033447265625,
                   0.10577392578125,
                   -0.0015211105346679688,
                   -0.044189453125,
                    ...
                   0.004688262939453125,
                   -4.5239925384521484E-5
                ]
            }
        ]
    }
}

Ejemplo de respuesta de error

Las respuestas de error incluyen un code y un message que indican la causa.

{
    "request_id": "651B3087-8A07-****-B931-9C4E7B60F52D",
    "latency": 0,
    "code": "InvalidParameter",
    "message": "JSON parse error: Cannot deserialize value of type `InputType` from String \"xxx\""
}

Códigos de estado

Todos los códigos de estado están documentados en Status codes.