Alibaba Cloud Model Studio:API de incrustación multimodal

contentsarray(obligatorio)

Los elementos de contenido a procesar. Cada elemento es un diccionario o una cadena que especifica el tipo de contenido y su valor en el formato {"modality_type": "input_string_or_image/video_url"}. Los tipos de modalidad admitidos son text, image, video y multi_images.

El modelo qwen3-vl-embedding admite la generación de incrustaciones tanto fusionadas como independientes. Para generar una incrustación fusionada, agregue el campo booleano enable_fusion y establézcalo en true.

• Texto: La clave es text y el valor es una cadena. También puede pasar la cadena directamente sin un diccionario.
• Imagen: Utilice la clave image. El valor puede ser una URL pública o un URI de datos codificado en Base64. El formato Base64 es data:image/{format};base64,{data}, donde {format} es el formato de la imagen, como jpeg o png, y {data} es la cadena codificada en Base64.
• Múltiples imágenes: Este tipo solo es compatible con los modelos tongyi-embedding-vision-plus y tongyi-embedding-vision-flash. La clave es multi_images y el valor es una lista de imágenes. Cada elemento de la lista es una imagen que debe seguir el formato descrito anteriormente.
• Video: La clave es video. El valor debe ser una URL accesible públicamente.

output_type string (opcional)

El formato para la representación del embedding de salida. Actualmente, solo se admite dense.

dimension integer (opcional)

La dimensión del embedding de salida. Los valores admitidos varían según el modelo:

• qwen3-vl-embedding: Admite 2560, 2048, 1536, 1024, 768, 512 y 256. El valor predeterminado es 2560.
• tongyi-embedding-vision-plus: No admite este parámetro. Devuelve un embedding de dimensión fija de 1152.
• tongyi-embedding-vision-flash: No admite este parámetro. Devuelve un embedding de dimensión fija de 768.
• multimodal-embedding-v1: No admite este parámetro. Devuelve un embedding de dimensión fija de 1024.

fps float (opcional)

La tasa de muestreo de fotogramas de video. Un valor menor extrae menos fotogramas. El rango válido es [0, 1] y el valor predeterminado es 1.0.

instruct string (opcional)

Una descripción personalizada de la tarea para ayudar al modelo a comprender la intención de la consulta. Se recomiendan instrucciones en inglés, las cuales pueden mejorar el rendimiento entre un 1% y un 5%.

enable_fusion bool (opcional)

Especifica si se debe generar una incrustación fusionada. Este parámetro solo es compatible con el modelo qwen3-vl-embedding. Cuando se establece en true, todo el contenido multimodal en el arreglo contents se fusiona en una sola incrustación. El valor predeterminado es false, que genera una incrustación independiente para cada modalidad. Las incrustaciones fusionadas admiten combinaciones como texto e imagen, texto y video, múltiples imágenes y texto (pasando múltiples elementos de imagen), y una mezcla de imagen, video y texto. Esto es adecuado para escenarios de recuperación que requieren una comprensión integral del contenido multimodal.

embeddings array

Una lista de los embeddings resultantes, donde cada objeto corresponde a un elemento de entrada.

input_tokens int

El número de tokens en el contenido de entrada para la solicitud actual. Para el modelo qwen3-vl-embedding, este valor incluye únicamente tokens de texto (incluidos los tokens de plantilla del sistema) y no incluye tokens de imagen ni de video. Para los modelos de la serie tongyi-embedding-vision-*, este valor incluye el número total de tokens de texto, imagen y video.

input_tokens_details object

Un desglose detallado de los tokens de entrada. Este campo solo es devuelto por los modelos de la serie tongyi-embedding-vision-*. No es devuelto por los modelos qwen3-vl-embedding ni multimodal-embedding-v1.

output_tokens int

El número de tokens en la salida para la solicitud actual. Este campo solo es devuelto por los modelos de la serie tongyi-embedding-vision-*.

total_tokens int

El número total de tokens de entrada y salida. Este campo es devuelto por los modelos qwen3-vl-embedding y tongyi-embedding-vision-*, pero no por el modelo multimodal-embedding-v1. Para el modelo qwen3-vl-embedding, total_tokens = input_tokens + image_tokens.

image_tokens int

El número de tokens correspondientes a las imágenes o videos de entrada en la solicitud actual. El sistema muestrea fotogramas de los videos de entrada, con un número máximo de fotogramas controlado por la configuración del sistema, y luego calcula los tokens basándose en el resultado procesado. Este campo se devuelve como un campo de nivel superior únicamente en los modelos qwen3-vl-embedding y multimodal-embedding-v1. Para los modelos de la serie tongyi-embedding-vision-*, el recuento de tokens de imagen se incluye en input_tokens_details.image_tokens.

image_count int

El número de imágenes en la entrada para la solicitud actual. Este campo solo es devuelto por el modelo multimodal-embedding-v1.

duration int

La duración del video de entrada en segundos. Este campo solo es devuelto por el modelo multimodal-embedding-v1.