Alibaba Cloud Model Studio:API de embedding multimodal

Singapore

China (Beijing)

Image embedding

import os
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)
# Em uso real, substitua o endereço url pelo endereço da sua imagem
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
input = [{'image': image}]
try:
    # Chama a interface do modelo
    resp = client.multimodal.embeddings.create(
        model="tongyi-embedding-vision-plus",
        input=input
    )
    # Resultado do vetor: resp.embeddings[i].embedding é o array do vetor, resp.embeddings[i].index é o índice da entrada
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

import os
import base64
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)
# Lê a imagem e a converte para Base64. Em uso real, substitua xxx.png pelo nome ou caminho do seu arquivo de imagem
image_path = "xxx.png"
with open(image_path, "rb") as image_file:
    # Lê o arquivo e o converte para Base64
    base64_image = base64.b64encode(image_file.read()).decode('utf-8')
# Define o formato da imagem
image_format = "png"  # Modifique conforme o caso, por exemplo jpg, bmp
image_data = f"data:image/{image_format};base64,{base64_image}"
# Dados de entrada
input = [{'image': image_data}]
try:
    # Chama a interface do modelo
    resp = client.multimodal.embeddings.create(
        model="tongyi-embedding-vision-plus",
        input=input
    )
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

Video embedding

Atualmente, o modelo aceita entrada de vídeo apenas via URL. Arquivos de vídeo locais não são suportados.

import os
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)
# Em uso real, substitua o endereço url pelo endereço do seu vídeo
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"
input = [{'video': video}]
try:
    # Chama a interface do modelo
    resp = client.multimodal.embeddings.create(
        model="tongyi-embedding-vision-plus",
        input=input
    )
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

Text embedding

import os
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)
text = "General multimodal representation model example"
input = [{'text': text}]
try:
    # Chama a interface do modelo
    resp = client.multimodal.embeddings.create(
        model="tongyi-embedding-vision-plus",
        input=input
    )
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

Fused embedding

import os
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)

# Vetor multimodal fundido: funde texto, imagem e vídeo em um único vetor
# Adequado para cenários como recuperação entre modalidades e busca de imagens
text = "This is a test text for generating a multimodal fused embedding."
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"

# A entrada contém texto, imagem e vídeo; o parâmetro enable_fusion gera o vetor fundido
input_data = [
    {"text": text},
    {"image": image},
    {"video": video}
]

try:
    # Usa o qwen3-vl-embedding para gerar o vetor fundido
    resp = client.multimodal.embeddings.create(
        model="qwen3-vl-embedding",
        input=input_data,
        enable_fusion=True,
        # Parâmetro opcional: especifica a dimensão do vetor (suporta 2560, 2048, 1536, 1024, 768, 512, 256; padrão 2560)
        # dimension=1024
    )
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

Multi-image fused embedding

Use qwen3-vl-embedding para fundir múltiplas imagens e texto em um único embedding. Para fundir várias imagens, passe múltiplos itens image. Essa abordagem é ideal para recuperação semântica usando imagens de produtos em vários ângulos acompanhadas de uma descrição textual.

import os
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)

# Vetor fundido de múltiplas imagens + texto: funde várias imagens de produtos e o texto de descrição em 1 vetor
# Adequado para recuperação semântica combinada de imagens de produtos em vários ângulos e descrição textual
text = "White sports shoes, lightweight and breathable, suitable for running and daily wear."
image1 = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
image2 = "https://img.alicdn.com/imgextra/i3/O1CN01rdstgY1uiZWt8gqSL_!!6000000006071-0-tps-1970-356.jpg"

# Passe múltiplos itens image para implementar a fusão de múltiplas imagens; enable_fusion=True funde todas as entradas em 1 vetor
input_data = [
    {"text": text},
    {"image": image1},
    {"image": image2}
]

try:
    resp = client.multimodal.embeddings.create(
        model="qwen3-vl-embedding",
        input=input_data,
        enable_fusion=True
    )
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

2026-03-06 snapshot version

Este exemplo demonstra o uso do modelo tongyi-embedding-vision-plus-2026-03-06 e seus parâmetros res_level (resolução) e max_video_frames (quadros de vídeo). Construído sobre a base Qwen3, este modelo suporta mais de 30 idiomas e gera tanto embeddings independentes quanto fundidos.

import os
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)

# Exemplo com tongyi-embedding-vision-plus-2026-03-06
# Suporta os parâmetros res_level (multirresolução) e max_video_frames (número de quadros de vídeo)
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"
text = "This is a visual multimodal representation model."

input_data = [
    {"text": text},
    {"image": image},
    {"video": video}
]

try:
    # Chama a versão snapshot 2026-03-06 do modelo
    resp = client.multimodal.embeddings.create(
        model="tongyi-embedding-vision-plus-2026-03-06",
        input=input_data,
        dimension=1152,      # Valores suportados: 1152/1024/512/256/128/64
        res_level=1,         # Nível de resolução: 0/1/2/3, padrão 1
        max_video_frames=64  # Número máximo de quadros de vídeo amostrados, padrão 8, máximo 64
    )
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

Para gerar um embedding fundido com a versão 2026-03-06, coloque texto, imagem e vídeo no mesmo objeto de conteúdo. O modelo funde todas as entradas em um único embedding do tipo fused.

import os
import dashscope
from dashscope.v2 import DashScopeError
# A configuração abaixo refere-se à região Singapura. Substitua {WorkspaceId} pelo ID real do seu workspace. O valor de region varia conforme a região.
client = dashscope.Client(
    # Se a variável de ambiente não estiver configurada, substitua a linha abaixo pela sua API Key do Model Studio: api_key="sk-xxx",
    # As API Keys variam conforme a região. Para obter uma API Key, consulte https://www.alibabacloud.com/help/model-studio/regions
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)

# Vetor fundido: coloque text/image/video no mesmo objeto de conteúdo
# O modelo fundirá todas as entradas e as codificará em 1 vetor, com type igual a "fused"
text = "White sports shoes, lightweight and breathable, suitable for running and daily wear."
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"

# Conteúdos multimodais no mesmo objeto são fundidos em 1 vetor
input_data = [
    {"text": text, "image": image}
]

try:
    resp = client.multimodal.embeddings.create(
        model="tongyi-embedding-vision-plus-2026-03-06",
        input=input_data,
        dimension=1152
    )
    print(resp.model_dump_json(indent=4))
except DashScopeError as e:
    print(f"Código de status HTTP: {e.status_code}")
    print(f"Código de erro: {e.code}")
    print(f"Mensagem de erro: {e.message}")
    print("Consulte a documentação: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")