Alibaba Cloud Model Studio:マルチモーダル埋め込み API の詳細

画像埋め込みの生成

import dashscope
import json
from http import HTTPStatus
# URLをご利用の画像のURLに置き換えてください。
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
input = [{'image': image}]
# モデルAPIを呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

import dashscope
import base64
import json
from http import HTTPStatus
# 画像を読み込み、Base64に変換します。xxx.png をご利用の画像ファイル名またはパスに置き換えてください。
image_path = "xxx.png"
with open(image_path, "rb") as image_file:
    # ファイルを読み込み、Base64に変換します。
    base64_image = base64.b64encode(image_file.read()).decode('utf-8')
# 画像形式を設定します。
image_format = "png"  # jpgやbmpなど、実際の形式に基づいてこれを変更してください。
image_data = f"data:image/{image_format};base64,{base64_image}"
# 入力データ。
input = [{'image': image_data}]

# モデルAPIを呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)
if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

動画埋め込みの生成

マルチモーダル埋め込みモデルは現在、動画ファイルの入力をURLとしてのみサポートしています。ローカル動画の直接渡すことはサポートされていません。

import dashscope
import json
from http import HTTPStatus
# URLをご利用の動画のURLに置き換えてください。
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"
input = [{'video': video}]
# モデルAPIを呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))
    

テキスト埋め込みの生成

import dashscope
import json
from http import HTTPStatus

text = "General multimodal representation model example"
input = [{'text': text}]
# モデルAPIを呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

融合埋め込みの生成

import dashscope
import json
import os
from http import HTTPStatus

# マルチモーダル融合埋め込み: テキスト、画像、動画を単一の融合埋め込みに融合します。
# クロスモーダル検索や画像検索などのシナリオに適しています。
text = "This is a test text for generating a multimodal fused embedding."
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"

# 入力にはテキスト、画像、動画が含まれます。モデルはそれらを単一の融合埋め込みに融合します。
input_data = [
    {
        "text": text,
        "image": image,
        "video": video
    }
]

# qwen3-vl-embedding を使用して融合埋め込みを生成します。
resp = dashscope.MultiModalEmbedding.call(
    # 環境変数を設定していない場合は、次の行をModel Studio APIキー (api_key="sk-xxx") に置き換えてください。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="qwen3-vl-embedding",
    input=input_data,
    # オプションパラメーター: ベクトルディメンションを指定します (サポートされる値: 2560, 2048, 1536, 1024, 768, 512, 256; デフォルト: 2560)
    # parameters={"dimension": 1024}
)

print(json.dumps(resp, ensure_ascii=False, indent=4))