Alibaba Cloud Model Studio:マルチモーダル埋め込み API

画像埋め込み

import dashscope
import json
from http import HTTPStatus
# ご利用の画像 URL に置き換えてください。
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
input = [{'image': image}]
# モデル API を呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

import dashscope
import base64
import json
from http import HTTPStatus
# 画像を読み取り、Base64 に変換します。xxx.png をご利用の画像ファイル名またはパスに置き換えてください。
image_path = "xxx.png"
with open(image_path, "rb") as image_file:
    # ファイルを読み取り、Base64 に変換します。
    base64_image = base64.b64encode(image_file.read()).decode('utf-8')
# 画像フォーマットを設定します。
image_format = "png"  # 実際のフォーマット（jpg や bmp など）に応じて修正してください。
image_data = f"data:image/{image_format};base64,{base64_image}"
# 入力データ
input = [{'image': image_data}]

# モデル API を呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)
if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

動画埋め込み

動画入力は URL のみをサポートします。ローカル動画はサポートしていません。

import dashscope
import json
from http import HTTPStatus
# ご利用の動画 URL に置き換えてください。
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"
input = [{'video': video}]
# モデル API を呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))
    

テキスト埋め込み

import dashscope
import json
from http import HTTPStatus

text = "General multimodal representation model example"
input = [{'text': text}]
# モデル API を呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

融合埋め込み

import dashscope
import json
import os
from http import HTTPStatus

# マルチモーダル融合埋め込み：テキスト、画像、動画を単一の融合埋め込みに統合します。
# クロスモーダル取得や画像検索などのアプリケーションに最適です。
text = "This is a test text for generating a multimodal fused embedding."
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"

# 入力にはテキスト、画像、動画が含まれます。enable_fusion=True を設定して、単一の融合埋め込みを生成します。
input_data = [
    {"text": text},
    {"image": image},
    {"video": video}
]

# qwen3-vl-embedding を使用して融合埋め込みを生成します。
resp = dashscope.MultiModalEmbedding.call(
    # 環境変数が設定されていない場合は、DashScope API キーを直接指定してください（例：api_key="sk-xxx"）。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="qwen3-vl-embedding",
    input=input_data,
    enable_fusion=True,
    # 任意のパラメーター：埋め込みディメンションを指定します。サポートされる値は 2560、2048、1536、1024、768、512、256 です。デフォルトは 2560 です。
    # parameters={"dimension": 1024}
)

print(json.dumps(resp, ensure_ascii=False, indent=4))

複数画像融合埋め込み

この例では、qwen3-vl-embedding を使用して、複数の画像とテキストを単一の埋め込みに融合する方法を示しています。複数の image アイテムを渡すことで、複数画像の融合を実現します。このアプローチは、多角度画像とテキスト説明を使用した製品の意味的取得に最適です。

import dashscope
import json
import os
from http import HTTPStatus

# 複数画像＋テキスト融合埋め込み：複数の商品画像と説明テキストを単一の埋め込みに融合します。
# 多角度商品画像とテキスト説明を使用した包括的な意味的取得に適しています。
text = "White sports shoes, lightweight and breathable, suitable for running and daily wear."
image1 = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
image2 = "https://img.alicdn.com/imgextra/i3/O1CN01rdstgY1uiZWt8gqSL_!!6000000006071-0-tps-1970-356.jpg"

# 複数画像の融合のために、複数の画像アイテムを渡します。`enable_fusion=True` により、すべての入力が単一の埋め込みに融合されます。
input_data = [
    {"text": text},
    {"image": image1},
    {"image": image2}
]

resp = dashscope.MultiModalEmbedding.call(
    # 環境変数が設定されていない場合は、DashScope API キーを直接指定してください（例：api_key="sk-xxx"）。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="qwen3-vl-embedding",
    input=input_data,
    enable_fusion=True
)

print(json.dumps(resp, ensure_ascii=False, indent=4))

2026-03-06 スナップショットバージョン

この例では、tongyi-embedding-vision-plus-2026-03-06 モデルとその res_level（解像度）および max_video_frames（ビデオフレーム）パラメーターの使用方法を示しています。Qwen3 基盤上に構築されており、30 言語以上をサポートし、独立埋め込みおよび融合埋め込みの両方を生成できます。

import dashscope
import json
import os
from http import HTTPStatus

# tongyi-embedding-vision-plus-2026-03-06 の例
# res_level（解像度）および max_video_frames（ビデオフレーム）パラメーターの使用を示します。
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"
text = "This is a visual multimodal representation model."

input_data = [
    {"text": text},
    {"image": image},
    {"video": video}
]

# 2026-03-06 スナップショットバージョンのモデルを呼び出します。
resp = dashscope.MultiModalEmbedding.call(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="tongyi-embedding-vision-plus-2026-03-06",
    input=input_data,
    dimension=1152,      # サポートされる値：1152、1024、512、256、128、64
    res_level=1,         # 解像度レベル。サポートされる値：0、1、2、3。デフォルト：1。
    max_video_frames=64  # サンプリングする動画フレームの最大数。デフォルト：8、最大：64。
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

次の例では、2026-03-06 バージョンの 融合埋め込み の使用方法を示しています。text、image、および video を同じ content オブジェクト内に配置すると、モデルはすべての入力を融合し、type が fused の単一の埋め込みを生成します。

import dashscope
import json
import os
from http import HTTPStatus

# 融合埋め込み：テキスト、画像、動画を同じコンテンツオブジェクト内に配置します。
# モデルはすべての入力を融合し、タイプが "fused" の単一の埋め込みを生成します。
text = "White sports shoes, lightweight and breathable, suitable for running and daily wear."
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"

# 同じオブジェクト内のマルチモーダルコンテンツは、単一の埋め込みに融合されます。
input_data = [
    {"text": text, "image": image}
]

resp = dashscope.MultiModalEmbedding.call(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="tongyi-embedding-vision-plus-2026-03-06",
    input=input_data,
    dimension=1152
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))