Alibaba Cloud Model Studio:API Multimodal-Embedding

Penyematan gambar

import dashscope
import json
from http import HTTPStatus
# Ganti dengan URL gambar Anda.
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
input = [{'image': image}]
# Panggil API model.
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

import dashscope
import base64
import json
from http import HTTPStatus
# Baca gambar dan konversi ke Base64. Ganti xxx.png dengan nama file atau path gambar Anda.
image_path = "xxx.png"
with open(image_path, "rb") as image_file:
    # Baca file dan konversi ke Base64.
    base64_image = base64.b64encode(image_file.read()).decode('utf-8')
# Atur format gambar.
image_format = "png"  # Ubah sesuai format aktual (misalnya, jpg, bmp).
image_data = f"data:image/{image_format};base64,{base64_image}"
# Data input.
input = [{'image': image_data}]

# Panggil API model.
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)
if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

Penyematan video

Model penyematan multimodal saat ini hanya mendukung input video melalui URL. Meneruskan file video lokal secara langsung tidak didukung.

import dashscope
import json
from http import HTTPStatus
# Ganti dengan URL video Anda.
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"
input = [{'video': video}]
# Panggil API model.
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))
    

Penyematan teks

import dashscope
import json
from http import HTTPStatus

text = "General multimodal representation model example"
input = [{'text': text}]
# Panggil API model.
resp = dashscope.MultiModalEmbedding.call(
    model="tongyi-embedding-vision-plus",
    input=input
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "code": getattr(resp, "code", ""),
        "message": getattr(resp, "message", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

Penyematan fusi

import dashscope
import json
import os
from http import HTTPStatus

# Menggabungkan teks, gambar, dan video menjadi satu penyematan fusi.
# Cocok untuk pengambilan lintas-modalitas dan pencarian gambar.
text = "This is a test text for generating a multimodal fused embedding."
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"

# Input berisi teks, gambar, dan video. Gunakan parameter enable_fusion untuk menghasilkan penyematan fusi.
input_data = [
    {"text": text},
    {"image": image},
    {"video": video}
]

# Hasilkan penyematan fusi menggunakan qwen3-vl-embedding.
resp = dashscope.MultiModalEmbedding.call(
    # Jika variabel lingkungan belum dikonfigurasi, ganti baris berikut dengan Kunci API Model Studio Anda: api_key="sk-xxx",
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="qwen3-vl-embedding",
    input=input_data,
    enable_fusion=True,
    # Parameter opsional: Tentukan dimensi penyematan (mendukung 2560, 2048, 1536, 1024, 768, 512, 256; default: 2560).
    # parameters={"dimension": 1024}
)

print(json.dumps(resp, ensure_ascii=False, indent=4))

Penyematan fusi multi-gambar

Gunakan model qwen3-vl-embedding untuk menggabungkan beberapa gambar dan teks menjadi satu penyematan. Untuk menggabungkan beberapa gambar, teruskan beberapa item image. Metode ini ideal untuk pengambilan semantik komprehensif, seperti mencari produk dengan gambar multi-sudut dan deskripsi teks.

import dashscope
import json
import os
from http import HTTPStatus

# Penyematan fusi multi-gambar + teks: Menggabungkan beberapa gambar produk dan deskripsi teks menjadi satu penyematan.
# Cocok untuk pengambilan semantik komprehensif produk dengan menggunakan gambar multi-sudut dan deskripsi teks.
text = "White sports shoes, lightweight and breathable, suitable for running and daily wear."
image1 = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
image2 = "https://img.alicdn.com/imgextra/i3/O1CN01rdstgY1uiZWt8gqSL_!!6000000006071-0-tps-1970-356.jpg"

# Teruskan beberapa item gambar dan atur enable_fusion=True untuk menggabungkan semua input menjadi satu penyematan.
input_data = [
    {"text": text},
    {"image": image1},
    {"image": image2}
]

resp = dashscope.MultiModalEmbedding.call(
    # Jika variabel lingkungan belum dikonfigurasi, ganti baris berikut dengan Kunci API Model Studio Anda: api_key="sk-xxx",
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="qwen3-vl-embedding",
    input=input_data,
    enable_fusion=True
)

print(json.dumps(resp, ensure_ascii=False, indent=4))

Snapshot 2026-03-06

Contoh ini menunjukkan penggunaan model tongyi-embedding-vision-plus-2026-03-06 dengan parameter res_level (multi-resolusi) dan max_video_frames (frame video). Model ini dibangun di atas model dasar Qwen3, mendukung lebih dari 30 bahasa, dan dapat menghasilkan penyematan independen maupun fusi.

import dashscope
import json
import os
from http import HTTPStatus

# Contoh tongyi-embedding-vision-plus-2026-03-06
# Mendukung parameter res_level (multi-resolusi) dan max_video_frames (frame video).
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"
video = "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4"
text = "This is a visual multimodal representation model"

input_data = [
    {"text": text},
    {"image": image},
    {"video": video}
]

# Panggil versi snapshot model tanggal 2026-03-06.
resp = dashscope.MultiModalEmbedding.call(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="tongyi-embedding-vision-plus-2026-03-06",
    input=input_data,
    dimension=1152,      # Nilai yang didukung: 1152/1024/512/256/128/64
    res_level=1,         # Tingkat resolusi: 0/1/2/3. Default: 1
    max_video_frames=64  # Frame sampel video maksimum. Default: 8. Maks: 64
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))

Untuk menghasilkan penyematan fusi dengan versi 2026-03-06, tempatkan text, image, dan video dalam objek content yang sama. Model kemudian akan meng-encode semua input menjadi satu penyematan bertipe fused.

import dashscope
import json
import os
from http import HTTPStatus

# Penyematan fusi: tempatkan teks, gambar, dan video dalam objek content yang sama.
# Model menggabungkan semua input menjadi satu penyematan bertipe "fused".
text = "White sports shoes, lightweight and breathable, suitable for running and daily wear."
image = "https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png"

# Konten multimodal dalam objek yang sama digabung menjadi satu penyematan.
input_data = [
    {"text": text, "image": image}
]

resp = dashscope.MultiModalEmbedding.call(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    model="tongyi-embedding-vision-plus-2026-03-06",
    input=input_data,
    dimension=1152
)

if resp.status_code == HTTPStatus.OK:
    result = {
        "status_code": resp.status_code,
        "request_id": getattr(resp, "request_id", ""),
        "output": resp.output,
        "usage": resp.usage
    }
    print(json.dumps(result, ensure_ascii=False, indent=4))