API penyematan multimodal - OpenSearch - Alibaba Cloud Documentation Center

Layanan penyematan multimodal berbasis Qwen2-VL yang mengonversi teks, gambar, dan input gabungan menjadi vektor semantik.

Model ID (service_id)	Dimensi	Deskripsi layanan	Batas QPS
ops-m2-encoder	768 dimensi	Layanan multimodal bilingual (Tiongkok-Inggris) yang dilatih pada BM-6B dengan 6 miliar pasangan gambar-teks (3 miliar Tiongkok, 3 miliar Inggris). Mendukung pengambilan lintas-modal (teks-ke-gambar, gambar-ke-teks) dan klasifikasi gambar. Catatan Model ini tidak menerima teks dan gambar secara bersamaan dalam satu objek input.	10 Catatan Untuk meminta batas QPS API yang lebih tinggi, kirimkan tiket ke dukungan teknis.
ops-m2-encoder-large	1024 dimensi	Layanan multimodal bilingual (Tiongkok-Inggris) dengan 1 miliar parameter. Menawarkan performa lebih kuat dibandingkan `ops-m2-encoder` untuk tugas multimodal. Catatan Model ini tidak menerima teks dan gambar secara bersamaan dalam satu objek input.
ops-gme-qwen2-vl-2b-instruct	1536 dimensi	Layanan penyematan multimodal berbasis MLLM Qwen2-VL. Mendukung input single-modal dan multimodal untuk teks, gambar, dan data gabungan.
ops-mm-embedding-v1-2b	1536 dimensi	Model penyematan multimodal yang dikembangkan oleh tim Alibaba Cloud AI Search Open Platform. Disesuaikan dari Qwen2-VL 2B Instruct, model ini mendukung input teks, gambar, dan video, serta menyandikannya menjadi vektor semantik terpadu untuk tugas pengambilan dan pemahaman lintas-modal.
ops-mm-embedding-v1-7b	3584 dimensi	Model penyematan multimodal yang dikembangkan oleh tim Alibaba Cloud AI Search Open Platform. Disesuaikan dari Qwen2-VL 7B Instruct, model ini mendukung input teks, gambar, dan video, serta menyandikannya menjadi vektor semantik terpadu untuk tugas pengambilan dan pemahaman lintas-modal.
ops-mm-embedding-face-001	512 dimensi	Model pengambilan wajah yang menyandikan input gambar tunggal atau ganda menjadi vektor semantik berdimensi tinggi untuk pencarian dan perbandingan wajah.

Prasyarat

Dapatkan kredensial otentikasi

Platform terbuka AI Search memerlukan Kunci API untuk otentikasi. Untuk petunjuknya, lihat Dapatkan Kunci API.
Dapatkan Titik Akhir layanan

Anda dapat memanggil layanan melalui jaringan publik atau VPC. Untuk detailnya, lihat Dapatkan Titik Akhir layanan.

Permintaan

Batas badan permintaan

Ukuran badan permintaan tidak boleh melebihi 8 MB.

Metode permintaan

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/multi-modal-embedding/{service_id}

host: Titik Akhir layanan, dapat diakses melalui jaringan publik atau VPC. Dapatkan Titik Akhir layanan.

Di panel navigasi kiri, pilih ruang kerja Anda (misalnya, default), lalu klik API Keys untuk menemukan public API endpoint dan private API endpoint.
workspace_name: Nama ruang kerja, seperti default.
service_id: ID model, seperti ops-m2-encoder.

Parameter permintaan

Parameter header

Otentikasi menggunakan Kunci API

Parameter	Tipe	Wajib	Deskripsi	Contoh
Content-Type	String	Ya	Atur ke `application/json`.	application/json
Authorization	String	Ya	Kunci API untuk otentikasi.	Bearer OS-d1**2a

Parameter body

Parameter	Tipe	Wajib	Deskripsi	Contoh
input	List[ContentObject]	Ya	Konten yang akan dikonversi menjadi embedding. Maksimal 32 objek per permintaan.	`[ { "text":"Science and technology are the primary productive forces" }, { "image":"http://***/a.jpg" } ]`

ContentObject

Parameter

Jenis

Wajib

Deskripsi

Contoh

text

String

Tidak

Teks yang akan dikonversi menjadi embedding.

{
  "text":"Text input"
}

image

String

Tidak

Gambar yang akan dikonversi menjadi embedding, disediakan sebagai URL atau string yang dikodekan Base64.

URL harus dapat diakses publik.
Untuk input Base64, masukkan data ke parameter image dalam format data:image/{format};base64,{base64_image}, dengan:

image/{format}: Format gambar, seperti image/jpeg.

base64_image: Data gambar yang dikodekan Base64.

{
  "image":"http://xxxxx/a.jpg"
}

atau

{
  "image":"data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAAoHCB..."
}

Parameter respons

Parameter	Tipe	Deskripsi	Contoh
result.embeddings	List	Array objek embedding, masing-masing sesuai dengan item dalam array `input`.	`[ { "index": 0, "embedding": [0.003143,0.009750,...,-0.017395] }, {} ]`
result.embeddings[].index	Int	Indeks objek input yang sesuai.	0
result.embeddings[].embedding	List[Double]	Vektor embedding hasil.	[0.003143,0.009750,...,-0.017395]

Contoh permintaan cURL

curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
"http://****-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/multi-modal-embedding/ops-m2-encoder" \
-d '{
"input":[
  {
    "image":"http://***/a.jpg"
  }
]
}'

Contoh respons

Contoh respons sukses

{
    "request_id": "B4AB89C8-B135-****-A6F8-2BAB801A2CE4",
    "latency": 38,
    "usage": {
        "image":1,
        "token_count":28
    },
    "result": {
        "embeddings": [
            {
                "index": 0,
                "embedding": [
                   -0.033447265625,
                   0.10577392578125,
                   -0.0015211105346679688,
                   -0.044189453125,
                    ...
                   0.004688262939453125,
                   -4.5239925384521484E-5
                ]
            }
        ]
    }
}

Contoh respons error

Respons error mencakup code dan message yang menjelaskan penyebab kesalahan.

{
    "request_id": "651B3087-8A07-****-B931-9C4E7B60F52D",
    "latency": 0,
    "code": "InvalidParameter",
    "message": "JSON parse error: Cannot deserialize value of type `InputType` from String \"xxx\""
}

Kode status

Semua kode status didokumentasikan dalam Kode status.