Intelligent Media Services:Akses MLLM

Akses MLLM yang dikembangkan sendiri yang sesuai dengan spesifikasi OpenAPI

Anda dapat mengintegrasikan MLLM yang sesuai dengan spesifikasi OpenAPI ke dalam alur kerja berdasarkan spesifikasi OpenAI. Permintaan untuk MLLM yang sesuai dengan spesifikasi OpenAI hanya dapat dilakukan dalam mode streaming.

1. Untuk mengintegrasikan MLLM ke dalam alur kerja, atur parameter Pilih Model menjadi Akses Model yang Dikembangkan Sendiri (Berdasarkan Spesifikasi OpenAPI) dan konfigurasikan parameter berikut di panel konfigurasi node MLLM.

   Parameter	Tipe	Diperlukan	Deskripsi	Contoh
   ModelId	String	Ya	Nama model. Parameter ini sesuai dengan bidang model dalam spesifikasi OpenAI.	abc
   API-KEY	String	Ya	Informasi autentikasi. Parameter ini sesuai dengan bidang api_key dalam spesifikasi OpenAPI.	AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI
   URL HTTPS Model Tujuan	String	Ya	URL permintaan layanan. Parameter ini sesuai dengan bidang base_url dalam spesifikasi OpenAPI.	http://www.abc.com
   Jumlah Maksimum Gambar per Panggilan	Integer	Ya	Jumlah maksimum gambar dalam permintaan ke MLLM. Jumlah maksimum bingkai gambar yang dapat diterima beberapa MLLM per permintaan bersifat tetap. Anda dapat menentukan parameter ini untuk model-model tersebut. Saat Anda meminta MLLM, bingkai diekstraksi dari video untuk pengambilan sampel berdasarkan nilai yang ditentukan.	15

2. Saat alur kerja waktu nyata sedang berjalan, data spesifikasi OpenAI dirakit dalam permintaan POST dan digunakan untuk mengakses alamat HTTPS model yang dikembangkan sendiri yang telah Anda konfigurasikan guna mendapatkan hasil yang sesuai. Tabel berikut menjelaskan parameter input.

   Parameter	Tipe	Deskripsi	Contoh
   messages	Array	Konteks percakapan historis. Maksimal 20 catatan konteks dapat disimpan. Catatan konteks di bagian atas array menunjukkan pertanyaan atau jawaban awal. Catatan Hanya data JPEG Base64 yang telah diekstraksi setelah frame extraction yang dapat dilewatkan. Data gambar dalam percakapan historis tidak disampaikan sebagai konteks.	[ { "role": "user", "content": "Apa cuaca hari ini?" }, { "role": "assistant", "content": "Hari ini cerah." }, { "role": "user", "content": "Bagaimana cuaca besok?" }, { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,xxxx" } }, { "type": "text", "text": "Apa ini?" } ] } ]
   model	String	Nama model.	abc
   stream	Boolean	Menentukan apakah akan mengakses model dalam mode stream. Saat ini, hanya mode streaming yang didukung.	True
   extendData	Object	Informasi tambahan.	{'instanceId':'68e00b6640e*****3e943332fee7','channelId':'123','userData':'{"aaaa":"bbbb"}'}
   instanceId	String	ID instance.	68e00b6640e*****3e943332fee7
   channelId	String	ID saluran.	123
   userData	String	Nilai bidang UserData yang dilewatkan saat instance dimulai.	{"aaaa":"bbbb"}