Intelligent Media Services:Accéder aux MLLM

Accéder aux MLLM développés en interne conformes aux spécifications OpenAPI

Vous pouvez intégrer à votre workflow des MLLM respectant les spécifications OpenAI. Seul le mode streaming est pris en charge.

1. Pour intégrer un MLLM dans un workflow, définissez le paramètre Select Model sur Access Self-developed Model (Based on OpenAPI Specifications), puis configurez les paramètres suivants dans le panneau de configuration du nœud MLLM.

   Paramètre	Type	Obligatoire	Description	Exemple
   ModelId	String	Oui	Nom du modèle. Correspond au champ model de la spécification OpenAI.	abc
   API-KEY	String	Oui	Informations d'authentification. Correspond au champ api_key de la spécification OpenAPI.	AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI
   Model URL (HTTPS)	String	Oui	URL de requête du service. Correspond au champ base_url de la spécification OpenAPI.	http://www.abc.com
   Maximum Number of Images per Call	Integer	Oui	Certains MLLM limitent le nombre d'images par requête. Définissez ce paramètre selon la limite du modèle. L'échantillonnage des trames vidéo s'effectue automatiquement en fonction de cette valeur.	15

2. Lors de l'exécution, le workflow assemble les données pour former une requête POST conforme à OpenAI, puis l'envoie à l'endpoint HTTPS configuré. Le tableau ci-dessous détaille les paramètres d'entrée.

   Paramètre	Type	Description	Exemple
   messages	Array	Historique de la conversation. Jusqu'à 20 enregistrements peuvent être conservés. Les éléments situés au début du tableau correspondent aux messages les plus anciens. Remarque Seules les données JPEG encodées en Base64 provenant de trames extraites sont acceptées. Les images issues de conversations précédentes ne sont pas incluses dans le contexte.	[ { "role": "user", "content": "What is the weather like today?" }, { "role": "assistant", "content": "It is sunny today." }, { "role": "user", "content": "What will the weather be like tomorrow?" }, { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,xxxx" } }, { "type": "text", "text": "What is this?" } ] } ]
   model	String	Nom du modèle.	abc
   stream	Boolean	Indique si le mode streaming est activé. Seul le mode streaming est pris en charge.	True
   extendData	Object	Informations supplémentaires.	{'instanceId':'68e00b6640e*3e943332fee7','channelId':'123','userData':'{"aaaa":"bbbb"}'}
   instanceId	String	ID de l'instance.	68e00b6640e*3e943332fee7
   channelId	String	ID du canal.	123
   userData	String	Valeur UserData transmise lors du démarrage de l'instance.	{"aaaa":"bbbb"}