Intelligent Media Services:Acesso a MLLMs

Acesso a MLLMs desenvolvidos internamente compatíveis com especificações OpenAPI

Você pode integrar MLLMs compatíveis com as especificações da OpenAI ao seu fluxo de trabalho. Há suporte apenas para o modo streaming.

1. Para integrar um MLLM a um fluxo de trabalho, defina o parâmetro Selecione Model como Access Self-developed Model (Based on OpenAPI Specifications) e configure os seguintes parâmetros no painel de configuração do nó MLLM.

   Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
   ModelId	String	Sim	Nome do modelo. Corresponde ao campo model na especificação da OpenAI.	abc
   API-KEY	String	Sim	Informações de autenticação. Corresponde ao campo api_key na especificação OpenAPI.	AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI
   Model URL (HTTPS)	String	Sim	URL de solicitação do serviço. Corresponde ao campo base_url na especificação OpenAPI.	https://www.abc.com
   Maximum Number of Images per Call	Integer	Sim	Alguns MLLMs limitam o número de quadros de imagem por solicitação. Defina este parâmetro para corresponder ao limite do modelo. Os quadros de vídeo são amostrados automaticamente com base neste valor.	15

2. Durante a execução, o fluxo de trabalho monta os dados em uma solicitação POST compatível com a OpenAI e a envia para o endpoint HTTPS configurado. A tabela a seguir descreve os parâmetros de entrada.

   Parâmetro	Tipo	Descrição	Exemplo
   messages	Array	Histórico da conversa. O sistema retém até 20 registros. Os registros no início do array representam mensagens anteriores. Nota Somente dados codificados em Base64 JPEG de quadros extraídos podem ser transmitidos. Dados de imagem de conversas anteriores não são incluídos como contexto.	[ { "role": "user", "content": "What is the weather like today?" }, { "role": "assistant", "content": "It is sunny today." }, { "role": "user", "content": "What will the weather be like tomorrow?" }, { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,xxxx" } }, { "type": "text", "text": "What is this?" } ] } ]
   model	String	Nome do modelo.	abc
   stream	Boolean	Define se o modo streaming deve ser usado. Há suporte apenas para o modo streaming.	True
   extendData	Object	Informações adicionais.	{'instanceId':'68e00b6640e*3e943332fee7','channelId':'123','userData':'{"aaaa":"bbbb"}'}
   instanceId	String	ID da instância.	68e00b6640e*3e943332fee7
   channelId	String	ID do canal.	123
   userData	String	Valor de UserData transmitido na inicialização da instância.	{"aaaa":"bbbb"}