Intelligent Media Services:MLLM へのアクセス

OpenAPI 仕様に準拠した自己開発 MLLM へのアクセス

OpenAPI 仕様に準拠した MLLM を、OpenAI 仕様に基づいてワークフローに統合できます。 OpenAI 仕様に準拠した MLLM は、ストリーミングモードでのみリクエストできます。

1. MLLM をワークフローに統合するには、[モデルの選択] パラメーターを 独自のモデルにアクセスする (OpenAPI 仕様に基づく) に設定し、MLLM ノードの構成パネルで次のパラメーターを構成します。

   パラメーター	タイプ	必須	説明	例
   ModelId	String	はい	モデル名。 このパラメーターは、OpenAI 仕様の model フィールドに対応します。	abc
   API-KEY	String	はい	認証情報。 このパラメーターは、OpenAPI 仕様の api_key フィールドに対応します。	AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI
   HTTPS URL of Destination Model	String	はい	サービスリクエスト URL。 このパラメーターは、OpenAPI 仕様の base_url フィールドに対応します。	http://www.abc.com
   Maximum Number of Images per Call	Integer	はい	MLLM へのリクエストにおける画像の最大数。 一部の MLLM がリクエストごとに受信できる画像フレームの最大数は固定されています。 これらのモデルに対してこのパラメーターを指定できます。 MLLM をリクエストすると、指定された値に基づいてビデオからフレームが抽出され、サンプリングされます。	15

2. リアルタイムワークフローの実行中に、OpenAI 仕様データが POST リクエストにアセンブルされ、構成した自己開発モデルの HTTPS アドレスへのアクセスに使用され、対応する結果が取得されます。 次の表に、入力パラメーターを示します。

   パラメーター	種類	説明	例
   メッセージ	配列	過去の会話のコンテキスト。最大 20 件のコンテキストレコードを保持できます。配列の先頭にあるコンテキストレコードは、初期の質問または回答を示します。 説明 フレーム抽出後の JPEG Base64 エンコードデータのみを渡すことができます。 過去の会話の画像データはコンテキストとして配信されません。	[ { "role": "user", "content": "今日の天気はどうですか？" }, { "role": "assistant", "content": "今日は晴れています。" }, { "role": "user", "content": "明日の天気はどうですか？" }, { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,xxxx" } }, { "type": "text", "text": "これは何ですか？" } ] } ]
   モデル	文字列	モデル名。	abc
   ストリーム	ブール値	モデルにストリームモードでアクセスするかどうかを指定します。現在、ストリーミングモードのみがサポートされています。	True
   extendData	オブジェクト	補足情報です。	{'instanceId':'68e00b6640e*****3e943332fee7','channelId':'123','userData':'{"aaaa":"bbbb"}'}
   インスタンス ID	文字列	インスタンス ID です。	68e00b6640e*****3e943332fee7
   チャネル ID	文字列	チャネル ID です。	123
   userData	文字列	インスタンスの起動時に渡される UserData フィールドの値。	{"aaaa":"bbbb"}