Alibaba Cloud Model Studio:Qwen-Audio クライアントイベント

typestring(必須)

イベントタイプ。固定値：session.update。

sessionobject (任意)

セッション設定。

{
    "type": "session.update",
    "session": {
        "voice": "longanqian_v3.1"
    }
}

{
    "type": "session.update",
    "session": {
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "longanqian",
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        }
    }
}

qwen-audio-3.1-realtime-plus に接続後、以下の session.update イベントを送信すると、入力音声のソース言語を中国語、出力音声のターゲット言語を英語に設定できます。

{
    "type": "session.update",
    "session": {
        "input_audio_transcription": {
            "language": "zh"
        },
        "output_audio": {
            "language": "en"
        }
    }
}

Function Calling:

{
    "type": "session.update",
    "session": {
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "longanqian",
        "tools": [
            {
                "type": "function",
                "function": {
                    "name": "get_weather",
                    "description": "Get weather for a specified city",
                    "parameters": {
                        "type": "object",
                        "properties": {
                            "city": {
                                "type": "string",
                                "title": "City"
                            }
                        },
                        "required": ["city"]
                    }
                }
            }
        ],
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        }
    }
}

声紋登録 (voiceprint_audio_urls):

{
    "type": "session.update",
    "session": {
        "turn_detection": {
            "type": "smart_turn",
            "voiceprint_audio_urls": [
                "https://example.com/speaker1.pcm",
                "https://example.com/speaker2.wav"
            ]
        }
    }
}

typestring(必須)

イベントタイプ。固定値：input_audio_buffer.append。

audiostring(必須)

Base64 エンコードされた音声データ。

{
    "type": "input_audio_buffer.append",
    "audio": "<Base64-encoded audio data>"
}

typestring(必須)

イベントタイプ。固定値：input_audio_buffer.commit。

{
    "type": "input_audio_buffer.commit"
}

typestring(必須)

イベントタイプ。固定値：input_audio_buffer.clear。

{
    "type": "input_audio_buffer.clear"
}

typestring(必須)

イベントタイプ。固定値：conversation.item.create。

previous_item_idstring (任意)

新しいアイテムを挿入する位置の直前の会話アイテムを指定します。指定しない場合、アイテムは会話の末尾に追加されます。

itemobject(必須)

作成する会話アイテム。

ユーザーのテキストメッセージを挿入します。

{
    "type": "conversation.item.create",
    "previous_item_id": "item_xxx",
    "item": {
        "id": "my_item_001",
        "type": "message",
        "role": "user",
        "content": [
            {
                "type": "input_text",
                "text": "Please summarize our last conversation"
            }
        ]
    }
}

Function Calling の結果を返します。

{
    "type": "conversation.item.create",
    "item": {
        "type": "function_call_output",
        "call_id": "call_xxx",
        "output": "{\"temperature\":18,\"condition\":\"sunny\"}"
    }
}

typestring(必須)

イベントタイプ。固定値：conversation.item.retrieve。

item_idstring(必須)

取得する会話アイテムのIDです。サーバーは結果を conversation.item.retrieved イベントで返します。

{
    "type": "conversation.item.retrieve",
    "item_id": "item_xxx"
}

typestring(必須)

イベントタイプ。固定値：conversation.item.delete。

item_idstring(必須)

削除する会話アイテムの ID。

{
    "type": "conversation.item.delete",
    "item_id": "item_xxx"
}

typestring(必須)

イベントタイプ。固定値：response.create。

responseobject (任意)

現在の推論ラウンドのセッションデフォルトを上書きします。指定しない場合は、現在のセッション設定が使用されます。

{
    "type": "response.create",
    "response": {
        "modalities": ["audio", "text"]
    }
}

typestring(必須)

イベントタイプ。固定値：response.cancel。

{
    "type": "response.cancel"
}