Event server untuk Realtime API - Alibaba Cloud Model Studio

Event server untuk Qwen-Omni-Realtime API, termasuk event pemanggilan fungsi.

Lihat Qwen-Omni-Realtime.

error

Menunjukkan pesan kesalahan dari server.

event_id string

Identifier unik untuk event ini.

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

type string

Jenis event. Nilai ini selalu error.

error object

Informasi detail mengenai kesalahan.

Properties

type string

Jenis kesalahan.

code string

Kode kesalahan.

message string

Pesan kesalahan.

param string

Parameter yang terkait dengan kesalahan, seperti session.modalities.

session.created

Server mengembalikan event ini setelah klien terhubung. Event ini berisi konfigurasi default untuk sesi tersebut.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_RdvlSpbBb2ssyBjYrDHjt",
    "type": "session.created",
    "session": {
        "object": "realtime.session",
        "model": "qwen3-omni-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            // The value can be server_vad or semantic_vad (only supported by qwen3.5-omni-realtime).
            "type": "server_vad",
            "threshold": 0.5,
            "prefix_padding_ms": 300,
            "silence_duration_ms": 800,
            "create_response": true,
            "interrupt_response": true
        },
        "enable_search": false,
        "search_options": {},
        "tools": [],
        "temperature": 0.8,
        "id": "sess_Ov7GOXoNXhNjlxXtOGKQS"
    }
}

type string

Jenis event. Nilai ini selalu session.created.

session object

Konfigurasi sesi.

Properties

object string

Nilai ini selalu realtime.session.

model string

Model yang digunakan.

modalities array

Modalitas output untuk model.

voice string

Suara untuk audio yang dihasilkan model.

input_audio_format string

Format audio input pengguna. Saat ini hanya mendukung pcm. Audio input harus berupa aliran audio PCM dengan laju sampel 16 kHz.

output_audio_format string

Format audio output model. Saat ini hanya mendukung pcm. Audio output adalah aliran audio PCM dengan laju sampel 24 kHz.

input_audio_transcription object

Konfigurasi transkripsi.

Properties

model string

Model transkripsi. Nilai ini selalu qwen3-asr-flash-realtime. Parameter ini tidak dapat dikonfigurasi.

turn_detection object

Konfigurasi Deteksi aktivitas suara (VAD).

Properties

type string

Jenis VAD. Nilai yang valid adalah server_vad (default) atau semantic_vad. Lihat Client events.

threshold float

Ambang batas deteksi VAD.

silence_duration_ms integer

Durasi jeda dalam milidetik yang memicu deteksi akhir ucapan.

idle_timeout_ms integer

Waktu idle timeout dalam milidetik. Hanya dikembalikan dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.

enable_search boolean

Apakah pencarian web diaktifkan. Hanya didukung oleh Qwen3.5-Omni-Realtime.

search_options object

Opsi untuk pencarian web.

temperature float

Parameter suhu untuk model.

session.updated

Server mengembalikan event ini setelah permintaan session.update berhasil. Jika permintaan gagal, server akan mengembalikan event error.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_X1HsXS4b4uptp6yo1LgKd",
    "type": "session.updated",
    "session": {
        "id": "sess_Aih6vAcY5Ddt6jwFx1tCa",
        "object": "realtime.session",
        "model": "qwen3-omni-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "instructions": "You are Xiao Yun, a personal assistant. Answer user questions accurately and in a friendly manner. Always respond with a helpful attitude.",
        "voice": "Cherry",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            // The value can be server_vad or semantic_vad (only supported by qwen3.5-omni-realtime).
            "type": "server_vad",
            "threshold": 0.1,
            "prefix_padding_ms": 500,
            "silence_duration_ms": 900,
            "create_response": true,
            "interrupt_response": true
        },
        "enable_search": true,
        "search_options": {
            "enable_source": true
        },
        "tools": [
            {
                "type": "function",
                "function": {
                    "name": "get_current_weather",
                    "description": "Useful for querying the weather in a specific city.",
                    "parameters": {
                        "type": "object",
                        "properties": {
                            "location": {"type": "string", "description": "The city name"}
                        },
                        "required": ["location"]
                    }
                }
            }
        ],
        "temperature": 0.8,
        "max_response_output_token": "inf",
        "max_tokens": 16384,
        "repetition_penalty": 1.05,
        "presence_penalty": 0.0,
        "top_k": 50,
        "top_p": 1.0,
        "seed":-1
    }
}

type string

Jenis event. Nilai ini selalu session.updated.

session object

Konfigurasi sesi.

Properties

temperature float

Parameter suhu untuk model.

modalities array

Modalitas output untuk model.

voice string

Suara untuk audio yang dihasilkan model.

instructions string

Tujuan dan peran model.

input_audio_format string

Format audio input pengguna. Saat ini hanya mendukung pcm. Audio input harus berupa aliran audio PCM dengan laju sampel 16 kHz.

output_audio_format string

Format audio output model. Saat ini hanya mendukung pcm. Audio output adalah aliran audio PCM dengan laju sampel 24 kHz.

input_audio_transcription object

Konfigurasi transkripsi.

Properties

model string

Model transkripsi. Nilai ini selalu qwen3-asr-flash-realtime. Parameter ini tidak dapat dikonfigurasi.

turn_detection object

Konfigurasi Deteksi aktivitas suara (VAD).

Properties

type string

Jenis VAD. Nilai yang valid adalah server_vad (default) atau semantic_vad. Lihat Client events.

threshold float

Ambang batas deteksi VAD.

silence_duration_ms integer

Durasi jeda dalam milidetik yang memicu deteksi akhir ucapan.

idle_timeout_ms integer

Waktu idle timeout dalam milidetik. Hanya dikembalikan dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.

enable_search boolean (optional)

Apakah pencarian web diaktifkan. Hanya didukung oleh Qwen3.5-Omni-Realtime.

search_options object (optional)

Opsi pencarian web.

tools array (optional)

Daftar definisi tool. Saat Anda mengonfigurasi tools, model dapat memutuskan apakah akan memanggil tool berdasarkan input pengguna.

Properties

type string (required)

Nilai ini selalu function.

function.name string (required)

Nama fungsi tool kustom. Kami menyarankan menggunakan nama yang sama dengan fungsi, seperti get_current_weather atau get_current_time.

function.description string (optional)

Deskripsi tujuan fungsi tool. Model menggunakan field ini untuk memutuskan apakah akan menggunakan fungsi tool.

function.parameters object (optional)

Deskripsi parameter input fungsi tool. Model menggunakan field ini untuk mengekstraksi parameter input. Jika fungsi tool tidak memerlukan parameter input, Anda tidak perlu menentukan parameter ini.

Properties

type string (required)

Nilai ini selalu object.

properties object (optional)

Menjelaskan nama, tipe data, dan deskripsi setiap parameter input. Kunci adalah nama parameter, dan nilai adalah objek yang berisi tipe data (type) dan deskripsi (description).

required array (optional)

Menentukan parameter input mana yang wajib diisi.

top_p float

Ambang batas probabilitas untuk pengambilan sampel inti.

top_k integer

Ukuran set kandidat untuk pengambilan sampel selama generasi model.

max_tokens integer

Jumlah maksimum token yang dapat dikembalikan model untuk permintaan ini.

repetition_penalty float

Mengontrol pengulangan dalam urutan berturut-turut selama generasi.

presence_penalty float

Mengontrol pengulangan dalam konten yang dihasilkan.

seed integer

Tingkat konsistensi dalam output model per permintaan.

input_audio_buffer.speech_started

Dalam mode VAD, server mengembalikan event ini ketika mendeteksi awal ucapan dalam buffer audio.

Event ini mungkin dipicu setiap kali Anda menambahkan audio ke buffer sebelum ucapan terdeteksi.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_Pvp8nEhsQuGCQbFJ9x58n",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 3647,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

type string

Jenis event. Nilai ini selalu input_audio_buffer.speech_started.

audio_start_ms integer

Waktu dalam milidetik sejak penulisan audio ke buffer dimulai hingga ucapan pertama kali terdeteksi.

item_id string

ID item pesan pengguna yang dibuat saat akhir ucapan terdeteksi.

Item pesan pengguna digunakan untuk menambahkan input pengguna ke riwayat percakapan untuk inferensi dan generasi model berikutnya.

input_audio_buffer.speech_stopped

Dalam mode VAD, server mengembalikan event ini ketika mendeteksi akhir ucapan dalam buffer audio.

Server juga mengembalikan event conversation.item.created yang membuat item pesan pengguna yang sesuai.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_UhQiqNVRsgUiq4KUS5Xb5",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 4453,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

type string

Jenis event. Nilai ini selalu input_audio_buffer.speech_stopped.

audio_end_ms integer

Waktu dalam milidetik sejak awal sesi hingga akhir ucapan terdeteksi.

item_id string

ID item pesan pengguna yang akan dibuat.

input_audio_buffer.committed

Server mengembalikan event ini ketika buffer audio input dikomit.

Dalam mode VAD, server secara otomatis mengkomit buffer audio dan mengembalikan event ini ketika mendeteksi akhir ucapan.
Dalam mode Manual, server mengembalikan event ini setelah klien mengirim event input_audio_buffer.commit.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_Iy6sUzL1nmdFgshFYxJEz",
    "type": "input_audio_buffer.committed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

type string

Jenis event. Nilai ini selalu input_audio_buffer.committed.

item_id string

ID item pesan pengguna yang akan dibuat.

input_audio_buffer.cleared

Server mengembalikan event ini setelah klien mengirim event input_audio_buffer.clear.

event_id string

Identifier unik untuk event ini.

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "input_audio_buffer.cleared"
}

type string

Jenis event. Nilai ini selalu input_audio_buffer.cleared.

conversation.item.created

Server mengembalikan event ini ketika sebuah item percakapan dibuat.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_JEfkrr9gO3Ny7Xcv9bGVd",
    "type": "conversation.item.created",
    "item": {
        "id": "item_YbAiGvK2H7YaS34o4R6Ba",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": [
            {
                "type": "input_audio"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_S1hkaIQgcuQD8OEdOpGHQ",
    "type": "conversation.item.created",
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

type string

Jenis event. Nilai ini selalu conversation.item.created.

item object

Item percakapan yang akan ditambahkan.

Properties

id string

ID unik item percakapan.

object string

Nilai ini selalu realtime.item.

status string

Status item percakapan.

role string

Peran pesan.

content string

Konten pesan. Parameter ini dikembalikan ketika jenisnya adalah message.

type string

Jenis item percakapan. Nilai yang valid adalah message atau function_call.

name string

Nama fungsi yang dipanggil ketika jenisnya adalah function_call.

call_id string

Ketika type adalah function_call, ini adalah ID unik untuk pemanggilan fungsi.

arguments string

Ketika type adalah function_call, parameter ini berisi argumen untuk pemanggilan fungsi sebagai string JSON.

conversation.item.input_audio_transcription.delta

Ketika transkripsi audio input diaktifkan, event ini dikirim secara berkala selama pengguna berbicara. Event ini menyediakan hasil transkripsi antara secara real-time. Anda dapat menggabungkan text + stash untuk mendapatkan pratinjau kalimat paling lengkap pada titik waktu tertentu.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_C7jzoeSFuiwOZS6tR14yx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_ThVYhLHOdeXb4bBSvzSFF",
    "content_index": 0,
    "text": "",
    "stash": "How is the weather today?",
    "language": "en",
    "emotion": "neutral",
    "obfuscation": "ABEXGYmxdmc97u"
}

Untuk mendapatkan pratinjau kalimat paling lengkap pada setiap saat, gabungkan kedua field ini: pratinjau real-time = text + stash.

Klik untuk melihat contoh

Misalnya, pengguna mengatakan: "Cuaca hari ini bagus, cerah, dan hangat."

Berikut adalah aliran event yang mungkin Anda terima dan cara menginterpretasikannya:

Waktu	Progres ucapan pengguna	Respons API (text dan stash)	Tampilan UI klien (text + stash)
T1	"The weather..."	text: "" stash: "The weather"	The weather
T2	"...is nice..."	text: "" stash: "The weather is nice"	The weather is nice
T3	"...today,"	text: "The weather" stash: " is nice today,"	The weather is nice today, ("The weather" telah dikonfirmasi dan dipindahkan ke text)
T4	(jeda singkat)	text: "The weather is nice today, " stash: ""	The weather is nice today, (klausa pertama sepenuhnya dikonfirmasi)
T5	"sunny..."	text: "The weather is nice today, " stash: "sunny"	The weather is nice today, sunny
T6	"...and warm."	text: "The weather is nice today, " stash: "sunny and warm."	The weather is nice today, sunny and warm.
T7	(berhenti berbicara)	-	Gunakan transkrip dari conversation.item.input_audio_transcription.completed sebagai hasil akhir.

type string

Jenis event. Nilai ini selalu conversation.item.input_audio_transcription.delta.

item_id string

ID item percakapan terkait.

content_index integer

Indeks bagian konten yang berisi audio.

text string

Awalan teks yang telah dikonfirmasi. Ini adalah bagian dari kalimat saat ini yang telah dikonfirmasi model dan tidak akan berubah.

stash string

Akhiran teks sementara. Ini adalah draf sementara yang mengikuti bagian yang telah dikonfirmasi, yang masih diproses model dan mungkin direvisi.

language string

Bahasa yang terdeteksi dari audio yang dikenali.

emotion string

Emosi yang terdeteksi dari audio yang dikenali. Nilai yang valid: neutral, happy, sad, angry, surprised, disgusted, fearful.

conversation.item.input_audio_transcription.completed

Menunjukkan bahwa audio pengguna telah ditranskripsikan. Transkripsi dilakukan oleh model pengenalan ucapan bawaan (qwen3-asr-flash-realtime). Parameter ini tidak dapat dikonfigurasi.

Teks transkripsi dari model pengenalan ucapan mungkin berbeda dari interpretasi yang dihasilkan oleh model Qwen-Omni-Realtime. Transkripsi hanya untuk referensi.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_FrrZcxiDfTB9LD9p4pVng",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba",
    "content_index": 0,
    "transcript": "Hello."
}

type string

Jenis event. Nilai ini selalu conversation.item.input_audio_transcription.completed.

item_id string

ID item pesan pengguna.

content_index integer

Nilai ini selalu 0.

transcript string

Teks transkripsi.

conversation.item.input_audio_transcription.failed

Server mengembalikan event ini ketika transkripsi audio input diaktifkan dan transkripsi gagal. Event ini independen dari event error dan membantu klien mengidentifikasi kegagalan transkripsi.

event_id string

Identifier unik untuk event ini.

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

type string

Jenis event. Nilai ini selalu conversation.item.input_audio_transcription.failed.

item_id string

ID item pesan pengguna.

content_index integer

Nilai ini selalu 0.

error object

Informasi kesalahan.

Properties

code string

Kode kesalahan.

message string

Pesan kesalahan.

param string

Parameter yang terkait dengan kesalahan.

response.created

Server mengembalikan event ini ketika menghasilkan respons model baru.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_XuDavMzQN3KKepqGu3KRh",
    "type": "response.created",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": []
    }
}

type string

Jenis event. Nilai ini selalu response.created.

response object

Objek respons.

Properties

id string

ID unik respons.

conversation_id string

ID unik sesi saat ini.

object string

Jenis objek. Untuk event ini, nilai ini selalu realtime.response.

status string

Status respons. Nilai yang valid adalah completed, failed, in_progress, atau incomplete.

modalities array

Modalitas respons.

voice string

Suara untuk audio yang dihasilkan model.

output string

Field ini kosong untuk event ini.

response.done

Server mengembalikan event ini setelah respons selesai dihasilkan sepenuhnya. Objek response mencakup semua item output kecuali data audio mentah.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_CSaxRRYLvbrfexDXAEuDG",
    "type": "response.done",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_Ls6MtCUWO7LM4E59QziNv",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello! How can I help you?"
                    }
                ]
            }
        ],
        "usage": {
            "total_tokens": 377,
            "input_tokens": 336,
            "output_tokens": 41,
            "input_tokens_details": {
                "text_tokens": 228,
                "audio_tokens": 108
            },
            "output_tokens_details": {
                "text_tokens": 9,
                "audio_tokens": 32
            },
            "plugins": {
                "search": {
                    "count": 1,
                    "strategy": "agent"
                }
            }
        }
    }
}
// Tool calling scenario
{
    "event_id": "event_T1EFAJp43X2DWtDRmxTtx",
    "type": "response.done",
    "response": {
        "id": "resp_TucN5QgymL5MA8vkJvFlS",
        "object": "realtime.response",
        "conversation_id": "conv_SEDZESRlefT8WvLSmEn6E",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "Ethan",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_FEG9qJGNkPcdf4et3p7BV",
                "object": "realtime.item",
                "type": "function_call",
                "status": "completed",
                "call_id": "call_bc0a7fb7235840f69ecfe4",
                "name": "get_current_weather",
                "arguments": " {\"location\": \"Hangzhou\"}"
            }
        ],
        "usage": {
            "total_tokens": 567,
            "input_tokens": 524,
            "output_tokens": 43,
            "input_tokens_details": {
                "text_tokens": 487,
                "audio_tokens": 37
            },
            "output_tokens_details": {
                "text_tokens": 43
            }
        }
    }
}

type string

Jenis event. Nilai ini selalu response.done.

response object

Objek respons.

Properties

id string

ID unik respons.

conversation_id string

ID unik sesi saat ini.

object string

Jenis objek. Untuk event ini, nilai ini selalu realtime.response.

status string

Status respons.

modalities array

Modalitas respons.

voice string

Suara untuk audio yang dihasilkan model.

output object

Output respons.

Properties

id string

ID output respons.

type string

Jenis item output. Nilai yang valid adalah message atau function_call.

object string

Jenis objek item output. Nilai ini selalu realtime.item.

status string

Status item output.

role string

Peran item output.

content array

Konten item output. Field ini dikembalikan hanya ketika type adalah message.

Properties

type string

Tipe konten. Nilainya bisa berupa text untuk output teks biasa atau audio untuk output audio.

text string

Output teks.

transcript string

Transkrip teks dari audio.

name string

Nama fungsi yang dipanggil ketika jenisnya adalah function_call.

call_id string

Ketika type adalah function_call, ini adalah ID unik untuk pemanggilan fungsi.

arguments string

Ketika type adalah function_call, field ini berisi argumen lengkap untuk pemanggilan fungsi sebagai string JSON.

usage object

Detail penggunaan token untuk respons ini.

Properties

total_tokens integer

Jumlah total token yang digunakan dalam respons ini.

input_tokens integer

Jumlah token input.

output_tokens integer

Jumlah token output.

input_tokens_details object

Detail penggunaan token input, termasuk text_tokens dan audio_tokens.

output_tokens_details object

Detail penggunaan token output, termasuk text_tokens dan audio_tokens.

plugins object (optional)

Metrik penggunaan plugin. Field ini dikembalikan ketika pencarian web (enable_search) diaktifkan.

Properties

search object

Data metering pencarian.

Properties

count integer

Jumlah pencarian.

strategy string

Strategi pencarian.

response.text.delta

Server mengembalikan event ini ketika modalitas output hanya teks dan model menghasilkan teks baru secara inkremental.

event_id string

Identifier unik untuk event ini.

{
    "delta": "Hello",
    "event_id": "event_TH49MauuPmRo1RGaMSlP7",
    "type": "response.text.delta",
    "response_id": "resp_PrRSvPVpnCExdUOGHHLuP",
    "item_id": "item_L8IRm9kRXFpxoOjDqDC96",
    "output_index": 0,
    "content_index": 0
}

type string

Jenis event. Nilai ini selalu response.text.delta.

delta string

Teks inkremental yang dikembalikan.

response_id string

ID respons.

item_id string

ID item pesan. Anda dapat menggunakan ini untuk mereferensikan item pesan yang sama.

output_index integer

Indeks item output dalam respons. Nilai ini selalu 0.

content_index integer

Indeks bagian internal dalam item output. Nilai ini selalu 0.

response.text.done

Ketika modalitas output hanya teks dan model selesai menghasilkan teks, server mengembalikan event ini.

Server juga mengembalikan event ini jika respons diinterupsi, tidak lengkap, atau dibatalkan.

event_id string

Identifier unik untuk event ini.

{
  "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
  "type": "response.text.done",
  "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
  "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
  "output_index": 0,
  "content_index": 0,
  "text": "How can I assist you today?"
}

type string

Jenis event. Nilai ini selalu response.text.done.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons.

content_index integer

Indeks item output dalam respons.

text string

Teks lengkap yang dihasilkan model.

response.audio.delta

Ketika modalitas output mencakup audio dan model menghasilkan data audio baru secara inkremental, server mengembalikan event ini.

event_id string

Identifier unik untuk event ini.

{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
  "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
  "output_index": 0,
  "content_index": 0,
  "delta": "{base64 audio}"
}

type string

Jenis event. Nilai ini selalu response.audio.delta.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons.

content_index integer

Indeks item output dalam respons.

delta string

Data audio inkremental yang dihasilkan model, yang dikodekan dalam Base64.

response.audio.done

Ketika modalitas output mencakup audio dan model selesai menghasilkan data audio, server mengembalikan event ini.

Server juga mengembalikan event ini jika respons diinterupsi, tidak lengkap, atau dibatalkan.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_Le1TDl7VfyHQxl47DtGxI",
    "type": "response.audio.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0
}

type string

Jenis event. Nilai ini selalu response.audio.done.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons.

content_index integer

Indeks item output dalam respons.

response.audio_transcript.delta

Server mengembalikan event response.audio_transcript.delta ketika modalitas output mencakup audio dan model menghasilkan teks baru untuk audio secara inkremental.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_BksW7fOwnyavZdDxIzZYM",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "delta": "What"
}

type string

Jenis event. Nilai ini selalu response.audio_transcript.delta.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons.

content_index integer

Indeks item output dalam respons.

delta string

Teks inkremental.

response.audio_transcript.done

Server mengembalikan event response.audio_transcript.done ketika modalitas output mencakup audio dan model menyelesaikan transkripsi audio.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_X49tL2WerT4WjxcmH16lS",
    "type": "response.audio_transcript.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello! How can I help you?"
}

type string

Jenis event. Nilai ini selalu response.audio_transcript.done.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons.

content_index integer

Indeks item output dalam respons.

transcript string

Teks transkripsi lengkap.

response.function_call_arguments.delta

Ketika model menghasilkan string argumen untuk pemanggilan fungsi secara streaming, server mendorong event ini untuk setiap segmen konten baru. Anda harus menggabungkan field delta dari setiap event sesuai urutan penerimaannya untuk mendapatkan teks argumen saat ini. Konten lengkap disediakan dalam event response.function_call_arguments.done berikutnya.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_SlKoJyEbPEqLq14DSM1u5",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "call_id": "call_2be200f4cafe419b9530dd",
    "delta": " {\"location\": \"Beijing\"}"
}

type string

Jenis event. Nilai ini selalu response.function_call_arguments.delta.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons.

call_id string

ID unik untuk pemanggilan fungsi ini. Ini konsisten dengan event done dalam giliran yang sama.

delta string

Segmen baru dari string argumen (delta). Anda harus menggabungkan segmen-segmen ini secara berurutan.

response.function_call_arguments.done

Menunjukkan bahwa argumen pemanggilan fungsi telah dihasilkan sepenuhnya. Field arguments dalam event ini berisi string argumen lengkap. Setelah menerima event ini, Anda dapat mengurai argumen dan memanggil fungsi tool lokal. Anda harus menggunakan arguments lengkap dari event ini, bukan hasil penggabungan delta.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_X6suLyuL5agdH7r6koesM",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "name": "get_current_weather",
    "call_id": "call_2be200f4cafe419b9530dd",
    "arguments": " {\"location\": \"Beijing\"}"
}

type string

Jenis event. Nilai ini selalu response.function_call_arguments.done.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons.

call_id string

ID unik untuk pemanggilan fungsi ini.

name string

Nama fungsi yang dipanggil.

arguments string

Argumen lengkap untuk pemanggilan fungsi, biasanya direpresentasikan sebagai string JSON.

response.output_item.added

Server mengembalikan event ini ketika membuat item baru selama generasi respons. Jenis item dapat berupa message atau function_call.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_DsCO341DEVtiATtCB6BUY",
    "type": "response.output_item.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}
// Tool calling scenario
{
    "event_id": "event_HXmKt5pGoiRtXx7Hq7zpN",
    "type": "response.output_item.added",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

type string

Jenis event. Nilai ini selalu response.output_item.added.

response_id string

ID respons.

output_index integer

Indeks item output dalam respons.

item object

Informasi mengenai item output.

Properties

id string

ID unik item output.

object string

Nilai ini selalu realtime.item.

status string

Status item output.

role string

Peran pengirim.

content string

Konten pesan. Field ini dikembalikan ketika type adalah message.

type string

Jenis item output. Nilai yang valid adalah message atau function_call.

name string

Nama fungsi yang akan dipanggil ketika type adalah function_call.

call_id string

ID unik untuk pemanggilan fungsi saat ini ketika jenisnya adalah function_call.

arguments string

Argumen pemanggilan fungsi sebagai string JSON ketika type adalah function_call. Dalam event added, field ini awalnya berupa string kosong.

response.output_item.done

Server mengembalikan event ini ketika generasi item output baru selesai.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_MEu5nlLw1LsOguHiehIP8",
    "type": "response.output_item.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello! How can I help you?"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_FHspdfAnCyjuME3mmAwSY",
    "type": "response.output_item.done",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "completed",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": " {\"location\": \"Hangzhou\"}"
    }
}

type string

Jenis event. Nilai ini selalu response.output_item.done.

response_id string

ID respons.

output_index integer

Indeks item output dalam respons.

item object

Informasi item output.

Properties

id string

ID unik item output.

object string

Nilai ini selalu realtime.item.

status string

Status item output.

role string

Peran pengirim.

content string

Konten pesan. Field ini dikembalikan ketika type adalah message.

type string

Jenis item output. Nilai yang valid adalah message atau function_call.

name string

Nama fungsi yang dipanggil ketika jenisnya adalah function_call.

call_id string

Ketika type adalah function_call, ini adalah ID unik untuk pemanggilan fungsi.

arguments string

Ketika type adalah function_call, field ini adalah string JSON yang berisi argumen lengkap untuk pemanggilan fungsi.

response.content_part.added

Server mengembalikan event ini ketika menambahkan bagian konten baru ke item pesan asisten selama generasi respons.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_AVBOmrgY3C8bjlRajfSUT",
    "type": "response.content_part.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

type string

Jenis event. Nilai ini selalu response.content_part.added.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons. Nilai ini selalu 0.

content_index integer

Indeks bagian internal dalam item output. Nilai ini selalu 0.

part object

Informasi item output.

Properties

type string

Jenis bagian konten.

text string

Teks bagian konten.

response.content_part.done

Server mengembalikan event ini ketika streaming bagian konten dalam item pesan asisten selesai.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_Il8HD19v58Qr5IBkw7LtN",
    "type": "response.content_part.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello! How can I help you?"
    }
}

type string

Jenis event. Nilai ini selalu response.content_part.done.

response_id string

ID respons.

item_id string

ID item pesan.

output_index integer

Indeks item output dalam respons. Nilai ini selalu 0.

content_index integer

Indeks bagian konten dalam array konten. Nilai ini selalu 0.

part object

Informasi item output.

Properties

type string

Jenis bagian konten.

text string

Teks bagian konten.