Event server untuk Realtime API - Alibaba Cloud Model Studio

Event server untuk Qwen-Omni-Realtime API, termasuk event tool calling (function calling).

Lihat Qwen-Omni-Realtime.

error

Kesalahan server.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu error.

errorobject

Detail kesalahan.

Properties

typestring

Jenis kesalahan.

codestring

Kode kesalahan.

messagestring

Pesan kesalahan.

paramstring

Parameter yang terkait dengan kesalahan, seperti session.modalities.

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

session.created

Dikembalikan saat klien terhubung. Berisi konfigurasi sesi default.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu session.created.

sessionobject

Konfigurasi sesi.

Properties

objectstring

Nilai ini selalu realtime.session.

modelstring

Model yang digunakan.

modalitiesarray

Modalitas output untuk model.

voicestring

Suara untuk audio yang dihasilkan model.

input_audio_formatstring

Format audio input. Hanya pcm yang didukung (laju sampel 16 kHz).

output_audio_formatstring

Format audio output. Hanya pcm yang didukung (laju sampel 24 kHz).

input_audio_transcriptionobject

Konfigurasi transkripsi.

Properties

modelstring

Model transkripsi. Selalu qwen3-asr-flash-realtime. Tidak dapat dikonfigurasi.

turn_detectionobject

Konfigurasi deteksi aktivitas suara (VAD).

Properties

typestring

Jenis VAD. Nilai yang valid adalah server_vad (default) atau semantic_vad. Lihat Client events.

thresholdfloat

Ambang batas deteksi VAD.

silence_duration_msinteger

Durasi diam (ms) yang memicu deteksi akhir ucapan.

idle_timeout_msinteger

Waktu idle timeout dalam milidetik. Dikembalikan hanya dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.

enable_searchboolean

Apakah pencarian web diaktifkan. Didukung hanya oleh model seri Qwen3.5-Omni-Realtime.

search_optionsobject

Opsi untuk pencarian web.

temperaturefloat

Parameter suhu untuk model.

{
    "event_id": "event_RdvlSpbBb2ssyBjYrDHjt",
    "type": "session.created",
    "session": {
        "object": "realtime.session",
        "model": "qwen3-omni-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            // The value can be server_vad or semantic_vad (only supported by qwen3.5-omni-realtime series model).
            "type": "server_vad",
            "threshold": 0.5,
            "prefix_padding_ms": 300,
            "silence_duration_ms": 800,
            "create_response": true,
            "interrupt_response": true
        },
        "enable_search": false,
        "search_options": {},
        "tools": [],
        "temperature": 0.8,
        "id": "sess_Ov7GOXoNXhNjlxXtOGKQS"
    }
}

session.updated

Dikembalikan setelah permintaan session.update berhasil. Jika gagal, event error akan dikembalikan sebagai gantinya.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu session.updated.

sessionobject

Konfigurasi sesi.

Properties

temperaturefloat

Parameter suhu untuk model.

modalitiesarray

Modalitas output untuk model.

voicestring

Suara untuk audio yang dihasilkan model.

instructionsstring

Tujuan dan peran model.

input_audio_formatstring

Format audio input. Hanya pcm yang didukung (laju sampel 16 kHz).

output_audio_formatstring

Format audio output. Hanya pcm yang didukung (laju sampel 24 kHz).

input_audio_transcriptionobject

Konfigurasi transkripsi.

Properties

modelstring

Model transkripsi. Selalu qwen3-asr-flash-realtime. Tidak dapat dikonfigurasi.

turn_detectionobject

Konfigurasi deteksi aktivitas suara (VAD).

Properties

typestring

Jenis VAD. Nilai yang valid adalah server_vad (default) atau semantic_vad. Lihat Client events.

thresholdfloat

Ambang batas deteksi VAD.

silence_duration_msinteger

Durasi diam (ms) yang memicu deteksi akhir ucapan.

idle_timeout_msinteger

Waktu idle timeout dalam milidetik. Dikembalikan hanya dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.

enable_searchboolean (optional)

Apakah pencarian web diaktifkan. Didukung hanya oleh model seri Qwen3.5-Omni-Realtime.

search_optionsobject (optional)

Opsi pencarian web.

toolsarray (optional)

Definisi tool. Saat dikonfigurasi, model dapat memutuskan apakah akan memanggil tool berdasarkan input pengguna.

Properties

typestring (required)

Nilai ini selalu function.

function.namestring (required)

Nama fungsi, seperti get_current_weather atau get_current_time.

function.descriptionstring (optional)

Deskripsi tujuan fungsi. Model menggunakan ini untuk memutuskan apakah akan memanggil fungsi.

function.parametersobject (optional)

Skema parameter input. Model menggunakan ini untuk mengekstraksi parameter. Abaikan jika fungsi tidak memiliki parameter.

Properties

typestring (required)

Nilai ini selalu object.

propertiesobject (optional)

Setiap kunci adalah nama parameter yang dipetakan ke objek dengan type dan description.

requiredarray (optional)

Menentukan parameter input mana yang wajib.

top_pfloat

Ambang batas probabilitas untuk pengambilan sampel inti.

top_kinteger

Ukuran kumpulan kandidat untuk pengambilan sampel selama generasi.

max_tokensinteger

Maksimum token yang dapat dikembalikan model untuk permintaan ini.

repetition_penaltyfloat

Mengontrol pengulangan dalam urutan berturut-turut selama generasi.

presence_penaltyfloat

Mengontrol pengulangan dalam konten yang dihasilkan.

seedinteger

Tingkat konsistensi dalam output model per permintaan.

{
    "event_id": "event_X1HsXS4b4uptp6yo1LgKd",
    "type": "session.updated",
    "session": {
        "id": "sess_Aih6vAcY5Ddt6jwFx1tCa",
        "object": "realtime.session",
        "model": "qwen3-omni-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "instructions": "You are Xiao Yun, a personal assistant. Answer user questions accurately and in a friendly manner. Always respond with a helpful attitude.",
        "voice": "Cherry",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            // The value can be server_vad or semantic_vad (only supported by qwen3.5-omni-realtime series model).
            "type": "server_vad",
            "threshold": 0.1,
            "prefix_padding_ms": 500,
            "silence_duration_ms": 900,
            "create_response": true,
            "interrupt_response": true
        },
        "enable_search": true,
        "search_options": {
            "enable_source": true
        },
        "tools": [
            {
                "type": "function",
                "function": {
                    "name": "get_current_weather",
                    "description": "Useful for querying the weather in a specific city.",
                    "parameters": {
                        "type": "object",
                        "properties": {
                            "location": {"type": "string", "description": "The city name"}
                        },
                        "required": ["location"]
                    }
                }
            }
        ],
        "temperature": 0.8,
        "max_response_output_token": "inf",
        "max_tokens": 16384,
        "repetition_penalty": 1.05,
        "presence_penalty": 0.0,
        "top_k": 50,
        "top_p": 1.0,
        "seed":-1
    }
}

input_audio_buffer.speech_started

Dalam mode VAD, dikembalikan saat server mendeteksi awal ucapan dalam buffer audio.

Dapat dipicu setiap kali audio ditambahkan ke buffer sebelum ucapan terdeteksi.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu input_audio_buffer.speech_started.

audio_start_msinteger

Waktu (ms) sejak penulisan buffer audio dimulai hingga ucapan pertama kali terdeteksi.

item_idstring

ID item pesan pengguna yang dibuat saat akhir ucapan terdeteksi.

Item pesan pengguna menambahkan input pengguna ke riwayat percakapan untuk inferensi model.

{
    "event_id": "event_Pvp8nEhsQuGCQbFJ9x58n",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 3647,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.speech_stopped

Dalam mode VAD, dikembalikan saat server mendeteksi akhir ucapan dalam buffer audio.

Juga mengembalikan event conversation.item.created dengan item pesan pengguna yang sesuai.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu input_audio_buffer.speech_stopped.

audio_end_msinteger

Waktu (ms) sejak sesi dimulai hingga akhir ucapan terdeteksi.

item_idstring

ID item pesan pengguna yang akan dibuat.

{
    "event_id": "event_UhQiqNVRsgUiq4KUS5Xb5",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 4453,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.committed

Dikembalikan saat buffer audio input dikomit.

Dalam mode VAD, server secara otomatis mengkomit buffer saat mendeteksi akhir ucapan.
Dalam mode Manual, dikembalikan setelah klien mengirim event input_audio_buffer.commit.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu input_audio_buffer.committed.

item_idstring

ID item pesan pengguna yang akan dibuat.

{
    "event_id": "event_Iy6sUzL1nmdFgshFYxJEz",
    "type": "input_audio_buffer.committed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.cleared

Dikembalikan setelah klien mengirim event input_audio_buffer.clear.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu input_audio_buffer.cleared.

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "input_audio_buffer.cleared"
}

conversation.item.created

Dikembalikan saat item percakapan dibuat.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu conversation.item.created.

itemobject

Item percakapan yang akan ditambahkan.

Properties

idstring

ID unik dari item percakapan.

objectstring

Nilai ini selalu realtime.item.

statusstring

Status item percakapan.

rolestring

Peran dari pesan.

contentarray

Konten dari pesan. Parameter ini dikembalikan saat jenisnya message.

typestring

Jenis item percakapan. Nilai yang valid adalah message atau function_call.

namestring

Nama fungsi yang dipanggil saat jenisnya function_call.

call_idstring

Saat type adalah function_call, ini adalah ID unik dari pemanggilan fungsi.

argumentsstring

Saat type adalah function_call, parameter ini berisi argumen untuk pemanggilan fungsi sebagai string JSON.

{
    "event_id": "event_JEfkrr9gO3Ny7Xcv9bGVd",
    "type": "conversation.item.created",
    "item": {
        "id": "item_YbAiGvK2H7YaS34o4R6Ba",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": [
            {
                "type": "input_audio"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_S1hkaIQgcuQD8OEdOpGHQ",
    "type": "conversation.item.created",
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

conversation.item.input_audio_transcription.delta

Dikirim secara berkala saat pengguna berbicara ketika transkripsi audio input diaktifkan. Memberikan hasil transkripsi antara secara real-time. Gabungkan text + stash untuk pratinjau kalimat paling lengkap pada titik tertentu.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu conversation.item.input_audio_transcription.delta.

item_idstring

ID item percakapan yang terkait.

content_indexinteger

Indeks bagian konten yang berisi audio.

textstring

Awalan teks yang dikonfirmasi — bagian yang telah difinalisasi model dan tidak akan berubah.

stashstring

Akhiran teks sementara — draf sementara setelah bagian yang dikonfirmasi, dapat direvisi.

languagestring

Bahasa yang terdeteksi dari audio yang dikenali.

emotionstring

Emosi yang terdeteksi dari audio yang dikenali. Nilai yang valid: neutral, happy, sad, angry, surprised, disgusted, fearful.

{
    "event_id": "event_C7jzoeSFuiwOZS6tR14yx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_ThVYhLHOdeXb4bBSvzSFF",
    "content_index": 0,
    "text": "",
    "stash": "How is the weather today?",
    "language": "en",
    "emotion": "neutral",
    "obfuscation": "ABEXGYmxdmc97u"
}

Untuk mendapatkan pratinjau kalimat paling lengkap pada setiap saat, gabungkan kedua field ini: pratinjau real-time = text + stash.

Klik untuk melihat contoh

Misalnya, pengguna mengatakan: "Cuaca hari ini bagus, cerah, dan hangat."

Berikut ini menunjukkan aliran event yang mungkin Anda terima dan cara menginterpretasikannya:

Waktu	Progres ucapan pengguna	Respons API (text dan stash)	Tampilan UI Klien (teks + stash)
T1	"The weather..."	text: "" stash: "The weather"	The weather
T2	"...is nice..."	text: "" stash: "The weather is nice"	The weather is nice
T3	"...today,"	text: "The weather" stash: " is nice today,"	The weather is nice today, ("The weather" telah dikonfirmasi dan dipindahkan ke text)
T4	(jeda singkat)	text: "The weather is nice today, " stash: ""	The weather is nice today, (klausa pertama sepenuhnya dikonfirmasi)
T5	"sunny..."	text: "The weather is nice today, " stash: "sunny"	The weather is nice today, sunny
T6	"...and warm."	text: "The weather is nice today, " stash: "sunny and warm."	The weather is nice today, sunny and warm.
T7	(berhenti berbicara)	-	Gunakan transkrip dari conversation.item.input_audio_transcription.completed sebagai hasil akhir.

conversation.item.input_audio_transcription.completed

Menunjukkan bahwa audio pengguna telah ditranskripsikan oleh model pengenalan ucapan bawaan (qwen3-asr-flash-realtime). Tidak dapat dikonfigurasi.

Teks transkripsi dari model pengenalan ucapan mungkin berbeda dari interpretasi yang dihasilkan oleh model Qwen-Omni-Realtime. Transkripsi hanya untuk referensi.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu conversation.item.input_audio_transcription.completed.

item_idstring

ID item pesan pengguna.

content_indexinteger

Nilai ini selalu 0.

transcriptstring

Teks transkripsi.

{
    "event_id": "event_FrrZcxiDfTB9LD9p4pVng",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba",
    "content_index": 0,
    "transcript": "Hello."
}

conversation.item.input_audio_transcription.failed

Dikembalikan saat transkripsi audio input diaktifkan dan transkripsi gagal. Terpisah dari event error; membantu klien mengidentifikasi kegagalan transkripsi secara spesifik.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu conversation.item.input_audio_transcription.failed.

item_idstring

ID item pesan pengguna.

content_indexinteger

Nilai ini selalu 0.

errorobject

Informasi kesalahan.

Properties

code string

Kode kesalahan.

message string

Pesan kesalahan.

param string

Parameter yang terkait dengan kesalahan.

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

response.created

Dikembalikan saat server mulai menghasilkan respons baru.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.created.

responseobject

Objek respons.

Properties

id string

ID unik dari respons.

conversation_id string

ID unik dari sesi saat ini.

object string

Jenis objek. Untuk event ini, nilai ini selalu realtime.response.

status string

Status respons. Nilai yang valid adalah completed, failed, in_progress, atau incomplete.

modalities array

Modalitas respons.

voice string

Suara untuk audio yang dihasilkan model.

output array

Field ini kosong untuk event ini.

{
    "event_id": "event_XuDavMzQN3KKepqGu3KRh",
    "type": "response.created",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": []
    }
}

response.done

Dikembalikan setelah respons sepenuhnya dihasilkan. Objek response mencakup semua item output kecuali data audio mentah.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.done.

responseobject

Objek respons.

Properties

id string

ID unik dari respons.

conversation_id string

ID unik dari sesi saat ini.

object string

Jenis objek. Untuk event ini, nilai ini selalu realtime.response.

status string

Status respons.

modalities array

Modalitas respons.

voice string

Suara untuk audio yang dihasilkan model.

output object

Output respons.

Properties

id string

ID output respons.

type string

Jenis item output. Nilai yang valid adalah message atau function_call.

object string

Jenis objek item output. Nilai ini selalu realtime.item.

status string

Status item output.

role string

Peran item output.

content array

Konten item output. Field ini dikembalikan hanya saat type adalah message.

Properties

type string

Jenis konten. Nilainya dapat berupa text untuk output teks biasa atau audio untuk output audio.

text string

Output teks.

transcript string

Transkrip teks dari audio.

name string

Nama fungsi yang dipanggil saat jenisnya function_call.

call_id string

Saat type adalah function_call, ini adalah ID unik dari pemanggilan fungsi.

arguments string

Saat type adalah function_call, field ini berisi argumen lengkap untuk pemanggilan fungsi sebagai string JSON.

usage object

Detail penggunaan token untuk respons ini.

Properties

total_tokens integer

Total token yang digunakan dalam respons ini.

input_tokens integer

Jumlah token input.

output_tokens integer

Jumlah token output.

input_tokens_details object

Detail penggunaan token input, termasuk text_tokens dan audio_tokens.

output_tokens_details object

Detail penggunaan token output, termasuk text_tokens dan audio_tokens.

plugins object (optional)

Metrik penggunaan plugin. Dikembalikan saat pencarian web (enable_search) diaktifkan.

Properties

search object

Data metering pencarian.

Properties

count integer

Jumlah pencarian.

strategy string

Strategi pencarian.

{
    "event_id": "event_CSaxRRYLvbrfexDXAEuDG",
    "type": "response.done",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_Ls6MtCUWO7LM4E59QziNv",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello! How can I help you?"
                    }
                ]
            }
        ],
        "usage": {
            "total_tokens": 377,
            "input_tokens": 336,
            "output_tokens": 41,
            "input_tokens_details": {
                "text_tokens": 228,
                "audio_tokens": 108
            },
            "output_tokens_details": {
                "text_tokens": 9,
                "audio_tokens": 32
            },
            "plugins": {
                "search": {
                    "count": 1,
                    "strategy": "agent"
                }
            }
        }
    }
}
// Tool calling scenario
{
    "event_id": "event_T1EFAJp43X2DWtDRmxTtx",
    "type": "response.done",
    "response": {
        "id": "resp_TucN5QgymL5MA8vkJvFlS",
        "object": "realtime.response",
        "conversation_id": "conv_SEDZESRlefT8WvLSmEn6E",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "Ethan",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_FEG9qJGNkPcdf4et3p7BV",
                "object": "realtime.item",
                "type": "function_call",
                "status": "completed",
                "call_id": "call_bc0a7fb7235840f69ecfe4",
                "name": "get_current_weather",
                "arguments": " {\"location\": \"Hangzhou\"}"
            }
        ],
        "usage": {
            "total_tokens": 567,
            "input_tokens": 524,
            "output_tokens": 43,
            "input_tokens_details": {
                "text_tokens": 487,
                "audio_tokens": 37
            },
            "output_tokens_details": {
                "text_tokens": 43
            }
        }
    }
}

response.text.delta

Dikembalikan saat modalitas output hanya teks dan model menghasilkan teks baru secara inkremental.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.text.delta.

deltastring

Teks inkremental yang dihasilkan model.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons. Nilai ini selalu 0.

content_indexinteger

Indeks bagian internal dalam item output. Nilai ini selalu 0.

{
    "delta": "Hello",
    "event_id": "event_TH49MauuPmRo1RGaMSlP7",
    "type": "response.text.delta",
    "response_id": "resp_PrRSvPVpnCExdUOGHHLuP",
    "item_id": "item_L8IRm9kRXFpxoOjDqDC96",
    "output_index": 0,
    "content_index": 0
}

response.text.done

Dikembalikan saat modalitas output hanya teks dan model selesai menghasilkan teks.

Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.text.done.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks item output dalam respons.

text string

Teks lengkap yang dihasilkan model.

{
  "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
  "type": "response.text.done",
  "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
  "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
  "output_index": 0,
  "content_index": 0,
  "text": "How can I assist you today?"
}

response.audio.delta

Dikembalikan saat modalitas output mencakup audio dan model menghasilkan data audio baru secara inkremental.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.audio.delta.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks item output dalam respons.

delta string

Data audio inkremental yang dikodekan dalam Base64.

{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
  "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
  "output_index": 0,
  "content_index": 0,
  "delta": "{base64 audio}"
}

response.audio.done

Dikembalikan saat modalitas output mencakup audio dan model selesai menghasilkan data audio.

Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.audio.done.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks item output dalam respons.

{
    "event_id": "event_Le1TDl7VfyHQxl47DtGxI",
    "type": "response.audio.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0
}

response.audio_transcript.delta

Dikembalikan saat modalitas output mencakup audio dan model menghasilkan teks transkrip response.audio_transcript.delta secara inkremental.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.audio_transcript.delta.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks item output dalam respons.

deltastring

Teks inkremental.

{
    "event_id": "event_BksW7fOwnyavZdDxIzZYM",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "delta": "What"
}

response.audio_transcript.done

Dikembalikan sebagai event response.audio_transcript.done saat modalitas output mencakup audio dan model menyelesaikan transkrip audio.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.audio_transcript.done.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks item output dalam respons.

transcriptstring

Teks transkripsi lengkap.

{
    "event_id": "event_X49tL2WerT4WjxcmH16lS",
    "type": "response.audio_transcript.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello! How can I help you?"
}

response.function_call_arguments.delta

Dikembalikan saat model mengalirkan argumen pemanggilan fungsi. Gabungkan field delta secara berurutan untuk membangun string argumen. Konten lengkap disediakan dalam event response.function_call_arguments.done berikutnya.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.function_call_arguments.delta.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons.

call_idstring

ID unik untuk pemanggilan fungsi ini. Konsisten dengan event done dalam giliran yang sama.

deltastring

Segmen baru dari string argumen. Gabungkan segmen secara berurutan.

{
    "event_id": "event_SlKoJyEbPEqLq14DSM1u5",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "call_id": "call_2be200f4cafe419b9530dd",
    "delta": " {\"location\": \"Beijing\"}"
}

response.function_call_arguments.done

Menunjukkan bahwa argumen pemanggilan fungsi telah sepenuhnya dihasilkan. Field arguments berisi string argumen lengkap. Gunakan arguments dari event ini — bukan hasil penggabungan delta — untuk mengurai dan memanggil fungsi lokal.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.function_call_arguments.done.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons.

call_idstring

ID unik untuk pemanggilan fungsi ini.

namestring

Nama fungsi yang dipanggil.

argumentsstring

Argumen pemanggilan fungsi lengkap sebagai string JSON.

{
    "event_id": "event_X6suLyuL5agdH7r6koesM",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "name": "get_current_weather",
    "call_id": "call_2be200f4cafe419b9530dd",
    "arguments": " {\"location\": \"Beijing\"}"
}

response.output_item.added

Dikembalikan saat item baru dibuat selama generasi respons. Jenis item dapat berupa message atau function_call.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.output_item.added.

response_idstring

ID respons.

output_indexinteger

Indeks item output dalam respons.

itemobject

Informasi tentang item output.

Properties

idstring

ID unik dari item output.

objectstring

Nilai ini selalu realtime.item.

statusstring

Status item output.

rolestring

Peran pengirim.

contentarray

Konten pesan. Field ini dikembalikan saat type adalah message.

typestring

Jenis item output. Nilai yang valid adalah message atau function_call.

namestring

Nama fungsi yang akan dipanggil saat type adalah function_call.

call_idstring

ID unik dari pemanggilan fungsi saat ini saat jenisnya function_call.

argumentsstring

Argumen pemanggilan fungsi sebagai string JSON saat type adalah function_call. Awalnya string kosong dalam event added.

{
    "event_id": "event_DsCO341DEVtiATtCB6BUY",
    "type": "response.output_item.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}
// Tool calling scenario
{
    "event_id": "event_HXmKt5pGoiRtXx7Hq7zpN",
    "type": "response.output_item.added",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

response.output_item.done

Dikembalikan saat item output sepenuhnya dihasilkan.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.output_item.done.

response_idstring

ID respons.

output_indexinteger

Indeks item output dalam respons.

itemobject

Informasi item output.

Properties

idstring

ID unik dari item output.

objectstring

Nilai ini selalu realtime.item.

statusstring

Status item output.

rolestring

Peran pengirim.

contentarray

Konten pesan. Field ini dikembalikan saat type adalah message.

typestring

Jenis item output. Nilai yang valid adalah message atau function_call.

namestring

Nama fungsi yang dipanggil saat jenisnya function_call.

call_idstring

Saat type adalah function_call, ini adalah ID unik untuk pemanggilan fungsi.

argumentsstring

Saat type adalah function_call, berisi argumen pemanggilan fungsi lengkap sebagai string JSON.

{
    "event_id": "event_MEu5nlLw1LsOguHiehIP8",
    "type": "response.output_item.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello! How can I help you?"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_FHspdfAnCyjuME3mmAwSY",
    "type": "response.output_item.done",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "completed",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": " {\"location\": \"Hangzhou\"}"
    }
}

response.content_part.added

Dikembalikan saat bagian konten baru ditambahkan ke item pesan asisten selama generasi respons.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.content_part.added.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons. Nilai ini selalu 0.

content_indexinteger

Indeks bagian internal dalam item output. Nilai ini selalu 0.

partobject

Informasi item output.

Properties

typestring

Jenis bagian konten.

textstring

Teks bagian konten.

{
    "event_id": "event_AVBOmrgY3C8bjlRajfSUT",
    "type": "response.content_part.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.content_part.done

Dikembalikan saat streaming bagian konten dalam item pesan asisten selesai.

event_idstring

Identifier unik untuk event ini.

typestring

Jenis event. Nilai ini selalu response.content_part.done.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks item output dalam respons. Nilai ini selalu 0.

content_indexinteger

Indeks bagian konten dalam array konten. Nilai ini selalu 0.

partobject

Informasi item output.

Properties

typestring

Jenis bagian konten.

textstring

Teks bagian konten.

{
    "event_id": "event_Il8HD19v58Qr5IBkw7LtN",
    "type": "response.content_part.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello! How can I help you?"
    }
}