Event server Qwen-Audio Realtime API - Alibaba Cloud Model Studio

Referensi event server untuk Qwen-Audio Realtime API. Semua event server mencakup bidang event_id (di-generate otomatis oleh server) dan type (tipe event).

Panduan pengguna: Realtime Audio Chat (Qwen-Audio-Realtime). Untuk urutan interaksi event, lihat WebSocket API.

error

Deskripsi: Dikembalikan ketika permintaan gagal atau terjadi error layanan. Error klien (invalid_request_error) tetap menjaga koneksi terbuka. Error server (server_error) menghentikan koneksi.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu error.

errorobject

Detail error.

Properti

typestring

Tipe error, seperti invalid_request_error (error klien) atau server_error (error server).

codestring

Kode error.

messagestring

Pesan error.

paramstring

Parameter yang terkait dengan error tersebut.

{
    "event_id": "event_xxx",
    "type": "error",
    "error": {
        "type": "invalid_request_error",
        "code": "invalid_value",
        "message": "Cannot create response while another response is in progress.",
        "param": "response.create"
    }
}

session.created

Deskripsi: Event pertama yang dikirim oleh server setelah koneksi terbentuk. Berisi konfigurasi sesi default.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu session.created.

sessionobject

Konfigurasi sesi.

Properti

objectstring

Selalu realtime.session.

modelstring

Nama model.

modalitiesarray

Modalitas output dari model.

voicestring

Voice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.

input_audio_transcriptionobject

Konfigurasi transkripsi audio.

Properti

modelstring

Model transkripsi, seperti fun-asr.

turn_detectionobject

Konfigurasi deteksi giliran (VAD).

idstring

Identifier unik sesi.

{
    "event_id": "event_KiKZC2zrhNsKFPZ5cTpyA",
    "type": "session.created",
    "session": {
        "object": "realtime.session",
        "model": "qwen-audio-3.0-realtime-plus",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "input_audio_transcription": {
            "model": "fun-asr"
        },
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        },
        "id": "sess_A1LbG2D63WELBSawRbpq8"
    }
}

session.updated

Deskripsi: Dikembalikan setelah permintaan session.update diproses berhasil. Berisi konfigurasi sesi lengkap yang telah diperbarui. Jika permintaan gagal, event error akan dikembalikan sebagai gantinya.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu session.updated.

sessionobject

Konfigurasi sesi lengkap setelah pembaruan. Memiliki struktur yang sama dengan objek sesi pada session.created.

{
    "event_id": "event_FMG6kiHbILCGiqXFPA98e",
    "type": "session.updated",
    "session": {
        "id": "sess_A1LbG2D63WELBSawRbpq8",
        "object": "realtime.session",
        "model": "pre-fun-realtime-audiochat-beta-3",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "input_audio_transcription": {
            "model": "fun-asr"
        },
        "turn_detection": {
            "type": "smart_turn",
            "threshold": 0.1,
            "silence_duration_ms": 900
        }
    }
}

input_audio_buffer.speech_started

Deskripsi: Dikirim ketika Voice Activity Detection (VAD) mendeteksi awal ucapan dalam mode server_vad / smart_turn.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu input_audio_buffer.speech_started.

audio_start_msinteger

Timestamp dalam milidetik saat ucapan dimulai.

item_idstring

ID item yang akan dibuat ketika segmen ucapan ini dikomit.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 1200,
    "item_id": "item_xxx"
}

input_audio_buffer.speech_stopped

Deskripsi: Dikirim ketika VAD mendeteksi akhir ucapan dalam mode server_vad / smart_turn.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu input_audio_buffer.speech_stopped.

audio_end_msinteger

Cap waktu dalam milidetik saat ucapan berakhir.

item_idstring

ID item pesan pengguna yang akan dibuat.

reasonstring

Hanya dikembalikan dalam mode smart_turn. Ketika diatur ke turn_invalid, menunjukkan bahwa giliran saat ini diklasifikasikan sebagai tidak valid (tidak memiliki konten semantik) dan inferensi tidak akan dipicu. Bidang ini tidak ada untuk giliran yang valid.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 3400,
    "item_id": "item_xxx",
    "reason": "turn_invalid"
}

input_audio_buffer.committed

Deskripsi: Buffer audio telah dikomit sebagai pesan pengguna, baik melalui komit push-to-talk maupun komit otomatis VAD.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu input_audio_buffer.committed.

previous_item_idstring

ID item percakapan sebelumnya.

item_idstring

ID item pesan pengguna yang dibuat.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.committed",
    "previous_item_id": "item_xxx",
    "item_id": "item_xxx"
}

input_audio_buffer.cleared

Deskripsi: Buffer audio telah dihapus (hanya dalam mode push-to-talk).

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu input_audio_buffer.cleared.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.cleared"
}

conversation.item.created

Deskripsi: Item percakapan baru telah dibuat. Dipicu ketika audio pengguna dikomit, klien membuat item secara manual, atau respons asisten dimulai.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.created.

previous_item_idstring

ID item percakapan sebelumnya.

itemobject

Item percakapan yang dibuat.

Properti

idstring

Identifier unik untuk item percakapan.

objectstring

Selalu realtime.item.

typestring

Tipe item: message (pesan standar) atau function_call (pemanggilan fungsi).

statusstring

Status item, seperti in_progress atau completed.

rolestring

Peran pesan, seperti user atau assistant. Hanya ada untuk item tipe message.

contentarray

Daftar konten pesan. Hanya ada untuk item tipe message.

{
    "event_id": "event_xxx",
    "type": "conversation.item.created",
    "previous_item_id": "item_xxx",
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

conversation.item.deleted

Deskripsi: Item percakapan telah dihapus. Dikembalikan sebagai konfirmasi setelah klien mengirim event conversation.item.delete.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.deleted.

item_idstring

ID item percakapan yang dihapus.

{
    "event_id": "event_xxx",
    "type": "conversation.item.deleted",
    "item_id": "item_xxx"
}

conversation.item.retrieved

Deskripsi: Item percakapan berhasil diambil. Dikembalikan setelah klien mengirim event conversation.item.retrieve. Untuk konten bertipe audio, hanya teks transkrip yang disertakan; raw audio data tidak dikembalikan.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.retrieved.

itemobject

Item percakapan yang diambil.

Properti

idstring

Identifier unik untuk item percakapan.

objectstring

Selalu realtime.item.

typestring

Tipe item: message (pesan standar) atau function_call (pemanggilan fungsi).

rolestring

Peran pesan, seperti user atau assistant. Hanya ada untuk item tipe message.

contentarray

Daftar konten pesan. Untuk konten bertipe audio, hanya teks transkrip yang disertakan; raw audio data tidak dikembalikan.

{
    "event_id": "event_xxx",
    "type": "conversation.item.retrieved",
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "role": "user",
        "content": [
            {
                "type": "input_audio",
                "transcript": "Hello"
            }
        ]
    }
}

conversation.item.input_audio_transcription.delta

Deskripsi: Hasil transkripsi Automatic Speech Recognition (ASR) inkremental, dialirkan selama pengenalan ucapan. Termasuk informasi deteksi emosi dan bahasa.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.input_audio_transcription.delta.

item_idstring

ID item percakapan terkait.

content_indexinteger

Indeks bagian konten.

textstring

Teks transkripsi yang telah difinalisasi.

stashstring

Teks sementara yang belum difinalisasi.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "Hello",
    "stash": "world"
}

conversation.item.input_audio_transcription.completed

Deskripsi: Hasil transkripsi ASR final. Teks transkripsi ditulis ke bidang transcript dari item terkait.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.input_audio_transcription.completed.

item_idstring

ID item percakapan terkait.

content_indexinteger

Indeks bagian konten.

transcriptstring

Teks transkripsi lengkap.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "Hello world"
}

conversation.item.input_audio_transcription.failed

Deskripsi: Transkripsi ASR gagal.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.input_audio_transcription.failed.

item_idstring

ID item percakapan terkait.

content_indexinteger

Indeks bagian konten.

errorobject

Detail error.

Properti

typestring

Tipe error, seperti transcription_error.

codestring

Kode error, seperti transcription_failed.

messagestring

Pesan error.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.failed",
    "item_id": "item_xxx",
    "content_index": 0,
    "error": {
        "type": "transcription_error",
        "code": "transcription_failed",
        "message": "ASR transcription failed"
    }
}

conversation.item.ambient_audio_transcription.delta

Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi inkremental untuk audio ambient. Ketika VAD mendeteksi aktivitas suara tetapi analisis semantik mengklasifikasikan giliran tersebut sebagai tidak valid (misalnya, kebisingan latar belakang atau kata pengisi seperti "hmm" atau "uh"), hasil ASR diteruskan ke klien sebagai event ambient. Event ini tidak terkait dengan item percakapan apa pun. item_id adalah ID sementara yang berdiri sendiri.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.ambient_audio_transcription.delta.

item_idstring

ID sementara yang berdiri sendiri, tidak terkait dengan item percakapan apa pun.

content_indexinteger

Indeks bagian konten.

textstring

Teks transkripsi yang telah difinalisasi.

stashstring

Teks sementara yang belum difinalisasi.

{
    "event_id": "event_xxx",
    "type": "conversation.item.ambient_audio_transcription.delta",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "Hmm",
    "stash": ""
}

conversation.item.ambient_audio_transcription.completed

Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi final untuk audio ambient. Dipasangkan dengan event delta terkait untuk menandai akhir segmen transkripsi audio ambient. Hasil ini tidak ditulis ke konteks percakapan.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu conversation.item.ambient_audio_transcription.completed.

item_idstring

ID sementara yang berdiri sendiri, tidak terkait dengan konteks percakapan.

content_indexinteger

Indeks bagian konten.

transcriptstring

Teks transkripsi lengkap.

{
    "event_id": "event_xxx",
    "type": "conversation.item.ambient_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "Hmm",
}

response.created

Deskripsi: Dikirim ketika putaran inferensi model dimulai.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.created.

responseobject

Objek respons.

Properti

idstring

Identifier unik untuk respons.

objectstring

Selalu realtime.response.

statusstring

Status respons, seperti in_progress.

modalitiesarray

Modalitas output dari model.

voicestring

Voice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.

outputarray

Item output dari respons. Awalnya merupakan array kosong.

{
    "event_id": "event_xxx",
    "type": "response.created",
    "response": {
        "id": "resp_xxx",
        "object": "realtime.response",
        "status": "in_progress",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "output": []
    }
}

response.output_item.added

Deskripsi: Item output baru ditambahkan ke respons. Tipe item output adalah message untuk balasan standar, atau function_call untuk Function Calling.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.output_item.added.

response_idstring

ID respons terkait.

output_indexinteger

Indeks item output dalam respons.

itemobject

Item output yang ditambahkan.

Properti

idstring

Identifier unik untuk item output.

objectstring

Selalu realtime.item.

typestring

Tipe item output: message (pesan standar) atau function_call (pemanggilan fungsi).

statusstring

Status item output, seperti in_progress.

rolestring

Peran pesan. Selalu assistant. Hanya ada untuk item tipe message.

contentarray

Daftar konten pesan. Hanya ada untuk item tipe message.

{
    "event_id": "event_xxx",
    "type": "response.output_item.added",
    "response_id": "resp_xxx",
    "output_index": 0,
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

Contoh item output Function Calling:

Ketika item output adalah pemanggilan fungsi, event response.output_item.added / conversation.item.created / response.output_item.done berisi struktur item berikut:

{
          "id": "item_xxx",
          "object": "realtime.item",
          "type": "function_call",
          "status": "completed",
          "call_id": "call_xxx",
          "name": "get_weather",
          "arguments": "{\"city\":\"Hangzhou\"}"
      }

CatatanSatu respons dapat mencakup beberapa item function_call dan mungkin juga berisi output message standar bersama output function_call. Bagian Function Calling tidak dikirim ke TTS untuk pemutaran audio.

response.content_part.added

Deskripsi: Bagian konten baru ditambahkan ke item output.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.content_part.added.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

partobject

Bagian konten yang ditambahkan.

Properti

typestring

Tipe konten, seperti audio atau text.

textstring

Konten teks. Awalnya merupakan string kosong.

{
    "event_id": "event_xxx",
    "type": "response.content_part.added",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.text.delta

Deskripsi: Event delta teks dalam mode teks saja. Mengalirkan fragmen teks secara inkremental.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.text.delta.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

deltastring

Fragmen teks inkremental.

{
    "event_id": "event_xxx",
    "type": "response.text.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "Hello"
}

response.text.done

Deskripsi: Event penyelesaian output teks dalam mode teks saja.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.text.done.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

textstring

Output teks lengkap.

{
    "event_id": "event_xxx",
    "type": "response.text.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "text": "Hello, how can I help you?"
}

response.audio_transcript.delta

Deskripsi: Event delta transkrip dalam mode audio. Mengalirkan fragmen transkrip secara inkremental.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.audio_transcript.delta.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

deltastring

Fragmen transkrip inkremental.

{
    "event_id": "event_xxx",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "Hello"
}

response.audio_transcript.done

Deskripsi: Event penyelesaian output transkrip dalam mode audio.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.audio_transcript.done.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

transcriptstring

Teks transkrip lengkap.

{
    "event_id": "event_xxx",
    "type": "response.audio_transcript.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello, how can I help you?"
}

response.audio.delta

Deskripsi: Event delta data audio dalam mode audio. Bidang delta berisi data audio PCM yang dienkripsi Base64.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.audio.delta.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

deltastring

Fragmen data audio PCM yang dienkripsi Base64.

{
    "event_id": "event_xxx",
    "type": "response.audio.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "<base64-encoded audio data>"
}

response.audio.done

Deskripsi: Event penyelesaian output audio dalam mode audio. Tidak berisi data audio.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.audio.done.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

{
    "event_id": "event_xxx",
    "type": "response.audio.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0
}

response.content_part.done

Deskripsi: Bagian konten dalam item output telah selesai.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.content_part.done.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

content_indexinteger

Indeks bagian konten dalam item output.

partobject

Bagian konten yang telah selesai.

Properti

typestring

Tipe konten, seperti audio atau text.

textstring

Konten teks atau teks transkrip audio.

{
    "event_id": "event_xxx",
    "type": "response.content_part.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello, how can I help you?"
    }
}

response.output_item.done

Deskripsi: Item output dalam respons telah selesai.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.output_item.done.

response_idstring

ID respons terkait.

output_indexinteger

Indeks item output dalam respons.

itemobject

Item output yang telah selesai dengan detail lengkap.

Properti

idstring

Identifier unik untuk item output.

objectstring

Selalu realtime.item.

typestring

Tipe item output: message (pesan standar) atau function_call (pemanggilan fungsi).

statusstring

Status item output, seperti completed.

rolestring

Peran pesan. Selalu assistant. Hanya ada untuk item tipe message.

contentarray

Daftar konten pesan. Hanya ada untuk item tipe message.

{
    "event_id": "event_xxx",
    "type": "response.output_item.done",
    "response_id": "resp_xxx",
    "output_index": 0,
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "Hello, how can I help you?"
            }
        ]
    }
}

response.function_call_arguments.delta

Deskripsi: Delta argumen Function Calling. Ketika model memutuskan untuk memanggil tool, server pertama-tama mengirim response.output_item.added (dengan item.type=function_call) dan conversation.item.created, lalu mengalirkan fragmen argumen melalui event ini.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.function_call_arguments.delta.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

call_idstring

Identifier unik untuk pemanggilan fungsi.

deltastring

Fragmen inkremental argumen pemanggilan fungsi (fragmen string JSON).

{
    "event_id": "event_xxx",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "call_id": "call_xxx",
    "delta": "{\"city"
}

response.function_call_arguments.done

Deskripsi: Dikirim ketika output argumen Function Calling selesai. Setelah menerima event ini, klien harus: mengeksekusi tool terkait, menulis hasilnya ke percakapan melalui conversation.item.create dengan item function_call_output, lalu mengirim response.create untuk memicu putaran inferensi lanjutan.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.function_call_arguments.done.

response_idstring

ID respons terkait.

item_idstring

ID item output terkait.

output_indexinteger

Indeks item output dalam respons.

call_idstring

Identifier unik untuk pemanggilan fungsi.

namestring

Nama fungsi yang dipanggil.

argumentsstring

Argumen pemanggilan fungsi lengkap (string JSON).

{
    "event_id": "event_xxx",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "call_id": "call_xxx",
    "name": "get_weather",
    "arguments": "{\"city\":\"Hangzhou\"}"
}

response.done

Deskripsi: Satu putaran inferensi selesai. status menunjukkan alasan penyelesaian.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu response.done.

responseobject

Objek respons lengkap.

Properti

idstring

Identifier unik respons.

objectstring

Selalu realtime.response.

statusstring

Status penyelesaian respons. Nilai yang valid:

completed: Selesai secara normal.
cancelled: Dihentikan dan dibatalkan. status_details.reason adalah turn_detected (gangguan VAD) atau client_cancelled (pembatalan yang diprakarsai klien).
failed: Error LLM atau TTS.

status_detailsobject

Detail status. Hanya ada ketika status adalah cancelled atau failed.

Properti

typestring

Tipe status, seperti cancelled.

reasonstring

Alasan pembatalan: turn_detected (gangguan VAD) atau client_cancelled (pembatalan yang diprakarsai klien).

modalitiesarray

Modalitas output dari model.

voicestring

Voice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.

outputarray

Daftar item output dalam respons, berisi objek item lengkap.

Selesai secara normal

{
    "event_id": "event_xxx",
    "type": "response.done",
    "response": {
        "id": "resp_xxx",
        "object": "realtime.response",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "output": [
            {
                "id": "item_xxx",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello, how can I help you?"
                    }
                ]
            }
        ]
    }
}

Dihentikan dan dibatalkan

{
    "event_id": "event_xxx",
    "type": "response.done",
    "response": {
        "id": "resp_xxx",
        "status": "cancelled",
        "status_details": {
            "type": "cancelled",
            "reason": "turn_detected"
        }
    }
}

voiceprint_audio_list.in_progress

Deskripsi: Proses pendaftaran voiceprint sedang berlangsung secara asinkron.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu voiceprint_audio_list.in_progress.

item_idstring

Identifier unik untuk tugas pendaftaran voiceprint.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.in_progress",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA"
}

voiceprint_audio_list.completed

Deskripsi: Proses pendaftaran voiceprint telah selesai berhasil.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu voiceprint_audio_list.completed.

item_idstring

Identifier unik untuk tugas pendaftaran voiceprint.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.completed",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA"
}

voiceprint_audio_list.failed

Deskripsi: Pendaftaran voiceprint gagal. Panggilan percakapan normal tidak diblokir.

event_idstring

Identifier unik untuk event ini.

typestring

Tipe event. Selalu voiceprint_audio_list.failed.

item_idstring

Identifier unik untuk tugas pendaftaran voiceprint.

reasonstring

Deskripsi alasan kegagalan.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.failed",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA",
    "reason": ""
}