Eventos del servidor de la API Realtime de Qwen-Audio - Alibaba Cloud Model Studio

Referencia de eventos del servidor para la API Realtime de Qwen-Audio. Todos los eventos del servidor incluyen los campos event_id (generado automáticamente por el servidor) y type (tipo de evento).

Guía del usuario: Chat de audio en tiempo real (Qwen-Audio-Realtime). Para secuencias de interacción de eventos, consulte API de WebSocket.

error

Descripción: Devuelto cuando una solicitud falla u ocurre un error de servicio. Los errores del cliente (invalid_request_error) mantienen la conexión abierta. Los errores del servidor (server_error) terminan la conexión.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre error.

errorobject

Detalles del error.

Propiedades

typestring

Tipo de error, como invalid_request_error (error del cliente) o server_error (error del servidor).

codestring

Código de error.

messagestring

Mensaje de error.

paramstring

El parámetro asociado con el error.

{
    "event_id": "event_xxx",
    "type": "error",
    "error": {
        "type": "invalid_request_error",
        "code": "invalid_value",
        "message": "Cannot create response while another response is in progress.",
        "param": "response.create"
    }
}

session.created

Descripción: El primer evento enviado por el servidor después de establecer la conexión. Contiene la configuración predeterminada de la sesión.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre session.created.

sessionobject

Configuración de la sesión.

Propiedades

objectstring

Siempre realtime.session.

modelstring

Nombre del modelo.

modalitiesarray

Modalidades de salida del modelo.

voicestring

Voz utilizada para la generación de audio. Ya sea un nombre de voz del sistema o el voice_id de una voz clonada.

input_audio_transcriptionobject

Configuración de transcripción de audio.

Propiedades

modelstring

Modelo de transcripción, como fun-asr.

turn_detectionobject

Configuración de detección de turnos (VAD).

idstring

Identificador único de sesión.

{
    "event_id": "event_KiKZC2zrhNsKFPZ5cTpyA",
    "type": "session.created",
    "session": {
        "object": "realtime.session",
        "model": "qwen-audio-3.1-realtime-plus",
        "modalities": ["text", "audio"],
        "voice": "longanqian_v3.1",
        "input_audio_transcription": {
            "model": "fun-asr"
        },
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        },
        "id": "sess_A1LbG2D63WELBSawRbpq8"
    }
}

session.updated

Descripción: Devuelto después de que una solicitud session.update se procesa correctamente. Contiene la configuración completa actualizada de la sesión. Si la solicitud falla, se devuelve un evento error en su lugar.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre session.updated.

sessionobject

Configuración completa de la sesión después de la actualización. Comparte la misma estructura que el objeto de sesión en session.created.

{
    "event_id": "event_FMG6kiHbILCGiqXFPA98e",
    "type": "session.updated",
    "session": {
        "id": "sess_A1LbG2D63WELBSawRbpq8",
        "object": "realtime.session",
        "model": "pre-fun-realtime-audiochat-beta-3",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "input_audio_transcription": {
            "model": "fun-asr"
        },
        "turn_detection": {
            "type": "smart_turn",
            "threshold": 0.1,
            "silence_duration_ms": 900
        }
    }
}

input_audio_buffer.speech_started

Descripción: Enviado cuando la Detección de Actividad de Voz (VAD) detecta el inicio del habla en modo server_vad / smart_turn.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre input_audio_buffer.speech_started.

audio_start_msinteger

Marca de tiempo en milisegundos cuando comenzó el habla.

item_idstring

ID del elemento que se creará cuando se confirme este segmento de voz.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 1200,
    "item_id": "item_xxx"
}

input_audio_buffer.speech_stopped

Descripción: Enviado cuando VAD detecta el final del habla en modo server_vad / smart_turn.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre input_audio_buffer.speech_stopped.

audio_end_msinteger

Marca de tiempo en milisegundos cuando terminó el habla.

item_idstring

ID del elemento de mensaje de usuario que se creará.

reasonstring

Devuelto solo en modo smart_turn. Cuando se establece en turn_invalid, indica que el turno actual se clasificó como inválido (sin contenido semántico) y no se activará la inferencia. Este campo está ausente para turnos válidos.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 3400,
    "item_id": "item_xxx",
    "reason": "turn_invalid"
}

input_audio_buffer.committed

Descripción: El búfer de audio se ha confirmado como un mensaje de usuario, ya sea mediante una confirmación de pulsar para hablar o una confirmación automática de VAD.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre input_audio_buffer.committed.

previous_item_idstring

ID del elemento de conversación anterior.

item_idstring

ID del elemento de mensaje de usuario creado.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.committed",
    "previous_item_id": "item_xxx",
    "item_id": "item_xxx"
}

input_audio_buffer.cleared

Descripción: El búfer de audio se ha borrado (solo modo pulsar para hablar).

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre input_audio_buffer.cleared.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.cleared"
}

conversation.item.created

Descripción: Se creó un nuevo elemento de conversación. Se activa cuando se confirma el audio del usuario, el cliente crea manualmente un elemento o comienza una respuesta del asistente.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.created.

previous_item_idstring

ID del elemento de conversación anterior.

itemobject

El elemento de conversación creado.

Propiedades

idstring

Identificador único para el elemento de conversación.

objectstring

Siempre realtime.item.

typestring

Tipo de elemento: message (mensaje estándar) o function_call (llamada a función).

statusstring

Estado del elemento, como in_progress o completed.

rolestring

Rol del mensaje, como user o assistant. Solo presente para elementos de tipo message.

contentarray

Lista de contenido del mensaje. Solo presente para elementos de tipo message.

{
    "event_id": "event_xxx",
    "type": "conversation.item.created",
    "previous_item_id": "item_xxx",
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

conversation.item.deleted

Descripción: Se eliminó un elemento de conversación. Devuelto como confirmación después de que el cliente envía un evento conversation.item.delete.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.deleted.

item_idstring

ID del elemento de conversación eliminado.

{
    "event_id": "event_xxx",
    "type": "conversation.item.deleted",
    "item_id": "item_xxx"
}

conversation.item.retrieved

Descripción: Un elemento de conversación se recuperó correctamente. Devuelto después de que el cliente envía un evento conversation.item.retrieve. Para contenido de tipo audio, solo se incluye el texto de la transcripción; no se devuelven los datos de audio sin procesar.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.retrieved.

itemobject

El elemento de conversación recuperado.

Propiedades

idstring

Identificador único para el elemento de conversación.

objectstring

Siempre realtime.item.

typestring

Tipo de elemento: message (mensaje estándar) o function_call (llamada a función).

rolestring

Rol del mensaje, como user o assistant. Solo presente para elementos de tipo message.

contentarray

Lista de contenido del mensaje. Para contenido de tipo audio, solo se incluye el texto de la transcripción; no se devuelven los datos de audio sin procesar.

{
    "event_id": "event_xxx",
    "type": "conversation.item.retrieved",
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "role": "user",
        "content": [
            {
                "type": "input_audio",
                "transcript": "Hello"
            }
        ]
    }
}

conversation.item.input_audio_transcription.delta

Descripción: Resultado incremental de transcripción de Reconocimiento Automático del Habla (ASR), transmitido durante el reconocimiento de voz. Incluye información de detección de emociones e idioma.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.input_audio_transcription.delta.

item_idstring

ID del elemento de conversación asociado.

content_indexinteger

Índice de la parte de contenido.

textstring

Texto de transcripción finalizado.

stashstring

Texto provisional que aún no ha sido finalizado.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "Hello",
    "stash": "world"
}

conversation.item.input_audio_transcription.completed

Descripción: Resultado final de la transcripción ASR. El texto transcrito se escribe en el campo transcript del elemento correspondiente.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.input_audio_transcription.completed.

item_idstring

ID del elemento de conversación asociado.

content_indexinteger

Índice de la parte de contenido.

transcriptstring

El texto de transcripción completo.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "Hello world"
}

conversation.item.input_audio_transcription.failed

Descripción: La transcripción ASR falló.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.input_audio_transcription.failed.

item_idstring

ID del elemento de conversación asociado.

content_indexinteger

Índice de la parte de contenido.

errorobject

Detalles del error.

Propiedades

typestring

Tipo de error, como transcription_error.

codestring

Código de error, como transcription_failed.

messagestring

Mensaje de error.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.failed",
    "item_id": "item_xxx",
    "content_index": 0,
    "error": {
        "type": "transcription_error",
        "code": "transcription_failed",
        "message": "ASR transcription failed"
    }
}

conversation.item.ambient_audio_transcription.delta

Descripción: Modo smart_turn únicamente. Resultado de transcripción incremental para audio ambiental. Cuando VAD detecta actividad de voz pero el análisis semántico clasifica el turno como inválido (por ejemplo, ruido de fondo o muletillas como "hmm" o "eh"), el resultado ASR se reenvía al cliente como un evento ambiental. Este evento no está vinculado a ningún elemento de conversación. El item_id es un ID temporal independiente.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.ambient_audio_transcription.delta.

item_idstring

Un ID temporal independiente, no asociado con ningún elemento de conversación.

content_indexinteger

Índice de la parte de contenido.

textstring

Texto de transcripción finalizado.

stashstring

Texto provisional que aún no ha sido finalizado.

{
    "event_id": "event_xxx",
    "type": "conversation.item.ambient_audio_transcription.delta",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "Hmm",
    "stash": ""
}

conversation.item.ambient_audio_transcription.completed

Descripción: Modo smart_turn únicamente. Resultado final de transcripción para audio ambiental. Emparejado con el evento delta correspondiente para marcar el final de un segmento de transcripción de audio ambiental. Este resultado no se escribe en el contexto de la conversación.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre conversation.item.ambient_audio_transcription.completed.

item_idstring

Un ID temporal independiente, no asociado con el contexto de la conversación.

content_indexinteger

Índice de la parte de contenido.

transcriptstring

El texto de transcripción completo.

{
    "event_id": "event_xxx",
    "type": "conversation.item.ambient_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "Hmm",
}

response.created

Descripción: Enviado cuando comienza una ronda de inferencia del modelo.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.created.

responseobject

El objeto de respuesta.

Propiedades

idstring

Identificador único para la respuesta.

objectstring

Siempre realtime.response.

statusstring

Estado de la respuesta, como in_progress.

modalitiesarray

Modalidades de salida del modelo.

voicestring

Voz utilizada para la generación de audio. Ya sea un nombre de voz del sistema o el voice_id de una voz clonada.

outputarray

Elementos de salida de la respuesta. Inicialmente es un arreglo vacío.

{
    "event_id": "event_xxx",
    "type": "response.created",
    "response": {
        "id": "resp_xxx",
        "object": "realtime.response",
        "status": "in_progress",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "output": []
    }
}

response.output_item.added

Descripción: Se agregó un nuevo elemento de salida a la respuesta. El tipo de elemento de salida es message para respuestas estándar, o function_call para Function Calling.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.output_item.added.

response_idstring

ID de respuesta asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

itemobject

El elemento de salida añadido.

Propiedades

idstring

Identificador único para el elemento de salida.

objectstring

Siempre realtime.item.

typestring

Tipo de elemento de salida: message (mensaje estándar) o function_call (llamada a función).

statusstring

Estado del elemento de salida, como in_progress.

rolestring

Rol del mensaje. Siempre assistant. Solo presente para elementos de tipo message.

contentarray

Lista de contenido del mensaje. Solo presente para elementos de tipo message.

{
    "event_id": "event_xxx",
    "type": "response.output_item.added",
    "response_id": "resp_xxx",
    "output_index": 0,
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

Ejemplo de elemento de salida de Function Calling:

Cuando el elemento de salida es una llamada a función, los eventos response.output_item.added / conversation.item.created / response.output_item.done contienen la siguiente estructura item:

{
          "id": "item_xxx",
          "object": "realtime.item",
          "type": "function_call",
          "status": "completed",
          "call_id": "call_xxx",
          "name": "get_weather",
          "arguments": "{\"city\":\"Hangzhou\"}"
      }

NotaUna sola respuesta puede incluir múltiples elementos function_call y también puede contener salida estándar message junto con salida function_call. La parte de Function Calling no se envía a TTS para reproducción de audio.

response.content_part.added

Descripción: Se agregó una nueva parte de contenido a un elemento de salida.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.content_part.added.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

partobject

La parte de contenido añadida.

Propiedades

typestring

Tipo de contenido, como audio o text.

textstring

Contenido de texto. Inicialmente una cadena vacía.

{
    "event_id": "event_xxx",
    "type": "response.content_part.added",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.text.delta

Descripción: Evento delta de texto en modo solo texto. Transmite fragmentos de texto de forma incremental.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.text.delta.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

deltastring

Fragmento de texto incremental.

{
    "event_id": "event_xxx",
    "type": "response.text.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "Hello"
}

response.text.done

Descripción: Evento de finalización de salida de texto en modo solo texto.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.text.done.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

textstring

La salida de texto completa.

{
    "event_id": "event_xxx",
    "type": "response.text.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "text": "Hello, how can I help you?"
}

response.audio_transcript.delta

Descripción: Evento delta de transcripción en modo de audio. Transmite fragmentos de transcripción de forma incremental.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.audio_transcript.delta.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

deltastring

Fragmento de transcripción incremental.

{
    "event_id": "event_xxx",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "Hello"
}

response.audio_transcript.done

Descripción: Evento de finalización de salida de transcripción en modo de audio.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.audio_transcript.done.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

transcriptstring

El texto de transcripción completo.

{
    "event_id": "event_xxx",
    "type": "response.audio_transcript.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello, how can I help you?"
}

response.audio.delta

Descripción: Evento delta de datos de audio en modo de audio. El campo delta contiene datos de audio PCM codificados en Base64.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.audio.delta.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

deltastring

Fragmento de datos de audio PCM codificado en Base64.

{
    "event_id": "event_xxx",
    "type": "response.audio.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "<base64-encoded audio data>"
}

response.audio.done

Descripción: Evento de finalización de salida de audio en modo de audio. No contiene datos de audio.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.audio.done.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

{
    "event_id": "event_xxx",
    "type": "response.audio.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0
}

response.content_part.done

Descripción: Una parte de contenido dentro de un elemento de salida ha finalizado.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.content_part.done.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

content_indexinteger

Índice de la parte de contenido dentro del elemento de salida.

partobject

La parte de contenido completada.

Propiedades

typestring

Tipo de contenido, como audio o text.

textstring

Contenido de texto o texto de transcripción de audio.

{
    "event_id": "event_xxx",
    "type": "response.content_part.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello, how can I help you?"
    }
}

response.output_item.done

Descripción: Un elemento de salida dentro de la respuesta ha finalizado.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.output_item.done.

response_idstring

ID de respuesta asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

itemobject

El elemento de salida completado con todos los detalles.

Propiedades

idstring

Identificador único para el elemento de salida.

objectstring

Siempre realtime.item.

typestring

Tipo de elemento de salida: message (mensaje estándar) o function_call (llamada a función).

statusstring

Estado del elemento de salida, como completed.

rolestring

Rol del mensaje. Siempre assistant. Solo presente para elementos de tipo message.

contentarray

Lista de contenido del mensaje. Solo presente para elementos de tipo message.

{
    "event_id": "event_xxx",
    "type": "response.output_item.done",
    "response_id": "resp_xxx",
    "output_index": 0,
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "Hello, how can I help you?"
            }
        ]
    }
}

response.function_call_arguments.delta

Descripción: Delta de argumentos de Function Calling. Cuando el modelo decide invocar una herramienta, el servidor primero envía response.output_item.added (con item.type=function_call) y conversation.item.created, luego transmite fragmentos de argumentos a través de este evento.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.function_call_arguments.delta.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

call_idstring

Identificador único para la llamada de función.

deltastring

Fragmento incremental de los argumentos de la llamada a función (fragmento de cadena JSON).

{
    "event_id": "event_xxx",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "call_id": "call_xxx",
    "delta": "{\"city"
}

response.function_call_arguments.done

Descripción: Enviado cuando la salida de argumentos de Function Calling está completa. Después de recibir este evento, el cliente debe: ejecutar la herramienta correspondiente, escribir el resultado en la conversación mediante conversation.item.create con un elemento function_call_output, y luego enviar response.create para activar una ronda de inferencia de seguimiento.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.function_call_arguments.done.

response_idstring

ID de respuesta asociado.

item_idstring

ID del elemento de salida asociado.

output_indexinteger

Índice del elemento de salida dentro de la respuesta.

call_idstring

Identificador único para la llamada de función.

namestring

Nombre de la función invocada.

argumentsstring

Argumentos completos de la llamada de función (cadena JSON).

{
    "event_id": "event_xxx",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "call_id": "call_xxx",
    "name": "get_weather",
    "arguments": "{\"city\":\"Hangzhou\"}"
}

response.done

Descripción: Una ronda de inferencia ha finalizado. status indica la razón de la finalización.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre response.done.

responseobject

El objeto de respuesta completo.

Propiedades

idstring

Identificador único de la respuesta.

objectstring

Siempre realtime.response.

statusstring

Estado de finalización de la respuesta. Valores válidos:

completed: Completado normalmente.
cancelled: Interrumpido y cancelado. status_details.reason es turn_detected (interrupción por VAD) o client_cancelled (cancelación iniciada por el cliente).
failed: Error de LLM o TTS.

status_detailsobject

Detalles del estado. Presente solo cuando el estado es cancelled o failed.

Propiedades

typestring

Tipo de estado, como cancelled.

reasonstring

Motivo de cancelación: turn_detected (interrupción por VAD) o client_cancelled (cancelación iniciada por el cliente).

modalitiesarray

Modalidades de salida del modelo.

voicestring

Voz utilizada para la generación de audio. Ya sea un nombre de voz del sistema o el voice_id de una voz clonada.

outputarray

Lista de elementos de salida en la respuesta, que contiene objetos de elementos completos.

Completed normally

{
    "event_id": "event_xxx",
    "type": "response.done",
    "response": {
        "id": "resp_xxx",
        "object": "realtime.response",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "output": [
            {
                "id": "item_xxx",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello, how can I help you?"
                    }
                ]
            }
        ]
    }
}

Interrupted and cancelled

{
    "event_id": "event_xxx",
    "type": "response.done",
    "response": {
        "id": "resp_xxx",
        "status": "cancelled",
        "status_details": {
            "type": "cancelled",
            "reason": "turn_detected"
        }
    }
}

voiceprint_audio_list.in_progress

Descripción: El proceso de registro de impresión de voz está en curso de forma asíncrona.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre voiceprint_audio_list.in_progress.

item_idstring

Identificador único para la tarea de registro de impresión de voz.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.in_progress",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA"
}

voiceprint_audio_list.completed

Descripción: El proceso de registro de impresión de voz se ha completado correctamente.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre voiceprint_audio_list.completed.

item_idstring

Identificador único para la tarea de registro de impresión de voz.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.completed",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA"
}

voiceprint_audio_list.failed

Descripción: El registro de impresión de voz falló. Las llamadas de conversación normales no se bloquean.

event_idstring

Identificador único para este evento.

typestring

Tipo de evento. Siempre voiceprint_audio_list.failed.

item_idstring

Identificador único para la tarea de registro de impresión de voz.

reasonstring

Descripción del motivo del fallo.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.failed",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA",
    "reason": ""
}