Server events for the Realtime API - Alibaba Cloud Model Studio

Événements serveur de l'API Qwen-Omni-Realtime, y compris les événements d'appel d'outils (appels de fonctions).

Consultez Qwen-Omni-Realtime .

error

Erreur serveur.

event_idstring

Identifiant unique de cet événement.

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

typestring

Type de l'événement. Cette valeur est toujours error.

errorobject

Détails de l'erreur.

Properties

typestring

Type de l'erreur.

codestring

Code de l'erreur.

messagestring

Message d'erreur.

paramstring

Paramètre associé à l'erreur, par exemple session.modalities.

session.created

Renvoyé lors de la connexion d'un client. Contient la configuration de session par défaut.

event_idstring

Identifiant unique de cet événement.

L’exemple suivant présente la session par défaut renvoyée par qwen3.8-omni-flash-realtime dans la région de Pékin.

{
    "event_id": "event_QQubXbhHMyXmKaSuE6PQ8",
    "type": "session.created",
    "session": {
        "input_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "id": "sess_MjEctgJ4ziXPEioCzSSvK",
        "object": "realtime.session",
        "modalities": [
            "text",
            "audio"
        ],
        "turn_detection": {
            "type": "server_vad",
            "silence_duration_ms": 800,
            "interrupt_response": true,
            "create_response": true,
            "threshold": 0.5,
            "prefix_padding_ms": 300
        },
        "model": "qwen3.8-omni-flash-realtime",
        "voice": "Tina",
        "output_audio_format": "pcm"
    }
}

typestring

Type de l'événement. Cette valeur est toujours session.created.

sessionobject

Configuration de la session.

Properties

objectstring

Cette valeur est toujours realtime.session.

modelstring

Modèle utilisé.

modalitiesarray

Modalités de sortie du modèle.

voicestring

Voix utilisée pour l'audio généré par le modèle.

input_audio_formatstring

Format audio d'entrée. Seul le format pcm est pris en charge (taux d'échantillonnage de 16 kHz).

output_audio_formatstring

Format audio de sortie. Seul le format pcm est pris en charge (taux d'échantillonnage de 24 kHz).

input_audio_transcriptionobject

Configuration de la transcription.

Properties

modelstring

Modèle de transcription. Toujours qwen3-asr-flash-realtime. Non configurable.

turn_detectionobject

Configuration de la détection d'activité vocale (VAD).

Properties

typestring

Type de VAD. Les valeurs valides sont server_vad (par défaut) ou semantic_vad. Consultez Événements client.

thresholdfloat

Seuil de détection VAD.

silence_duration_msinteger

Durée du silence (ms) déclenchant la détection de fin de parole.

idle_timeout_msinteger

Délai d'inactivité en millisecondes. Renvoyé uniquement en mode server_vad avec les modèles qwen3.5-omni-plus-realtime ou qwen3.5-omni-flash-realtime.

enable_searchboolean

Indique si la recherche web est activée. Pris en charge uniquement par la série de modèles Qwen3.5-Omni-Realtime.

search_optionsobject

Options de la recherche web.

temperaturefloat

Paramètre de température du modèle.

session.updated

Renvoyé après une requête session.update réussie. En cas d'échec, un événement error est renvoyé à la place.

event_idstring

Identifiant unique de cet événement.

L’exemple suivant utilise qwen3.8-omni-flash-realtime dans la région de Pékin, avec une sortie textuelle uniquement et max_tokens=32.

{
    "event_id": "event_TSBGI9Yj5ecCKjiGO34VB",
    "type": "session.updated",
    "session": {
        "id": "sess_MjEctgJ4ziXPEioCzSSvK",
        "object": "realtime.session",
        "model": "qwen3.8-omni-flash-realtime",
        "modalities": [
            "text"
        ],
        "instructions": "请只回复 OK。",
        "voice": "Tina",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "max_tokens": 32
    }
}

typestring

Type de l'événement. Cette valeur est toujours session.updated.

sessionobject

Configuration de la session.

Properties

temperaturefloat

Paramètre de température du modèle.

modalitiesarray

Modalités de sortie du modèle.

voicestring

Voix utilisée pour l'audio généré par le modèle.

instructionsstring

Objectif et rôle du modèle.

input_audio_formatstring

Format audio d'entrée. Seul le format pcm est pris en charge (taux d'échantillonnage de 16 kHz).

output_audio_formatstring

Format audio de sortie. Seul le format pcm est pris en charge (taux d'échantillonnage de 24 kHz).

input_audio_transcriptionobject

Configuration de la transcription.

Properties

modelstring

Modèle de transcription. Toujours qwen3-asr-flash-realtime. Non configurable.

turn_detectionobject

Configuration de la détection d'activité vocale (VAD).

Properties

typestring

Type de VAD. Les valeurs valides sont server_vad (par défaut) ou semantic_vad. Consultez Événements client.

thresholdfloat

Seuil de détection VAD.

silence_duration_msinteger

Durée du silence (ms) déclenchant la détection de fin de parole.

idle_timeout_msinteger

Délai d'inactivité en millisecondes. Renvoyé uniquement en mode server_vad avec les modèles qwen3.5-omni-plus-realtime ou qwen3.5-omni-flash-realtime.

enable_searchboolean (optional)

Indique si la recherche web est activée. Pris en charge uniquement par la série de modèles Qwen3.5-Omni-Realtime.

search_optionsobject (optional)

Options de la recherche web.

toolsarray (optional)

Définitions des outils. Une fois configurés, le modèle peut décider d'appeler un outil en fonction de l'entrée utilisateur.

Properties

typestring (required)

Cette valeur est toujours function.

function.namestring (required)

Nom de la fonction, par exemple get_current_weather ou get_current_time.

function.descriptionstring (optional)

Description de l'objectif de la fonction. Le modèle l'utilise pour décider s'il doit appeler la fonction.

function.parametersobject (optional)

Schéma des paramètres d'entrée. Le modèle l'utilise pour extraire les paramètres. À omettre si la fonction ne prend aucun paramètre.

Properties

typestring (required)

Cette valeur est toujours object.

propertiesobject (optional)

Chaque clé est un nom de paramètre associé à un objet contenant type et description.

requiredarray (optional)

Spécifie les paramètres d'entrée obligatoires.

top_pfloat

Seuil de probabilité pour l'échantillonnage par noyau.

top_kinteger

Taille de l'ensemble des candidats pour l'échantillonnage lors de la génération.

max_tokensinteger

Nombre maximal de tokens que le modèle peut renvoyer pour cette requête.

repetition_penaltyfloat

Contrôle la répétition dans les séquences consécutives lors de la génération.

presence_penaltyfloat

Contrôle la répétition dans le contenu généré.

seedinteger

Degré de cohérence de la sortie du modèle par requête.

input_audio_buffer.speech_started

En mode VAD, renvoyé lorsque le serveur détecte le début de la parole dans le tampon audio.

Peut se déclencher à chaque ajout d'audio au tampon avant la détection de la parole.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_Pvp8nEhsQuGCQbFJ9x58n",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 3647,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

typestring

Type de l'événement. Cette valeur est toujours input_audio_buffer.speech_started.

audio_start_msinteger

Temps (ms) écoulé entre le début de l'écriture dans le tampon audio et la première détection de parole.

item_idstring

ID de l'élément de message utilisateur créé lors de la détection de fin de parole.

Les éléments de message utilisateur ajoutent l'entrée utilisateur à l'historique de conversation pour l'inférence du modèle.

input_audio_buffer.speech_stopped

En mode VAD, renvoyé lorsque le serveur détecte la fin de la parole dans le tampon audio.

Renvoie également un événement conversation.item.created avec l'élément de message utilisateur correspondant.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_UhQiqNVRsgUiq4KUS5Xb5",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 4453,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

typestring

Type de l'événement. Cette valeur est toujours input_audio_buffer.speech_stopped.

audio_end_msinteger

Temps (ms) écoulé depuis le début de la session jusqu'à la détection de fin de parole.

item_idstring

ID de l'élément de message utilisateur qui sera créé.

input_audio_buffer.committed

Renvoyé lorsque le tampon audio d'entrée est validé.

En mode VAD, le serveur valide automatiquement le tampon lorsqu'il détecte la fin de la parole.
En mode manuel, renvoyé après l'envoi d'un événement input_audio_buffer.commit par le client.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_Iy6sUzL1nmdFgshFYxJEz",
    "type": "input_audio_buffer.committed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

typestring

Type de l'événement. Cette valeur est toujours input_audio_buffer.committed.

item_idstring

ID de l'élément de message utilisateur qui sera créé.

input_audio_buffer.cleared

Renvoyé après l'envoi d'un événement input_audio_buffer.clear par le client.

event_idstring

Identifiant unique de cet événement.

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "input_audio_buffer.cleared"
}

typestring

Type de l'événement. Cette valeur est toujours input_audio_buffer.cleared.

conversation.item.created

Renvoyé lors de la création d'un élément de conversation.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_JEfkrr9gO3Ny7Xcv9bGVd",
    "type": "conversation.item.created",
    "item": {
        "id": "item_YbAiGvK2H7YaS34o4R6Ba",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": [
            {
                "type": "input_audio"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_S1hkaIQgcuQD8OEdOpGHQ",
    "type": "conversation.item.created",
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

typestring

Type de l'événement. Cette valeur est toujours conversation.item.created.

itemobject

Élément de conversation à ajouter.

Properties

idstring

ID unique de l'élément de conversation.

objectstring

Cette valeur est toujours realtime.item.

statusstring

Statut de l'élément de conversation.

rolestring

Rôle du message.

contentarray

Contenu du message. Ce paramètre est renvoyé lorsque le type est message.

typestring

Type de l'élément de conversation. Les valeurs valides sont message ou function_call.

namestring

Nom de la fonction appelée lorsque le type est function_call.

call_idstring

Lorsque le type est function_call, il s'agit de l'ID unique de l'invocation de fonction.

argumentsstring

Lorsque le type est function_call, ce paramètre contient les arguments de l'invocation de fonction sous forme de chaîne JSON.

conversation.item.input_audio_transcription.delta

Cet événement est émis fréquemment pendant que l'utilisateur parle, lorsque la transcription audio d'entrée est activée. Il fournit des résultats de transcription intermédiaires en temps réel. Concaténez text + stash pour obtenir l'aperçu de phrase le plus complet à tout moment.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_C7jzoeSFuiwOZS6tR14yx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_ThVYhLHOdeXb4bBSvzSFF",
    "content_index": 0,
    "text": "",
    "stash": "How is the weather today?",
    "language": "en",
    "emotion": "neutral",
    "obfuscation": "ABEXGYmxdmc97u"
}

Pour obtenir l'aperçu de phrase le plus complet à tout moment, concaténez ces deux champs : aperçu en temps réel = text + stash.

Cliquez pour afficher l'exemple

Supposons que l'utilisateur dise : « Il fait beau aujourd'hui, il y a du soleil et il fait chaud. »

Le tableau suivant présente le flux d'événements susceptible d'être reçu ainsi que leur interprétation :

Temps	Progression de la parole utilisateur	Réponse API (text et stash)	Affichage UI client (text + stash)
T1	« Le temps... »	text: "" stash: "The weather"	The weather
T2	« ...est beau... »	text: "" stash: "The weather is nice"	The weather is nice
T3	« ...aujourd'hui, »	text: "The weather" stash: " is nice today,"	The weather is nice today, (« The weather » a été confirmé et déplacé vers text)
T4	(brève pause)	text: "The weather is nice today, " stash: ""	The weather is nice today, (la première proposition est entièrement confirmée)
T5	« ...du soleil... »	text: "The weather is nice today, " stash: "sunny"	The weather is nice today, sunny
T6	« ...et il fait chaud. »	text: "The weather is nice today, " stash: "sunny and warm."	The weather is nice today, sunny and warm.
T7	(arrête de parler)	-	Utilisez la transcription issue de conversation.item.input_audio_transcription.completed comme résultat final.

typestring

Type de l'événement. Cette valeur est toujours conversation.item.input_audio_transcription.delta.

item_idstring

ID de l'élément de conversation associé.

content_indexinteger

Index de la partie de contenu contenant l'audio.

textstring

Préfixe de texte confirmé : portion finalisée par le modèle qui ne changera plus.

stashstring

Suffixe de texte préliminaire : ébauche temporaire suivant la partie confirmée, susceptible d'être révisée.

languagestring

Langue détectée dans l'audio reconnu.

emotionstring

Émotion détectée dans l'audio reconnu. Valeurs valides : neutral, happy, sad, angry, surprised, disgusted, fearful.

conversation.item.input_audio_transcription.completed

Indique que l'audio de l'utilisateur a été transcrit par le modèle de reconnaissance vocale intégré (qwen3-asr-flash-realtime). Ce comportement n'est pas configurable.

Le texte transcrit par le modèle de reconnaissance vocale peut différer de l'interprétation générée par le modèle Qwen-Omni-Realtime. La transcription est fournie uniquement à titre de référence.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_FrrZcxiDfTB9LD9p4pVng",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba",
    "content_index": 0,
    "transcript": "Hello."
}

typestring

Type de l'événement. Cette valeur est toujours conversation.item.input_audio_transcription.completed.

item_idstring

ID de l'élément de message utilisateur.

content_indexinteger

Cette valeur est toujours 0.

transcriptstring

Texte transcrit.

conversation.item.input_audio_transcription.failed

Renvoyé lorsque la transcription audio d'entrée est activée mais échoue. Cet événement est indépendant de l'événement error et permet aux clients d'identifier spécifiquement les échecs de transcription.

event_idstring

Identifiant unique de cet événement.

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

typestring

Type de l'événement. Cette valeur est toujours conversation.item.input_audio_transcription.failed.

item_idstring

ID de l'élément de message utilisateur.

content_indexinteger

Cette valeur est toujours 0.

errorobject

Informations sur l'erreur.

Propriétés

code string

Code d'erreur.

message string

Message d'erreur.

param string

Paramètre associé à l'erreur.

response.created

Renvoyé lorsque le serveur commence à générer une nouvelle réponse.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_XuDavMzQN3KKepqGu3KRh",
    "type": "response.created",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": []
    }
}

typestring

Type de l'événement. Cette valeur est toujours response.created.

responseobject

Objet de réponse.

Propriétés

id string

ID unique de la réponse.

conversation_id string

ID unique de la session en cours.

object string

Type d'objet. Pour cet événement, cette valeur est toujours realtime.response.

status string

État de la réponse. Les valeurs valides sont completed, failed, in_progress, ou incomplete.

modalities array

Modalités de la réponse.

voice string

Voix utilisée pour l'audio généré par le modèle.

output array

Ce champ est vide pour cet événement.

response.done

Renvoyé une fois la réponse entièrement générée. L'objet response inclut tous les éléments de sortie, à l'exception des données audio brutes.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_CSaxRRYLvbrfexDXAEuDG",
    "type": "response.done",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_Ls6MtCUWO7LM4E59QziNv",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello! How can I help you?"
                    }
                ]
            }
        ],
        "usage": {
            "total_tokens": 377,
            "input_tokens": 336,
            "output_tokens": 41,
            "input_tokens_details": {
                "text_tokens": 228,
                "audio_tokens": 108
            },
            "output_tokens_details": {
                "text_tokens": 9,
                "audio_tokens": 32
            },
            "plugins": {
                "search": {
                    "count": 1,
                    "strategy": "agent"
                }
            }
        }
    }
}
// Tool calling scenario
{
    "event_id": "event_T1EFAJp43X2DWtDRmxTtx",
    "type": "response.done",
    "response": {
        "id": "resp_TucN5QgymL5MA8vkJvFlS",
        "object": "realtime.response",
        "conversation_id": "conv_SEDZESRlefT8WvLSmEn6E",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "Ethan",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_FEG9qJGNkPcdf4et3p7BV",
                "object": "realtime.item",
                "type": "function_call",
                "status": "completed",
                "call_id": "call_bc0a7fb7235840f69ecfe4",
                "name": "get_current_weather",
                "arguments": " {\"location\": \"Hangzhou\"}"
            }
        ],
        "usage": {
            "total_tokens": 567,
            "input_tokens": 524,
            "output_tokens": 43,
            "input_tokens_details": {
                "text_tokens": 487,
                "audio_tokens": 37
            },
            "output_tokens_details": {
                "text_tokens": 43
            }
        }
    }
}

typestring

Type de l'événement. Cette valeur est toujours response.done.

responseobject

Objet de réponse.

Propriétés

id string

ID unique de la réponse.

conversation_id string

ID unique de la session en cours.

object string

Type d'objet. Pour cet événement, cette valeur est toujours realtime.response.

status string

État de la réponse.

modalities array

Modalités de la réponse.

voice string

Voix utilisée pour l'audio généré par le modèle.

output object

Sortie de la réponse.

Propriétés

id string

ID de la sortie de réponse.

type string

Type de l'élément de sortie. Les valeurs valides sont message ou function_call.

object string

Type d'objet de l'élément de sortie. Cette valeur est toujours realtime.item.

status string

État de l'élément de sortie.

role string

Rôle de l'élément de sortie.

content array

Contenu de l'élément de sortie. Ce champ n'est renvoyé que lorsque le type est message.

Propriétés

type string

Type de contenu. La valeur peut être text pour une sortie en texte brut ou audio pour une sortie audio.

text string

Sortie texte.

transcript string

Transcription textuelle de l'audio.

name string

Nom de la fonction invoquée lorsque le type est function_call.

call_id string

Lorsque le type est function_call, il s'agit de l'ID unique de l'invocation de fonction.

arguments string

Lorsque le type est function_call, ce champ contient l'ensemble des arguments de l'appel de fonction sous forme de chaîne JSON.

usage object

Détails de consommation des tokens pour cette réponse.

Propriétés

total_tokens integer

Nombre total de tokens utilisés dans cette réponse.

input_tokens integer

Nombre de tokens d'entrée.

output_tokens integer

Nombre de tokens de sortie.

input_tokens_details object

Détails de consommation des tokens d'entrée, incluant text_tokens et audio_tokens.

output_tokens_details object

Détails de consommation des tokens de sortie, incluant text_tokens et audio_tokens.

plugins object (facultatif)

Métriques d'utilisation des plugins. Renvoyé lorsque la recherche web (enable_search) est activée.

Propriétés

search object

Données de comptage des recherches.

Propriétés

count integer

Nombre de recherches effectuées.

strategy string

Stratégie de recherche employée.

response.text.delta

Renvoyé lorsque la modalité de sortie est exclusivement textuelle et que le modèle génère du nouveau texte de manière incrémentielle.

event_idstring

Identifiant unique de cet événement.

{
    "delta": "Hello",
    "event_id": "event_TH49MauuPmRo1RGaMSlP7",
    "type": "response.text.delta",
    "response_id": "resp_PrRSvPVpnCExdUOGHHLuP",
    "item_id": "item_L8IRm9kRXFpxoOjDqDC96",
    "output_index": 0,
    "content_index": 0
}

typestring

Type de l'événement. Cette valeur est toujours response.text.delta.

deltastring

Texte incrémentiel généré par le modèle.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse. Cette valeur est toujours 0.

content_indexinteger

Index de la partie interne au sein de l'élément de sortie. Cette valeur est toujours 0.

response.text.done

Renvoyé lorsque la modalité de sortie est exclusivement textuelle et que le modèle a terminé la génération du texte.

Également renvoyé si la réponse est interrompue, incomplète ou annulée.

event_idstring

Identifiant unique de cet événement.

{
  "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
  "type": "response.text.done",
  "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
  "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
  "output_index": 0,
  "content_index": 0,
  "text": "How can I assist you today?"
}

typestring

Type de l'événement. Cette valeur est toujours response.text.done.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse.

content_indexinteger

Index de l'élément de sortie dans la réponse.

text string

Texte complet généré par le modèle.

response.audio.delta

Renvoyé lorsque la modalité de sortie inclut l'audio et que le modèle génère de nouvelles données audio de manière incrémentielle.

event_idstring

Identifiant unique de cet événement.

{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
  "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
  "output_index": 0,
  "content_index": 0,
  "delta": "{base64 audio}"
}

typestring

Type de l'événement. Cette valeur est toujours response.audio.delta.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse.

content_indexinteger

Index de l'élément de sortie dans la réponse.

delta string

Données audio incrémentielles, encodées en Base64.

response.audio.done

Renvoyé lorsque la modalité de sortie inclut l'audio et que le modèle a terminé la génération des données audio.

Également renvoyé si la réponse est interrompue, incomplète ou annulée.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_Le1TDl7VfyHQxl47DtGxI",
    "type": "response.audio.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0
}

typestring

Type de l'événement. Cette valeur est toujours response.audio.done.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse.

content_indexinteger

Index de l'élément de sortie dans la réponse.

response.audio_transcript.delta

Renvoyé lorsque la modalité de sortie inclut l'audio et que le modèle génère de manière incrémentielle un nouveau texte de transcription response.audio_transcript.delta.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_BksW7fOwnyavZdDxIzZYM",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "delta": "What"
}

typestring

Type de l'événement. Cette valeur est toujours response.audio_transcript.delta.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse.

content_indexinteger

Index de l'élément de sortie dans la réponse.

deltastring

Texte incrémentiel.

response.audio_transcript.done

Renvoyé sous la forme d'un événement response.audio_transcript.done lorsque la modalité de sortie inclut l'audio et que le modèle a finalisé la transcription audio.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_X49tL2WerT4WjxcmH16lS",
    "type": "response.audio_transcript.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello! How can I help you?"
}

typestring

Type de l'événement. Cette valeur est toujours response.audio_transcript.done.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse.

content_indexinteger

Index de l'élément de sortie dans la réponse.

transcriptstring

Texte complet de la transcription.

response.function_call_arguments.delta

Renvoyé lors du streaming des arguments d'appel de fonction par le modèle. Concaténez les champs delta afin de construire la chaîne d'arguments. Le contenu complet est fourni dans l'événement response.function_call_arguments.done suivant.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_SlKoJyEbPEqLq14DSM1u5",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "call_id": "call_2be200f4cafe419b9530dd",
    "delta": " {\"location\": \"Beijing\"}"
}

typestring

Type de l'événement. Cette valeur est toujours response.function_call_arguments.delta.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse.

call_idstring

ID unique de cette invocation de fonction. Il correspond à celui de l'événement done du même tour.

deltastring

Nouveau segment de la chaîne d'arguments. Concaténez les segments dans l'ordre.

response.function_call_arguments.done

Indique que les arguments d'appel de fonction ont été entièrement générés. Le champ arguments contient la chaîne d'arguments complète. Utilisez le champ arguments de cet événement, et non les résultats delta concaténés, pour analyser et appeler la fonction locale.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_X6suLyuL5agdH7r6koesM",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "name": "get_current_weather",
    "call_id": "call_2be200f4cafe419b9530dd",
    "arguments": " {\"location\": \"Beijing\"}"
}

typestring

Type de l'événement. Cette valeur est toujours response.function_call_arguments.done.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse.

call_idstring

ID unique de cette invocation de fonction.

namestring

Nom de la fonction appelée.

argumentsstring

Arguments complets de l'appel de fonction sous forme de chaîne JSON.

response.output_item.added

Renvoyé lorsqu'un nouvel élément est créé pendant la génération de la réponse. Le type d'élément peut être message ou function_call.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_DsCO341DEVtiATtCB6BUY",
    "type": "response.output_item.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}
// Tool calling scenario
{
    "event_id": "event_HXmKt5pGoiRtXx7Hq7zpN",
    "type": "response.output_item.added",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

typestring

Type de l'événement. Cette valeur est toujours response.output_item.added.

response_idstring

ID de la réponse.

output_indexinteger

Index de l'élément de sortie dans la réponse.

itemobject

Informations sur l'élément de sortie.

Properties

idstring

ID unique de l'élément de sortie.

objectstring

Cette valeur est toujours realtime.item.

statusstring

Statut de l'élément de sortie.

rolestring

Rôle de l'expéditeur.

contentarray

Contenu du message. Ce champ est renvoyé lorsque le type est message.

typestring

Type de l'élément de sortie. Les valeurs valides sont message ou function_call.

namestring

Nom de la fonction à appeler lorsque le type est function_call.

call_idstring

ID unique de l'invocation de fonction en cours lorsque le type est function_call.

argumentsstring

Arguments d'appel de fonction sous forme de chaîne JSON lorsque le type est function_call. Initialement une chaîne vide dans les événements added.

response.output_item.done

Renvoyé lorsqu'un élément de sortie a été entièrement généré.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_MEu5nlLw1LsOguHiehIP8",
    "type": "response.output_item.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello! How can I help you?"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_FHspdfAnCyjuME3mmAwSY",
    "type": "response.output_item.done",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "completed",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": " {\"location\": \"Hangzhou\"}"
    }
}

typestring

Type de l'événement. Cette valeur est toujours response.output_item.done.

response_idstring

ID de la réponse.

output_indexinteger

Index de l'élément de sortie dans la réponse.

itemobject

Informations sur l'élément de sortie.

Properties

idstring

ID unique de l'élément de sortie.

objectstring

Cette valeur est toujours realtime.item.

statusstring

Statut de l'élément de sortie.

rolestring

Rôle de l'expéditeur.

contentarray

Contenu du message. Ce champ est renvoyé lorsque le type est message.

typestring

Type de l'élément de sortie. Les valeurs valides sont message ou function_call.

namestring

Nom de la fonction appelée lorsque le type est function_call.

call_idstring

Lorsque le type est function_call, il s'agit de l'ID unique de l'invocation de fonction.

argumentsstring

Lorsque le type est function_call, contient les arguments complets de l'appel de fonction sous forme de chaîne JSON.

response.content_part.added

Renvoyé lorsqu'une nouvelle partie de contenu est ajoutée à un élément de message assistant pendant la génération de la réponse.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_AVBOmrgY3C8bjlRajfSUT",
    "type": "response.content_part.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

typestring

Type de l'événement. Cette valeur est toujours response.content_part.added.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse. Cette valeur est toujours 0.

content_indexinteger

Index de la partie interne au sein de l'élément de sortie. Cette valeur est toujours 0.

partobject

Informations sur l'élément de sortie.

Properties

typestring

Type de la partie de contenu.

textstring

Texte de la partie de contenu.

response.content_part.done

Renvoyé lorsque le streaming d'une partie de contenu au sein d'un élément de message assistant est terminé.

event_idstring

Identifiant unique de cet événement.

{
    "event_id": "event_Il8HD19v58Qr5IBkw7LtN",
    "type": "response.content_part.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello! How can I help you?"
    }
}

typestring

Type de l'événement. Cette valeur est toujours response.content_part.done.

response_idstring

ID de la réponse.

item_idstring

ID de l'élément de message.

output_indexinteger

Index de l'élément de sortie dans la réponse. Cette valeur est toujours 0.

content_indexinteger

Index de la partie de contenu dans le tableau de contenu. Cette valeur est toujours 0.

partobject

Informations sur l'élément de sortie.

Properties

typestring

Type de la partie de contenu.

textstring

Texte de la partie de contenu.