Eventos do servidor - Alibaba Cloud Model Studio: Central de Documentação do Alibaba Cloud

Este tópico descreve os eventos do servidor da API de tradução de áudio e vídeo em tempo real Qwen, incluindo tipos de eventos, parâmetros e exemplos.

Referência: Real-time audio and video translation - Qwen

error

Mensagem de erro retornada pelo servidor.

event_idstring

Identificador exclusivo deste evento.

{
      "event_id": "event_RoUu4T8yExPMI37GKwaOC",
      "type": "error",
      "error": {
        "type": "invalid_request_error",
        "code": "invalid_value",
        "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
        "param": "session.modalities"
      }
    }

typestring

Tipo do evento. O valor é sempre error.

errorobject

Informações detalhadas sobre o erro.

Properties

typestring

Tipo do erro.

codestring

Código do erro.

messagestring

Mensagem de erro.

paramstring

Parâmetro relacionado ao erro, como session.modalities.

session.created

Ao conectar um cliente, o servidor retorna este evento primeiro com as configurações padrão da sessão.

event_idstring

Identificador exclusivo deste evento.

Aplica-se a qwen3.8-livetranslate-flash-realtime.

{
  "event_id": "event_example",
  "type": "session.created",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}

Exemplo para qwen3.5-livetranslate-flash-realtime:

{
        "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
        "type": "session.created",
        "session": {
            "id": "sess_OozZ1vtbPt2muDflHODIH",
            "object": "realtime.session",
            "model": "qwen3.5-livetranslate-flash-realtime",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Cherry",
            "input_audio_format": "pcm",
            "sample_rate": 16000,
            "output_audio_format": "pcm",
            "turn_detection": {
                "type": "server_vad",
                "threshold": 0,2,
                "silence_duration_ms": 1000
            },
            "translation": {
               "language": "en",
               "corpus": {
                   "phrases": {
                       "人工智能": "Artificial Intelligence",
                       "机器学习": "Machine Learning"
                   }
               }
            }
        }
    }

typestring

Tipo do evento. O valor é sempre session.created.

sessionobject

Configuração da sessão.

Properties

idstring

Identificador exclusivo da sessão.

objectstring

O valor é sempre realtime.session.

modelstring

Modelo em uso.

input_modalitiesarray

Aplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de entrada, como ["audio"].

output_modalitiesarray

Aplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de saída: ["text"] ou ["text", "audio"].

audioobject

Aplica-se a qwen3.8-livetranslate-flash-realtime. Configuração de áudio de entrada e saída.

Propriedades

input.formatobject

Formato de entrada. O padrão de type é pcm e o de sample_rate é 16000 Hz.

input.turn_detectionobject

Configuração de detecção de turnos. Padrões: type é speaker_detection, threshold é 0.5 e silence_duration_ms é 1000.

output.formatobject

Formato de saída. O padrão de type é pcm e o de sample_rate é 24000 Hz.

output.voicestring

Voz de saída. O padrão é Tina.

modalitiesarray

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Configurações de modalidade de saída do modelo.

voicestring

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Voz do áudio gerado pelo modelo.

input_audio_formatstring

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Formato do áudio de entrada. Padrão: pcm.

sample_rateinteger

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Taxa de amostragem do áudio de entrada, em Hz.

output_audio_formatstring

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Formato do áudio de saída. Padrão: pcm.

turn_detectionobject

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Configuração de VAD (Detecção de Atividade de Voz).

translationobject(Opcional)

Configuração de tradução.

Properties

language string (Opcional)

Idioma de destino da tradução.

corpusobject(Opcional)

Configuração de terminologia personalizada para melhorar a precisão da tradução de termos específicos do domínio.

Properties

corpus.phrasesobject(Opcional)

Mapeamento de termos do idioma de origem para traduções no idioma de destino. Para obter detalhes, consulte Supported languages.

session.updated

Retornado após uma solicitação session.update bem-sucedida. Se a solicitação falhar, o servidor retornará um evento error em seu lugar.

event_idstring

Identificador exclusivo deste evento.

Aplica-se a qwen3.8-livetranslate-flash-realtime.

{
  "event_id": "event_example",
  "type": "session.updated",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}

Exemplo para qwen3.5-livetranslate-flash-realtime:

{
        "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
        "type": "session.updated",
        "session": {
            "id": "sess_OozZ1vtbPt2muDflHODIH",
            "object": "realtime.session",
            "model": "qwen3.5-livetranslate-flash-realtime",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Ethan",
            "sample_rate": 16000,
            "input_audio_format": "pcm",
            "output_audio_format": "pcm",
            "input_audio_transcription": {
                "model": "qwen3-asr-flash-realtime",
                "language": "zh"
            },
            "turn_detection": {
                "type": "server_vad",
                "threshold": 0,2,
                "prefix_padding_ms": 300,
                "silence_duration_ms": 1000,
                "create_response": true,
                "interrupt_response": true
            },
            "translation": {
               "language": "en",
               "corpus": {
                   "phrases": {
                       "人工智能": "Artificial Intelligence",
                       "机器学习": "Machine Learning"
                   }
               }
            },
            "enable_voice_clone": true,
            "voice_clone_options": {
                "frequency": "once"
            }
        }
    }

typestring

Tipo do evento. O valor é sempre session.updated.

sessionobject

Configuração da sessão.

Properties

idstring

Identificador exclusivo da sessão.

objectstring

O valor é sempre realtime.session.

modelstring

Modelo em uso.

input_modalitiesarray

Aplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de entrada, como ["audio"].

output_modalitiesarray

Aplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de saída: ["text"] ou ["text", "audio"].

audioobject

Aplica-se a qwen3.8-livetranslate-flash-realtime. Configuração de áudio de entrada e saída.

Propriedades

input.formatobject

Formato de entrada. O padrão de type é pcm e o de sample_rate é 16000 Hz.

input.turn_detectionobject

Configuração de detecção de turnos. Padrões: type é speaker_detection, threshold é 0.5 e silence_duration_ms é 1000.

output.formatobject

Formato de saída. O padrão de type é pcm e o de sample_rate é 24000 Hz.

output.voicestring

Voz de saída. O padrão é Tina.

modalitiesarray

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Configurações de modalidade de saída do modelo.

voicestring

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Voz do áudio gerado pelo modelo.

sample_rateinteger(Opcional)

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Taxa de amostragem do áudio de entrada, em Hz.

input_audio_formatstring

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Formato do áudio de entrada. O valor é sempre pcm.

output_audio_formatstring

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Formato do áudio de saída. O valor é sempre pcm.

input_audio_transcriptionobject

Configuração de transcrição de áudio de entrada. Retornada apenas quando o parâmetro input_audio_transcription.model está configurado na sessão.

Properties

modelstring

Modelo de reconhecimento de fala.

languagestring

Idioma de reconhecimento de fala configurado.

turn_detectionobject

Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.

Configuração de VAD (Detecção de Atividade de Voz). Este campo não é retornado no modo Manual (quando o cliente define este parâmetro como null em session.update).

Properties

typestring

Tipo de VAD. O valor é sempre server_vad.

thresholdfloat

Sensibilidade de detecção do VAD.

prefix_padding_msinteger

Duração de áudio (em milissegundos) mantida antes do início da fala para evitar perda do começo da fala.

silence_duration_msinteger

Duração mínima de silêncio (em milissegundos) necessária após o término da fala para determinar sua conclusão.

create_responseboolean

Indica se o sistema deve acionar automaticamente uma resposta de tradução após o VAD detectar o fim da fala.

interrupt_responseboolean

Indica se o sistema deve interromper a geração da resposta de tradução atual quando o VAD detectar um novo turno de fala.

translationobject(Opcional)

Configuração de tradução.

Properties

language string (Opcional)

Idioma de destino da tradução.

corpusobject(Opcional)

Configuração de terminologia personalizada para melhorar a precisão da tradução de termos específicos do domínio.

Properties

corpus.phrasesobject(Opcional)

Mapeamento de termos do idioma de origem para traduções no idioma de destino.

enable_voice_cloneboolean

Indica se a clonagem de voz está ativada.

voice_clone_optionsobject

Parâmetros de controle da clonagem de voz. Retornados apenas quando enable_voice_clone é true.

Properties

frequencystring

Frequência de clonagem de voz.

session.finished

Sessão finalizada e todas as traduções de áudio concluídas.

Enviado apenas depois que o cliente envia uma solicitação session.finish. O cliente pode então se desconectar.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "session.finished"
    }

typestring

Tipo do evento. O valor é sempre session.finished.

response.created

Retornado quando o servidor gera uma nova resposta do modelo.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_L8hHVI5jYis6BzAjnPWJh",
        "type": "response.created",
        "response": {
            "id": "resp_P79OOMs8LnrXVpiIHUCKR",
            "object": "realtime.response",
            "conversation_id": "conv_UFClXtYkRkFXrs48y8pmK",
            "status": "in_progress",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Cherry",
            "output_audio_format": "pcm16",
            "output": []
        }
    }

typestring

Tipo do evento. O valor é sempre response.created.

responseobject

Objeto de resposta.

Properties

id string

Identificador exclusivo da resposta.

conversation_id string

Identificador exclusivo da sessão atual.

object string

Tipo de objeto. Para este evento, o valor é sempre realtime.response.

status string

Status da resposta. Valores válidos:

completed
failed
in_progress
incomplete

modalities array

Modalidade da resposta.

voice string

Voz do áudio gerado.

output_audio_format string

Formato do áudio de saída.

output array

Este evento está vazio no momento.

response.done

Retornado após a conclusão da geração da resposta. Contém todos os itens de saída, exceto dados de áudio brutos.

event_id string

Identificador exclusivo deste evento.

{
      "event_id": "event_CNea8oXNipVanSg2VIzkO",
      "type": "response.done",
      "response": {
        "id": "resp_TfhYTqej692vsGA2jNEtH",
        "object": "realtime.response",
        "conversation_id": "conv_ZtyLfKVm8XqLwYRlsuDih",
        "status": "completed",
        "modalities": [
          "text",
          "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm16",
        "output": [
          {
            "id": "item_MKtkMwN9RtcyE9eJShyWy",
            "object": "realtime.item",
            "type": "message",
            "status": "completed",
            "role": "assistant",
            "content": [
              {
                "type": "audio",
                "transcript": "Hello? "
              }
            ]
          }
        ],
        "usage": {
          "total_tokens": 56,
          "input_tokens": 47,
          "output_tokens": 9,
          "input_tokens_details": {
            "text_tokens": 20,
            "audio_tokens": 27
          },
          "output_tokens_details": {
            "text_tokens": 2,
            "audio_tokens": 7
          }
        }
      }
    }

type string

Tipo do evento. O valor é sempre response.done.

response object

Objeto de resposta.

Properties

id string

Identificador exclusivo da resposta.

conversation_id string

Identificador exclusivo da sessão atual.

object string

Tipo de objeto. Para este evento, o valor é sempre realtime.response.

status string

Status da resposta.

modalities array

Modalidade da resposta.

voice string

Voz usada para o áudio gerado pelo modelo.

output_audio_format string

Formato do áudio de saída.

output object

Saída da resposta.

Properties

id string

Identificador exclusivo da saída da resposta.

type string

Tipo do item de saída. Atualmente, o valor é sempre message.

object string

Tipo de objeto do item de saída. Atualmente, o valor é sempre realtime.item.

status string

Status do item de saída.

role string

Função do item de saída.

content array

Conteúdo do item de saída.

Properties

type string

Tipo do conteúdo de saída. O valor é text para saída de texto simples e audio quando a saída inclui áudio.

text string

Conteúdo de texto da saída.

transcript string

Transcrição de texto do conteúdo de áudio.

usage object

Informações de consumo de tokens para esta resposta.

response.text.text

Retornado para saída somente de texto quando o modelo gera texto incrementalmente.

event_idstring

Identificador exclusivo do evento.

{
        "event_id": "event_B1lIeyOXR7qJMEExbqtTG",
        "type": "response.text.text",
        "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
        "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
        "output_index": 0,
        "content_index": 0,
        "text": "How are",
        "stash": " you today?"
    }

typestring

Tipo do evento. O valor é sempre response.text.text.

textstring

Texto incremental retornado.

response_idstring

ID da resposta.

item_idstring

Identificador exclusivo do item de mensagem.

output_indexinteger

Atualmente, o valor é sempre 0.

content_indexinteger

Atualmente, o valor é sempre 0.

stashstring

Texto temporário gerado pelo modelo. Concatene stash com o text atual para formar um resultado provisório. O sistema atualiza text e stash continuamente usando eventos response.text.text até receber um evento response.text.done. O texto completo final estará então disponível no campo text.

response.text.done

Retornado quando a geração de texto termina para saída somente de texto, ou se a resposta for interrompida, incompleta ou cancelada.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
        "type": "response.text.done",
        "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
        "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
        "output_index": 0,
        "content_index": 0,
        "text": "How can I assist you today?"
    }

typestring

Tipo do evento. O valor é sempre response.text.done.

response_idstring

Identificador exclusivo da resposta.

item_idstring

Identificador exclusivo do item de mensagem.

output_indexinteger

Atualmente, o valor é sempre 0.

content_indexinteger

Atualmente, o valor é sempre 0.

text string

Saída de texto completa do modelo.

response.audio.delta

Retornado quando a saída de áudio está ativada e o modelo gera áudio incrementalmente.

event_idstring

Identificador exclusivo do evento.

{
        "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
        "type": "response.audio.delta",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0,
        "delta": "UklGRnoGAABXQVZFZm10IBAAAAAB..."
    }

typestring

Tipo do evento. O valor é sempre response.audio.delta.

response_idstring

Identificador exclusivo da resposta.

item_idstring

Identificador exclusivo do item de mensagem.

output_index integer

O valor é sempre 0.

content_index integer

O valor é sempre 0.

delta string

Dados de áudio incrementais produzidos pelo modelo. Os dados são codificados em Base64.

response.audio.done

Retornado quando a geração de áudio é concluída. Também retornado se a resposta for interrompida, incompleta ou cancelada. Não contém dados de áudio completos.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_B1osWMWoDRYyITDyNYcBu",
        "type": "response.audio.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0
    }

typestring

Tipo do evento. É sempre response.audio.done.

response_idstring

Identificador exclusivo da resposta.

item_idstring

Identificador exclusivo do item de mensagem.

output_indexinteger

O valor é sempre 0.

content_indexinteger

O valor é sempre 0.

input_audio_buffer.speech_started

Retornado quando o VAD (Detecção de Atividade de Voz) do lado do servidor detecta que o usuário começou a falar.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.speech_started",
        "audio_start_ms": 568,
        "item_id": "item_xxx"
    }

typestring

Tipo do evento. O valor é sempre input_audio_buffer.speech_started.

audio_start_msinteger

Ponto no tempo (em milissegundos) em que a fala foi detectada como iniciada, como um deslocamento do início do fluxo de áudio.

item_idstring

Identificador exclusivo do item de mensagem associado.

input_audio_buffer.speech_stopped

Retornado quando o VAD do lado do servidor detecta que o usuário parou de falar, indicando o fim do turno atual de entrada de fala. Como a resposta de tradução é gerada sincronizadamente com a entrada de fala em streaming, a resposta de tradução real pode já ter começado durante o processo de entrada de fala, sem necessidade de aguardar este evento.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.speech_stopped",
        "audio_end_ms": 3900,
        "item_id": "item_xxx"
    }

typestring

Tipo do evento. O valor é sempre input_audio_buffer.speech_stopped.

audio_end_msinteger

Ponto no tempo (em milissegundos) em que a fala foi detectada como terminada, como um deslocamento do início do fluxo de áudio.

item_idstring

Identificador exclusivo do item de mensagem associado.

input_audio_buffer.committed

No modo Manual (turn_detection é null), após o cliente enviar um evento input_audio_buffer.commit, o servidor retorna este evento como confirmação e inicia automaticamente a geração da resposta de tradução.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.committed"
    }

typestring

Tipo do evento. O valor é sempre input_audio_buffer.committed.

input_audio_buffer.cleared

Após o cliente enviar um evento input_audio_buffer.clear, o servidor retorna este evento como confirmação de que os dados de áudio não confirmados no buffer foram limpos.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.cleared"
    }

typestring

Tipo do evento. O valor é sempre input_audio_buffer.cleared.

conversation.item.created

Retornado quando um novo item de mensagem é criado na conversa. Este evento é acionado nos seguintes cenários:

Quando o servidor começa a gerar uma resposta de tradução, ele cria um item de mensagem de assistente correspondente (neste ponto, content é um array vazio, e o conteúdo é preenchido progressivamente com a resposta em streaming).
No modo Manual, após o cliente enviar um evento input_audio_buffer.commit, o servidor cria adicionalmente um item de mensagem correspondente ao áudio de entrada do usuário (content contém {"type": "input_audio"}).

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "conversation.item.created",
        "item": {
            "id": "item_xxx",
            "object": "realtime.item",
            "type": "message",
            "status": "in_progress",
            "role": "assistant",
            "content": []
        }
    }

typestring

Tipo do evento. O valor é sempre conversation.item.created.

itemobject

Informações do item de mensagem.

Properties

idstring

Identificador exclusivo do item de mensagem.

typestring

O valor é sempre message.

objectstring

O valor é sempre realtime.item.

statusstring

Status do item de mensagem.

rolestring

Função da mensagem. Valores válidos: assistant ou user.

contentarray

Conteúdo da mensagem. Quando uma resposta é criada inicialmente, este é um array vazio que é preenchido progressivamente com a resposta em streaming. Para itens de mensagem de usuário criados por commit no modo Manual, ele contém {"type": "input_audio"}.

conversation.item.input_audio_transcription.text

Quando input_audio_transcription.model está configurado, o servidor transmite resultados de reconhecimento de fala no idioma de origem original via streaming.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.text",
        "item_id": "item_xxx",
        "content_index": 0,
        "text": "",
        "stash": "The weather is really nice today",
        "language": "zh",
        "emotion": "neutral"
    }

typestring

Tipo do evento. O valor é sempre conversation.item.input_audio_transcription.text.

item_idstring

Identificador exclusivo do item de mensagem.

content_indexinteger

Atualmente, o valor é sempre 0.

textstring

Texto de reconhecimento confirmado.

stashstring

Texto de reconhecimento pendente de confirmação. Este texto pode ser corrigido por eventos subsequentes.

languagestring

Idioma de origem detectado.

emotionstring

Emoção detectada do áudio reconhecido. As emoções suportadas são as seguintes:

surprised: Surpreso
neutral: Neutro
happy: Feliz
sad: Triste
disgusted: Enojado
angry: Com raiva
fearful: Medroso

conversation.item.input_audio_transcription.completed

Quando input_audio_transcription.model está configurado, retorna o resultado final de reconhecimento após a conclusão do reconhecimento de fala.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.completed",
        "item_id": "item_xxx",
        "content_index": 0,
        "transcript": "What a beautiful day! Let's go for a walk in the park together.",
        "language": "en",
        "emotion": ""
    }

typestring

Tipo do evento. É sempre conversation.item.input_audio_transcription.completed.

item_idstring

Identificador exclusivo do item de mensagem.

content_indexinteger

Atualmente, é sempre 0.

transcriptstring

Resultado completo do reconhecimento de fala no idioma de origem original.

languagestring

Idioma de origem detectado.

emotionstring

Emoção detectada do áudio reconhecido. Emoções suportadas:

surprised: surpreso
neutral: calmo/neutro
happy: feliz
sad: triste
disgusted: enojado
angry: com raiva
fearful: medroso

conversation.item.input_audio_transcription.failed

Retornado quando a entrada de áudio foi recebida, mas o reconhecimento de fala falhou. Este evento é tratado separadamente de outros eventos error, facilitando a identificação do item específico associado pelo cliente.

typestring

Tipo do evento. O valor é sempre conversation.item.input_audio_transcription.failed.

{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.failed",
        "item_id": "item_xxx",
        "content_index": 0,
        "error": {
            "code": "xxx",
            "message": "xxx",
            "param": "xxx"
        }
    }

item_idstring

ID do item de conversa associado.

content_indexinteger

Índice da parte de conteúdo que contém o áudio.

error.codestring

Código de erro.

error.messagestring

Mensagem de erro.

response.audio_transcript.text

Retornado para saída de áudio para exibir a tradução em tempo real.

event_idstring

Identificador exclusivo deste evento.

{
      "event_id": "event_xxx",
      "type": "response.audio_transcript.text",
      "response_id": "resp_xxx",
      "item_id": "item_xxx",
      "output_index": 0,
      "content_index": 0,
      "text": "Hello,",
      "stash": " who are you?"
    }

typestring

Tipo do evento. O valor é sempre response.audio_transcript.text.

response_idstring

Identificador exclusivo da resposta.

item_idstring

Identificador exclusivo do item de mensagem.

output_index integer

Atualmente, o valor é sempre 0.

content_index integer

Atualmente, o valor é sempre 0.

textstring

Segmento de texto de tradução confirmado.

stashstring

Texto de tradução temporário, concatenado com text para formar resultados provisórios. O sistema atualiza text e stash continuamente via eventos response.audio_transcript.text até que um evento response.audio_transcript.done seja recebido. Em seguida, recupere a tradução final de transcript.

response.audio_transcript.done

Retornado quando a saída de áudio está ativada e a geração de texto termina.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_VN4Q4GJugLcc1S23viW8E",
        "type": "response.audio_transcript.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
        "output_index": 0,
        "content_index": 0,
        "transcript": "How can I assist you today?"
    }

typestring

Tipo do evento. É sempre response.audio_transcript.done.

response_idstring

Identificador exclusivo da resposta.

item_idstring

Identificador exclusivo do item de mensagem.

output_index integer

Atualmente, é sempre 0.

content_index integer

Atualmente, é sempre 0.

transcriptstring

Texto completo.

response.output_item.added

Retornado quando um novo item de saída é adicionado durante a geração da resposta.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_B4O5yPt3Gjnjy5eYH3plG",
        "type": "response.output_item.added",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "output_index": 0,
        "item": {
            "id": "item_OFaPGtzfWCPyGzxnuEX9i",
            "object": "realtime.item",
            "type": "message",
            "status": "in_progress",
            "role": "assistant",
            "content": []
        }
    }

typestring

Tipo do evento. O valor é sempre response.output_item.added.

response_idstring

Identificador exclusivo da resposta.

output_index integer

Atualmente, o valor é sempre 0.

item object

Informações sobre o item de saída.

Properties

idstring

Identificador exclusivo do item de saída.

typestring

O valor é sempre message.

objectstring

O valor é sempre realtime.item.

statusstring

Status do item de saída.

rolestring

Função da mensagem.

contentstring

Conteúdo da mensagem.

response.output_item.done

Retornado quando um item de saída é concluído.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_XkiwbYTBC9Wcdwy6uYJ2G",
        "type": "response.output_item.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "output_index": 0,
        "item": {
            "id": "item_JvJauNH2CTXb1D9WV6pD4",
            "object": "realtime.item",
            "type": "message",
            "status": "completed",
            "role": "assistant",
            "content": [
                {
                    "type": "audio",
                    "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
                }
            ]
        }
    }

typestring

Tipo do evento. O valor é sempre response.output_item.done.

response_idstring

Identificador exclusivo da resposta.

output_indexinteger

Atualmente, o valor é sempre 0.

itemobject

Informações sobre o item de saída.

Properties

idstring

Identificador exclusivo do item de saída.

objectstring

O valor é sempre realtime.item.

typestring

O valor é sempre message.

statusstring

Status do item de saída.

rolestring

Função do remetente da mensagem.

contentstring

Conteúdo da mensagem.

response.content_part.added

Retornado quando uma nova parte de conteúdo é adicionada.

event_id string

ID exclusivo do evento.

{
        "event_id": "event_J2UixwYKZsXg7c9YXZetL",
        "type": "response.content_part.added",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0,
        "part": {
            "type": "audio",
            "text": ""
        }
    }

type string

Tipo do evento. O valor é sempre response.content_part.added.

response_id string

ID exclusivo da resposta.

item_id string

ID exclusivo do item de mensagem.

output_index integer

O valor é sempre 0.

content_index integer

O valor é sempre 0.

part object

Informações do item de saída.

Properties

type string

Tipo da parte de conteúdo.

text string

Texto da parte de conteúdo.

response.content_part.done

Retornado quando uma parte de conteúdo é concluída.

event_idstring

Identificador exclusivo deste evento.

{
        "event_id": "event_VN4Q4GJugLcc1S23viW8E",
        "type": "response.content_part.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
        "output_index": 0,
        "content_index": 0,
        "part": {
            "type": "audio",
            "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
        }
    }

typestring

Tipo do evento. É sempre response.content_part.done.

response_idstring

Identificador exclusivo da resposta.

item_idstring

Identificador exclusivo do item de mensagem.

output_index integer

O valor é sempre 0.

content_index integer

O valor é sempre 0.

part object

Informações sobre a parte de conteúdo.

Properties

typestring

Tipo da parte de conteúdo.

textstring

Texto da parte de conteúdo.