Server events - Alibaba Cloud Model Studio: Central de Documentação do Alibaba Cloud

Eventos de servidor da API Qwen-TTS-Realtime.

Referência: Síntese de fala em tempo real .

error

Enviado para erros no lado do cliente e do servidor.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_QzAVZRVa9hKqM5VOaHunh",
  "type": "error",
  "error": {
    "code": "invalid_value",
    "message": "Session update error: session already started or finished or failed."
  }
}

typestring

Tipo do evento. Sempre error.

errorobject

Detalhes do erro.

Properties

codestring

Código do erro.

messagestring

Mensagem de erro.

session.created

Enviado quando um cliente se conecta. Inclui a configuração padrão da sessão.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_xxx",
  "type": "session.created",
  "session": {
    "object": "realtime.session",
    "mode": "server_commit",
    "model": "qwen-tts-realtime",
    "voice": "Cherry",
    "response_format": "pcm",
    "sample_rate": 24000,
    "id": "sess_xxx"
  }
}

typestring

Tipo do evento. Sempre session.created.

sessionobject

Configuração da sessão.

Properties

idstring

ID da sessão.

objectstring

Nome do serviço de sessão.

modestring

Modo de interação. Valores válidos: server_commit ou commit.

modelstring

Modelo em uso.

voicestring

Voz em uso.

response_formatstring

Formato de áudio.

sample_rateinteger

Taxa de amostragem do áudio.

session.updated

Enviado após o servidor processar com sucesso uma solicitação session.update. Em caso de erro, um evento error é enviado em seu lugar.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_xxx",
  "type": "session.updated",
  "session": {
    "id": "sess_xxx",
    "object": "realtime.session",
    "model": "qwen-tts-realtime",
    "voice": "Cherry",
    "language_type": "Chinese",
    "mode": "commit",
    "response_format": "pcm",
    "sample_rate": 24000
  }
}

typestring

Tipo do evento. Sempre session.updated.

sessionobject

Configuração da sessão.

Properties

idstring

ID da sessão.

objectstring

Nome do serviço de sessão.

modestring

Modo de interação. Valores válidos: server_commit ou commit.

modelstring

Modelo em uso.

voicestring

Voz em uso.

response_formatstring

Formato de áudio.

sample_rateinteger

Taxa de amostragem do áudio.

language_typestring

Idioma do áudio.

input_text_buffer.committed

Enviado após o servidor receber um evento input_text_buffer.commit.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_FC6MA88wS2oEeXkPvWsxX",
  "type": "input_text_buffer.committed",
  "item_id": ""
}

typestring

Tipo do evento. Sempre input_text_buffer.committed.

item_idstring

ID do item de mensagem do usuário a ser criado.

input_text_buffer.cleared

Resposta do servidor após o cliente enviar o evento input_text_buffer.clear.

event_idstring

ID do evento no lado do servidor.

{
    "event_id": "event_1122",
    "type": "input_text_buffer.cleared"
}

typestring

Tipo do evento. Sempre input_text_buffer.cleared.

response.created

Enviado pelo servidor após receber um evento input_text_buffer.commit do cliente.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_IMnLqDvG6Ahhk7sWV2uOs",
  "type": "response.created",
  "response": {
    "id": "resp_USvBwHktHcz76r6GaIJUV",
    "object": "realtime.response",
    "conversation_id": "",
    "status": "in_progress",
    "voice": "Cherry",
    "output": []
  }
}

typestring

Tipo do evento. Sempre response.created.

responseobject

Detalhes da resposta.

Properties

idstring

ID da resposta.

objectstring

Tipo de objeto. Sempre realtime.response.

statusstring

Status final da resposta. Valores válidos:

completed
failed
in_progress
incomplete

voicestring

Voz em uso.

outputarray

Campo vazio para este evento.

response.output_item.added

Enviado quando um novo item de saída está pronto.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_INDGnGNulaXCrStd9ZM5X",
  "type": "response.output_item.added",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "output_index": 0,
  "item": {
    "id": "item_FIrYGaNVK3rbIZqeY4QjM",
    "object": "realtime.item",
    "type": "message",
    "status": "in_progress",
    "role": "assistant",
    "content": []
  }
}

typestring

Tipo do evento. Sempre response.output_item.added.

response_idstring

ID da resposta.

output_indexinteger

Índice do item de saída da resposta. Sempre 0.

itemobject

Detalhes do item de saída.

Properties

idstring

ID do item de saída.

objectstring

Sempre realtime.item.

statusstring

Status do item de saída.

contentarray

Conteúdo da mensagem.

response.content_part.added

Enviado quando uma nova parte de conteúdo está pronta.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_DigZ95MWN36YYyyjcENoq",
  "type": "response.content_part.added",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "item_id": "item_FIrYGaNVK3rbIZqeY4QjM",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "audio",
    "text": ""
  }
}

typestring

Tipo do evento. Sempre response.content_part.added.

response_idstring

ID da resposta.

item_idstring

ID do item de mensagem.

output_indexinteger

Índice do item de saída da resposta. Sempre 0.

content_indexinteger

Índice da parte de conteúdo no item de saída da resposta. Sempre 0.

partobject

Parte de conteúdo concluída.

Properties

typestring

Tipo da parte de conteúdo.

textstring

Texto da parte de conteúdo.

response.audio.delta

Enviado quando o modelo gera novos dados de áudio incrementalmente.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_B1osWTzBb8hO0WsELHgVP",
  "item_id": "item_B1osWH81fXDoyim1T5fsF",
  "output_index": 0,
  "content_index": 0,
  "delta": "base64 audio"
}

typestring

Tipo do evento. Sempre response.audio.delta.

response_idstring

ID da resposta.

item_idstring

ID do item de mensagem.

output_indexinteger

Índice do item de saída da resposta. Sempre 0.

content_indexinteger

Índice da parte de conteúdo no item de saída da resposta. Sempre 0.

deltastring

Dados de áudio gerados incrementalmente pelo modelo, codificados em Base64.

response.content_part.done

Enviado quando uma parte de conteúdo é concluída.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_Vo2YUjlYQJ4colH8nVzkU",
  "type": "response.content_part.done",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "item_id": "item_FIrYGaNVK3rbIZqeY4QjM",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "audio",
    "text": ""
  }
}

typestring

Tipo do evento. Sempre response.content_part.done.

response_idstring

ID da resposta.

item_idstring

ID do item de mensagem.

output_indexinteger

Índice do item de saída da resposta. Sempre 0.

content_indexinteger

Índice da parte de conteúdo no item de saída da resposta. Sempre 0.

partobject

Parte de conteúdo concluída.

Properties

typestring

Tipo da parte de conteúdo.

textstring

Texto da parte de conteúdo.

response.output_item.done

Enviado quando um item de saída é concluído.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_LO6SJRKIQ9NBayyYB8a1A",
  "type": "response.output_item.done",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "output_index": 0,
  "item": {
    "id": "item_FIrYGaNVK3rbIZqeY4QjM",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "audio",
        "text": ""
      }
    ]
  }
}

typestring

Tipo do evento. Sempre response.output_item.done.

response_idstring

ID da resposta.

output_indexinteger

Índice do item de saída da resposta. Sempre 0.

itemobject

Detalhes do item de saída.

Properties

idstring

ID do item de saída.

objectstring

Sempre realtime.item.

statusstring

Status do item de saída.

contentarray

Conteúdo da mensagem.

response.audio.done

Enviado quando o modelo termina de gerar dados de áudio.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_LZaOHPzXYMUXGBcVkBmKX",
  "type": "response.audio.done",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "item_id": "item_FIrYGaNVK3rbIZqeY4QjM",
  "output_index": 0,
  "content_index": 0
}

typestring

Tipo do evento. Sempre response.audio.done.

response_idstring

ID da resposta.

item_idstring

ID do item de mensagem.

output_indexinteger

Índice do item de saída da resposta. Sempre 0.

content_indexinteger

Índice da parte de conteúdo no item de saída da resposta. Sempre 0.

response.done

Enviado quando a geração da resposta é concluída. O objeto response contém todos os itens de saída, mas exclui os dados de áudio brutos já enviados.

event_idstring

ID do evento no lado do servidor.

Qwen3-TTS Realtime

{
    "event_id": "event_Aemy83XqHFFDDSeJIDn6N",
    "type": "response.done",
    "response": {
        "id": "resp_LFeR42yXZ9SxUAeXjmyTz",
        "object": "realtime.response",
        "conversation_id": "",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output": [
            {
                "id": "item_Ae1lv2XmRljRSG96L8Zm1",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": ""
                    }
                ]
            }
        ],
        "usage": {
            "characters": 25
        }
    }
}

Qwen-TTS Realtime

{
  "event_id": "event_xxx",
  "type": "response.done",
  "response": {
    "id": "resp_xxx",
    "object": "realtime.response",
    "conversation_id": "",
    "status": "completed",
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Cherry",
    "output": [
      {
        "id": "item_FIrYGaNVK3rbIZqeY4QjM",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "audio",
            "transcript": ""
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 67,
      "input_tokens": 3,
      "output_tokens": 64,
      "input_tokens_details": {
        "text_tokens": 3
      },
      "output_tokens_details": {
        "text_tokens": 0,
        "audio_tokens": 64
      }
    }
  }
}

typestring

Tipo do evento. Sempre response.done.

response_idstring

ID da resposta.

responseobject

Detalhes da resposta.

Properties

idstring

ID da resposta.

objectstring

Tipo de objeto. Sempre realtime.response.

outputarray

Saída da resposta.

usageobject

Informações de faturamento desta solicitação de síntese de fala.

Properties

charactersinteger

Número de caracteres faturados para o Qwen3-TTS Realtime.

total_tokensinteger

Total de tokens de entrada e saída (áudio sintetizado).

input_tokensinteger

Tokens do conteúdo de entrada.

output_tokensinteger

Tokens do conteúdo de saída.

input_tokens_detailsinteger

Detalhamento dos tokens de entrada.

input_tokens_details.text_tokensinteger

Tokens do texto de entrada.

output_tokens_detailsinteger

Detalhamento dos tokens de saída.

output_tokens_details.text_tokensinteger

Tokens do texto de saída.

output_tokens_details.audio_tokensinteger

Tokens do áudio de saída.

Regra de conversão de áudio para token: 1 segundo = 50 tokens. Áudios com menos de 1 segundo contam como 50 tokens.

session.finished

Enviado quando todas as respostas são geradas.

event_idstring

ID do evento no lado do servidor.

{
  "event_id": "event_2239",
  "type": "session.finished"
}

typestring

Tipo do evento. Sempre session.finished.