Server-Side Events - Alibaba Cloud Model Studio - Alibaba Cloud Documentation Center

Topik ini menjelaskan event sisi server untuk API Qwen-TTS-Realtime.

Untuk informasi selengkapnya, lihat Real-Time Speech Synthesis with Qwen.

error

Server merespons event ini baik untuk error sisi klien maupun sisi server.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu error.

errorobject

Detail kesalahan.

Properties

codestring

Kode kesalahan.

messagestring

Pesan kesalahan.

{
  "event_id": "event_QzAVZRVa9hKqM5VOaHunh",
  "type": "error",
  "error": {
    "code": "invalid_value",
    "message": "Session update error: session already started or finished or failed."
  }
}

session.created

Server mengirimkan event ini sebagai respons pertama setelah klien terhubung. Event ini mencakup konfigurasi default untuk sesi tersebut.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu session.created.

sessionobject

Konfigurasi sesi.

Properties

idstring

ID sesi.

objectstring

Nama layanan sesi.

modestring

Mode interaksi. Nilai yang valid adalah server_commit atau commit.

modelstring

Model yang digunakan.

voicestring

Voice yang digunakan.

response_formatstring

Format audio.

sample_rateinteger

Laju pengambilan sampel audio.

{
  "event_id": "event_xxx",
  "type": "session.created",
  "session": {
    "object": "realtime.session",
    "mode": "server_commit",
    "model": "qwen-tts-realtime",
    "voice": "Cherry",
    "response_format": "pcm",
    "sample_rate": 24000,
    "id": "sess_xxx"
  }
}

session.updated

Server mengirimkan event ini setelah menerima dan berhasil memproses permintaan session.update dari klien. Jika terjadi error, server akan mengirimkan event error sebagai gantinya.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu session.updated.

sessionobject

Konfigurasi sesi.

Properties

idstring

ID sesi.

objectstring

Nama layanan sesi.

modestring

Mode interaksi. Nilai yang valid adalah server_commit atau commit.

modelstring

Model yang digunakan.

voicestring

Timbre yang digunakan.

response_formatstring

Format audio.

sample_rateinteger

Laju pengambilan sampel audio.

language_typestring

Bahasa audio.

{
  "event_id": "event_xxx",
  "type": "session.updated",
  "session": {
    "id": "sess_xxx",
    "object": "realtime.session",
    "model": "qwen-tts-realtime",
    "voice": "Cherry",
    "language_type": "Chinese",
    "mode": "commit",
    "response_format": "pcm",
    "sample_rate": 24000
  }
}

input_text_buffer.committed

Server mengirimkan event ini setelah menerima event input_text_buffer.commit dari klien.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu input_text_buffer.committed.

item_idstring

ID item pesan pengguna yang akan dibuat.

{
  "event_id": "event_FC6MA88wS2oEeXkPvWsxX",
  "type": "input_text_buffer.committed",
  "item_id": ""
}

input_text_buffer.cleared

Event respons server setelah klien mengirimkan event input_audio_buffer.clear.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu input_text_buffer.cleared.

{
    "event_id": "event_1122",
    "type": "input_text_buffer.cleared"
}

response.created

Server mengirimkan event ini setelah menerima event input_text_buffer.commit dari klien.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.created.

responseobject

Detail respons.

Properties

idstring

ID respons.

objectstring

Jenis objek. Nilai ini selalu realtime.response.

statusstring

Status akhir respons. Nilai yang valid adalah:

completed
failed
in_progress
incomplete

voicestring

Voice yang digunakan.

outputarray

Bidang ini kosong untuk event ini.

{
  "event_id": "event_IMnLqDvG6Ahhk7sWV2uOs",
  "type": "response.created",
  "response": {
    "id": "resp_USvBwHktHcz76r6GaIJUV",
    "object": "realtime.response",
    "conversation_id": "",
    "status": "in_progress",
    "voice": "Cherry",
    "output": []
  }
}

response.output_item.added

Server mengirimkan event ini ketika output item baru siap.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.output_item.added.

response_idstring

ID respons.

output_indexinteger

Indeks output item respons. Nilai ini selalu 0.

itemobject

Detail output item.

Properties

idstring

ID output item.

objectstring

Nilai ini selalu realtime.item.

statusstring

Status output item.

contentarray

Konten pesan.

{
  "event_id": "event_INDGnGNulaXCrStd9ZM5X",
  "type": "response.output_item.added",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "output_index": 0,
  "item": {
    "id": "item_FIrYGaNVK3rbIZqeY4QjM",
    "object": "realtime.item",
    "type": "message",
    "status": "in_progress",
    "role": "assistant",
    "content": []
  }
}

response.content_part.added

Server mengirimkan event ini ketika content part baru siap.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.content_part.added.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks output item respons. Nilai ini selalu 0.

content_indexinteger

Indeks content part dalam output item respons. Nilai ini selalu 0.

partobject

Content part yang telah selesai.

Properties

typestring

Jenis content part.

textstring

Teks content part.

{
  "event_id": "event_DigZ95MWN36YYyyjcENoq",
  "type": "response.content_part.added",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "item_id": "item_FIrYGaNVK3rbIZqeY4QjM",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "audio",
    "text": ""
  }
}

response.audio.delta

Server mengirimkan event ini ketika model menghasilkan data audio secara inkremental.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.audio.delta.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks output item respons. Nilai ini selalu 0.

content_indexinteger

Indeks content part dalam output item respons. Nilai ini selalu 0.

deltastring

Data audio yang dihasilkan secara inkremental oleh model. Data tersebut dikodekan dalam Base64.

{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_B1osWTzBb8hO0WsELHgVP",
  "item_id": "item_B1osWH81fXDoyim1T5fsF",
  "output_index": 0,
  "content_index": 0,
  "delta": "base64 audio"
}

response.content_part.done

Server mengirimkan event ini ketika content part telah selesai.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.content_part.done.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks output item respons. Nilai ini selalu 0.

content_indexinteger

Indeks content part dalam output item respons. Nilai ini selalu 0.

partobject

Content part yang telah selesai.

Properties

typestring

Jenis content part.

textstring

Teks content part.

{
  "event_id": "event_Vo2YUjlYQJ4colH8nVzkU",
  "type": "response.content_part.done",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "item_id": "item_FIrYGaNVK3rbIZqeY4QjM",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "audio",
    "text": ""
  }
}

response.output_item.done

Server mengirimkan event ini ketika output item telah selesai.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.output_item.done.

response_idstring

ID respons.

output_indexinteger

Indeks output item respons. Nilai ini selalu 0.

itemobject

Detail output item.

Properties

idstring

ID output item.

objectstring

Nilai ini selalu realtime.item.

statusstring

Status output item.

contentarray

Konten pesan.

{
  "event_id": "event_LO6SJRKIQ9NBayyYB8a1A",
  "type": "response.output_item.done",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "output_index": 0,
  "item": {
    "id": "item_FIrYGaNVK3rbIZqeY4QjM",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "audio",
        "text": ""
      }
    ]
  }
}

response.audio.done

Server mengirimkan event ini ketika model telah selesai menghasilkan data audio.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.audio.done.

response_idstring

ID respons.

item_idstring

ID item pesan.

output_indexinteger

Indeks output item respons. Nilai ini selalu 0.

content_indexinteger

Indeks content part dalam output item respons. Nilai ini selalu 0.

{
  "event_id": "event_LZaOHPzXYMUXGBcVkBmKX",
  "type": "response.audio.done",
  "response_id": "resp_USvBwHktHcz76r6GaIJUV",
  "item_id": "item_FIrYGaNVK3rbIZqeY4QjM",
  "output_index": 0,
  "content_index": 0
}

response.done

Server mengirimkan event ini ketika pembuatan respons telah selesai. Objek response dalam event ini berisi semua output item tetapi tidak mencakup data audio mentah yang telah dikirim sebelumnya.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu response.done.

response_idstring

ID respons.

responseobject

Detail respons.

Properties

idstring

ID respons.

objectstring

Jenis objek. Nilai ini selalu realtime.response.

outputarray

Output respons.

usageobject

Informasi penagihan untuk permintaan sintesis suara ini.

Properties

charactersinteger

Jumlah karakter yang ditagih untuk Qwen3-TTS Realtime.

total_tokensinteger

Total jumlah token untuk input dan output (audio tersintesis) Qwen-TTS Realtime.

input_tokensinteger

Jumlah token untuk konten input Qwen-TTS Realtime.

output_tokensinteger

Jumlah token untuk konten output Qwen-TTS Realtime.

input_tokens_detailsinteger

Rincian jumlah token untuk konten input Qwen-TTS Realtime.

input_tokens_details.text_tokensinteger

Jumlah token untuk konten teks input Qwen-TTS Realtime.

output_tokens_detailsinteger

Rincian jumlah token untuk konten output Qwen-TTS Realtime.

output_tokens_details.text_tokensinteger

Jumlah token untuk konten teks output Qwen-TTS Realtime.

output_tokens_details.audio_tokensinteger

Jumlah token untuk konten audio output Qwen-TTS Realtime.

Aturan konversi audio ke token: Setiap detik audio setara dengan 50 token. Audio yang durasinya kurang dari satu detik dihitung sebagai 50 token.

Qwen3-TTS Realtime

{
    "event_id": "event_Aemy83XqHFFDDSeJIDn6N",
    "type": "response.done",
    "response": {
        "id": "resp_LFeR42yXZ9SxUAeXjmyTz",
        "object": "realtime.response",
        "conversation_id": "",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output": [
            {
                "id": "item_Ae1lv2XmRljRSG96L8Zm1",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": ""
                    }
                ]
            }
        ],
        "usage": {
            "characters": 25
        }
    }
}

Qwen-TTS Realtime

{
  "event_id": "event_xxx",
  "type": "response.done",
  "response": {
    "id": "resp_xxx",
    "object": "realtime.response",
    "conversation_id": "",
    "status": "completed",
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Cherry",
    "output": [
      {
        "id": "item_FIrYGaNVK3rbIZqeY4QjM",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "audio",
            "transcript": ""
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 67,
      "input_tokens": 3,
      "output_tokens": 64,
      "input_tokens_details": {
        "text_tokens": 3
      },
      "output_tokens_details": {
        "text_tokens": 0,
        "audio_tokens": 64
      }
    }
  }
}

session.finished

Server mengirimkan event ini ketika semua respons telah dihasilkan.

event_idstring

ID event sisi server.

typestring

Jenis event. Nilai ini selalu session.finished.

{
  "event_id": "event_2239",
  "type": "session.finished"
}