Server-Side Events untuk Translation Live - Model Studio

Topik ini menjelaskan event sisi server untuk API qwen3-livetranslate-flash-realtime.

Referensi: Terjemahan Audio dan Video Real-Time dengan Qwen.

error

Pesan kesalahan yang dikembalikan oleh server.

event_id string

Identifier unik untuk event ini.

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

type string

Tipe event. Nilai ini selalu error.

error object

Informasi kesalahan secara detail.

Properties

type string

Tipe kesalahan.

code string

Kode kesalahan.

message string

Pesan kesalahan.

param string

Parameter yang terkait dengan kesalahan, seperti session.modalities.

session.created

Event pertama yang dikembalikan oleh server setelah klien terhubung. Event ini berisi konfigurasi default untuk sesi ini.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
    "type": "session.created",
    "session": {
        "id": "sess_OozZ1vtbPt2muDflHODIH",
        "object": "realtime.session",
        "model": "qwen3-livetranslate-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "input_audio_format": "pcm16",
        "output_audio_format": "pcm24",
        "translation": {
           "language": "en"
        }
    }
}

type string

Tipe event. Nilai ini selalu session.created.

session object

Konfigurasi sesi.

Properties

id string

Identifier unik untuk sesi ini.

object string

Nilai ini selalu realtime.session.

model string

Model yang digunakan.

modalities array

Modalitas output untuk model.

voice string

Voice dari audio yang dihasilkan oleh model.

input_audio_format string

Format audio input. Nilai ini selalu pcm16.

output_audio_format string

Format audio output. Nilai ini selalu pcm24.

translation object (optional)

Konfigurasi terjemahan.

Properties

translation string (Optional)

Bahasa target untuk terjemahan.

session.updated

Server mengembalikan event ini setelah berhasil memproses permintaan session.update dari klien. Jika terjadi kesalahan, server akan mengembalikan event error sebagai gantinya.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
    "type": "session.updated",
    "session": {
        "id": "sess_OozZ1vtbPt2muDflHODIH",
        "object": "realtime.session",
        "model": "qwen3-livetranslate-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Ethan",
        "input_audio_format": "pcm16",
        "output_audio_format": "pcm24",
        "translation": {
           "language": "en"
        }
    }
}

type string

Tipe event. Nilai ini selalu session.updated.

session object

Konfigurasi sesi.

Properties

id string

Identifier unik untuk sesi ini.

object string

Nilai ini selalu realtime.session.

model string

Model yang digunakan.

modalities array

Modalitas output untuk model.

voice string

Voice yang digunakan untuk pembangkitan audio.

input_audio_format string

Format audio input. Nilai ini selalu pcm16.

output_audio_format string

Format audio output. Nilai ini selalu pcm24.

translation object (optional)

Konfigurasi terjemahan.

Properties

translation string (Optional)

Bahasa target untuk terjemahan.

session.finished

Event ini menandakan bahwa semua tugas terjemahan audio dalam sesi saat ini telah selesai.

Server hanya mengirim event ini setelah klien mengirim permintaan session.finish. Setelah menerima event ini, klien dapat memutus koneksi.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_xxx",
    "type": "session.finished"
}

type string

Tipe event. Nilai ini selalu session.finished.

response.created

Server mengembalikan event ini ketika menghasilkan respons model baru.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_L8hHVI5jYis6BzAjnPWJh",
    "type": "response.created",
    "response": {
        "id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "object": "realtime.response",
        "conversation_id": "conv_UFClXtYkRkFXrs48y8pmK",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm24",
        "output": []
    }
}

type string

Tipe event. Nilai ini selalu response.created.

response object

Objek respons.

Properties

id string

Identifier unik untuk respons ini.

conversation_id string

Identifier unik untuk sesi saat ini.

object string

Tipe objek. Untuk event ini, nilai ini selalu realtime.response.

status string

Status respons. Nilai yang valid:

completed (Completed)
failed
in_progress (in progress)
incomplete (Incomplete)

modalities array

Modalitas respons.

voice string

Model menghasilkan timbre audio.

output_audio_format string

Format audio output. Nilai ini selalu pcm24.

output string

Bidang ini kosong untuk event ini.

response.done

Server mengembalikan event ini setelah menghasilkan respons lengkap. Objek response mencakup semua output kecuali data audio mentah.

event_id string

Identifier unik untuk event ini.

{
  "event_id": "event_CNea8oXNipVanSg2VIzkO",
  "type": "response.done",
  "response": {
    "id": "resp_TfhYTqej692vsGA2jNEtH",
    "object": "realtime.response",
    "conversation_id": "conv_ZtyLfKVm8XqLwYRlsuDih",
    "status": "completed",
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Cherry",
    "output_audio_format": "pcm24",
    "output": [
      {
        "id": "item_MKtkMwN9RtcyE9eJShyWy",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "audio",
            "transcript": "Hello? "
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 56,
      "input_tokens": 47,
      "output_tokens": 9,
      "input_tokens_details": {
        "text_tokens": 20,
        "audio_tokens": 27
      },
      "output_tokens_details": {
        "text_tokens": 2,
        "audio_tokens": 7
      }
    }
  }
}

type string

Tipe event. Nilai ini selalu response.done.

response object

Objek respons.

Properties

id string

Identifier unik untuk respons ini.

conversation_id string

Identifier unik untuk sesi saat ini.

object string

Tipe objek. Untuk event ini, nilai ini selalu realtime.response.

status string

Status respons.

modalities array

Modalitas respons.

voice string

Voice yang digunakan untuk pembangkitan audio.

output_audio_format string

Format audio output. Nilai ini selalu pcm24.

output object

Output respons.

Properties

id string

Identifier unik untuk output respons.

type string

Tipe item output. Nilai ini selalu message.

object string

Tipe objek item output. Nilai ini selalu realtime.item.

status string

Status item output.

role string

Peran item output.

content array

Konten item output.

Properties

type string

Tipe konten. Gunakan text untuk output teks biasa. Gunakan audio untuk output audio.

text string

Konten teks.

transcript string

Transkrip audio.

usage object

Informasi penggunaan token untuk respons ini.

response.text.text

Server mengembalikan event ini ketika modalitas output hanya mencakup teks dan model menghasilkan teks baru secara bertahap.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_B1lIeyOXR7qJMEExbqtTG",
    "type": "response.text.text",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How are",
    "stash": " you today?"
}

type string

Tipe event. Nilai ini selalu response.text.text.

text string

Teks bertahap yang dikembalikan.

response_id string

ID respons.

item_id string

ID item pesan. Anda dapat menggunakan ini untuk mengasosiasikan item dalam pesan yang sama.

output_index integer

Nilai ini selalu 0.

content_index integer

Nilai ini selalu 0.

stash string

Teks sementara yang dihasilkan oleh model. Gabungkan ini dengan text saat ini untuk membentuk hasil sementara. Sistem memperbarui text dan stash secara terus-menerus menggunakan event response.text.text hingga menerima event response.text.done. Pada titik tersebut, ambil teks lengkap akhir dari bidang text.

response.text.done

Server mengembalikan event ini ketika modalitas output hanya mencakup teks dan model selesai menghasilkan teks.

Server juga mengembalikan event ini jika respons terganggu, tidak lengkap, atau dibatalkan.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
    "type": "response.text.done",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How can I assist you today?"
}

type string

Tipe event. Nilai ini selalu response.text.done.

response_id string

Identifier unik untuk respons ini.

item_id string

Identifier unik untuk item pesan.

output_indexinteger

Nilai ini selalu 0.

content_indexinteger

Nilai ini selalu 0.

text string

Output teks lengkap yang dihasilkan oleh model.

response.audio.delta

Server mengembalikan event ini ketika modalitas output mencakup audio dan model menghasilkan data audio baru secara bertahap.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
    "type": "response.audio.delta",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "delta": "UklGRnoGAABXQVZFZm10IBAAAAAB..."
}

type string

Tipe event. Nilai ini selalu response.audio.delta.

response_id string

Identifier unik untuk respons ini.

item_id string

Identifier unik untuk item pesan.

output_indexinteger

Nilai ini selalu 0.

content_indexinteger

Nilai ini selalu 0.

delta string

Data audio bertahap yang dihasilkan oleh model, dalam format Base64-encoded.

response.audio.done

Server mengembalikan event ini ketika modalitas output mencakup audio dan model selesai menghasilkan audio.

Server juga mengembalikan event ini jika respons terganggu, tidak lengkap, atau dibatalkan.

Event ini tidak mengembalikan data audio lengkap.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_B1osWMWoDRYyITDyNYcBu",
    "type": "response.audio.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0
}

type string

Tipe event. Nilai ini selalu response.audio.done.

response_id string

Identifier unik untuk respons ini.

item_id string

Identifier unik untuk item pesan.

output_indexinteger

Nilai ini selalu 0.

content_indexinteger

Nilai ini selalu 0.

conversation.item.input_audio_transcription.text

Ketika Anda mengatur parameter input_audio_transcription.model, server mengalirkan hasil speech recognition untuk audio input (teks bahasa sumber asli).

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.text",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "",
    "stash": "The weather is so nice today",
    "language": "en"
}

type string

Tipe event. Nilai ini selalu conversation.item.input_audio_transcription.text.

item_id string

Identifier unik untuk item pesan.

content_index integer

Nilai ini selalu 0.

text string

Teks transkripsi yang telah dikonfirmasi.

stash string

Teks transkripsi yang belum dikonfirmasi. Teks ini mungkin diperbaiki oleh event berikutnya.

language string

Bahasa sumber yang terdeteksi.

conversation.item.input_audio_transcription.completed

Ketika Anda mengatur parameter input_audio_transcription.model, server mengembalikan event ini setelah speech recognition selesai. Event ini mencakup hasil transkripsi lengkap akhir.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "The weather is nice today. Let's go for a walk in the park.",
    "language": "zh"
}

type string

Tipe event. Nilai ini selalu conversation.item.input_audio_transcription.completed.

item_id string

Identifier unik untuk item pesan.

content_index integer

Nilai ini selalu 0.

transcript string

Hasil speech recognition lengkap dalam bahasa sumber.

language string

Bahasa sumber yang terdeteksi.

response.audio_transcript.text

Ketika modalitas output mencakup audio, server dapat mengembalikan event ini untuk menampilkan konten terjemahan real-time.

event_id string

Identifier unik untuk event ini.

{
  "event_id": "event_xxx",
  "type": "response.audio_transcript.text",
  "response_id": "resp_xxx",
  "item_id": "item_xxx",
  "output_index": 0,
  "content_index": 0,
  "text": "Hello,",
  "stash": " who are you?"
}

type string

Tipe event. Nilai ini selalu response.audio_transcript.text.

response_id string

Identifier unik untuk respons ini.

item_id string

Identifier unik untuk item pesan.

output_indexinteger

Nilai ini selalu 0.

content_indexinteger

Nilai ini selalu 0.

text string

Segmen teks terjemahan yang telah dikonfirmasi.

stash string

Terjemahan sementara yang dihasilkan oleh model. Gabungkan ini dengan text saat ini untuk membentuk hasil sementara. Sistem memperbarui text dan stash secara terus-menerus menggunakan event response.audio_transcript.text hingga menerima event response.audio_transcript.done. Pada titik tersebut, ambil teks terjemahan lengkap akhir dari bidang transcript.

response.audio_transcript.done

Server mengembalikan event ini ketika modalitas output mencakup audio dan model selesai menghasilkan teks.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_VN4Q4GJugLcc1S23viW8E",
    "type": "response.audio_transcript.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
    "output_index": 0,
    "content_index": 0,
    "transcript": "How can I assist you today?"
}

type string

Tipe event. Nilai ini selalu response.audio_transcript.done.

response_id string

Identifier unik untuk respons ini.

item_id string

Identifier unik untuk item pesan.

output_indexinteger

Nilai ini selalu 0.

content_indexinteger

Nilai ini selalu 0.

transcript string

Teks lengkap.

response.output_item.added

Server mengembalikan event ini ketika membuat item output baru selama pembangkitan respons.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_B4O5yPt3Gjnjy5eYH3plG",
    "type": "response.output_item.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

type string

Tipe event. Nilai ini selalu response.output_item.added.

response_id string

Identifier unik untuk respons ini.

output_indexinteger

Nilai ini selalu 0.

itemobject

Informasi item output.

Properties

id string

Identifier unik untuk item output.

type string

Nilai ini selalu message.

object string

Nilai ini selalu realtime.item.

status string

Status item output.

role string

Peran pesan.

content string

Konten pesan.

response.output_item.done

Server mengembalikan event ini ketika item output baru selesai.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_XkiwbYTBC9Wcdwy6uYJ2G",
    "type": "response.output_item.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_JvJauNH2CTXb1D9WV6pD4",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello. I am Qwen, a large-scale language model developed by Alibaba Cloud. How can I help you?"
            }
        ]
    }
}

type string

Tipe event. Nilai ini selalu response.output_item.done.

response_id string

Identifier unik untuk respons ini.

output_indexinteger

Nilai ini selalu 0.

itemobject

Informasi item output.

Properties

id string

Identifier unik untuk item output.

object string

Nilai ini selalu realtime.item.

type string

Nilai ini selalu message.

status string

Status item output.

role string

Peran pengirim pesan.

content string

Konten pesan.

response.content_part.added

Server mengembalikan event ini ketika mengeluarkan bagian konten baru.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_J2UixwYKZsXg7c9YXZetL",
    "type": "response.content_part.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

type string

Tipe event. Nilai ini selalu response.content_part.added.

response_id string

Identifier unik untuk respons ini.

item_id string

Identifier unik untuk item pesan.

output_indexinteger

Nilai ini selalu 0.

content_indexinteger

Nilai ini selalu 0.

partobject

Informasi item output.

Properties

type string

Tipe bagian konten.

text string

Teks bagian konten.

response.content_part.done

Server mengembalikan event ini ketika bagian konten baru selesai.

event_id string

Identifier unik untuk event ini.

{
    "event_id": "event_VN4Q4GJugLcc1S23viW8E",
    "type": "response.content_part.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello. I am Qwen, a large-scale language model developed by Alibaba Cloud. How can I help you?"
    }
}

type string

Tipe event. Nilai ini selalu response.content_part.done.

response_id string

Identifier unik untuk respons ini.

item_id string

Identifier unik untuk item pesan.

output_indexinteger

Nilai ini selalu 0.

content_indexinteger

Nilai ini selalu 0.

partobject

Informasi item output.

Properties

type string

Tipe bagian konten.

text string

Teks bagian konten.