Server events Qwen-Audio-TTS/CosyVoice - Alibaba Cloud Model Studio

Panduan pengguna: Untuk pengenalan model dan rekomendasi pemilihan, lihat Speech synthesis.

task-started

Setelah klien mengirim perintah run-task, server mengembalikan event task-started untuk menandakan bahwa tugas telah dimulai. Klien hanya dapat mengirim perintah berikutnya setelah menerima event ini.

header.task_idstring

ID tugas yang dihasilkan oleh klien.

header.eventstring

Jenis event. Nilai tetap: task-started.

payloadobject

Objek kosong.

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

result-generated

Setelah klien mengirim teks, server terus-menerus mengembalikan event result-generated. Setiap event membawa metadata tingkat kalimat.

header.task_idstring

ID tugas yang dihasilkan oleh klien.

header.eventstring

Jenis event. Nilai tetap: result-generated.

payload.outputobject

Informasi output.

Properti

typestring

Jenis sub-event. Nilai yang valid:

sentence-begin: Awal kalimat. Mengembalikan teks yang akan disintesis.
sentence-synthesis: Menandai satu frame audio. Satu frame audio dikirimkan melalui saluran biner WebSocket segera setelah setiap event.
sentence-end: Akhir kalimat. Mengembalikan konten teks dan jumlah kumulatif karakter.

sentence.indexinteger

Indeks kalimat, dimulai dari 0.

sentence.wordsarray

Array timestamp tingkat kata.

Properti elemen words

textstring

Konten teks kata tersebut.

begin_indexinteger

Indeks karakter awal kata dalam kalimat. Dimulai dari 0.

end_indexinteger

Indeks karakter akhir kata dalam kalimat. Dimulai dari 1.

begin_timeinteger

Waktu mulai audio yang sesuai dengan kata tersebut, dalam milidetik.

end_timeinteger

Waktu akhir audio yang sesuai dengan kata tersebut, dalam milidetik.

original_textstring

Teks kalimat sebagaimana telah disegmentasi untuk sintesis.

payload.usageobject

Informasi penagihan, dikembalikan dalam event sentence-end.

Properti

charactersinteger

Jumlah kumulatif karakter yang ditagih.

sentence-begin

{
  "header": {
    "task_id": "3f2d5c86-0550-45c0-801f-xxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": []
      },
      "type": "sentence-begin",
      "original_text": "Before my bed, moonlight shines bright,"
    }
  }
}

sentence-synthesis

{
    "header": {
        "task_id": "3f2d5c86-0550-45c0-801f-xxxxxxxxxx",
        "event": "result-generated",
        "attributes": {}
    },
    "payload": {
        "output": {
            "sentence": {
                "index": 0,
                "words": []
            },
            "type": "sentence-synthesis"
        }
    }
}

sentence-end

{
  "header": {
    "task_id": "3f2d5c86-0550-45c0-801f-xxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": [
          {
            "text": "Before",
            "begin_index": 0,
            "end_index": 1,
            "begin_time": 0,
            "end_time": 263
          }
        ]
      },
      "type": "sentence-end",
      "original_text": "Before my bed, moonlight shines bright,"
    },
    "usage": {
      "characters": 6
    }
  }
}

task-finished

Server mengembalikan event task-finished ketika tugas selesai. Klien kemudian dapat menutup koneksi WebSocket atau menggunakannya kembali untuk memulai tugas baru.

header.task_idstring

ID tugas yang dihasilkan oleh klien.

header.eventstring

Jenis event. Nilai tetap: task-finished.

payload.usage.charactersinteger

Jumlah kumulatif karakter yang ditagih.

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-finished",
    "attributes": {
      "request_uuid": "0a9dba9e-d3a6-45a4-be6d-xxxxxxxxxxxx"
    }
  },
  "payload": {
    "usage": {
      "characters": 13
    }
  }
}

task-failed

Server mengembalikan event task-failed ketika tugas gagal. Saat menerima event ini, klien harus menutup koneksi WebSocket dan menangani kesalahan tersebut.

header.task_idstring

ID tugas yang dihasilkan oleh klien.

header.eventstring

Jenis event. Nilai tetap: task-failed.

header.error_codestring

Kode kesalahan.

header.error_messagestring

Pesan kesalahan detail.

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "[tts:]Engine return error code: 418",
    "attributes": {}
  },
  "payload": {}
}