Qwen-Audio-ASR-Streaming 伺服器端事件 - Alibaba Cloud Model Studio

本文介紹 Qwen-Audio-ASR-Streaming 即時語音辨識服務通過 WebSocket 推送給用戶端的服務端事件，包括 task-started、result-generated、task-finished、task-failed 四類事件的資料結構與欄位含義。

task-started

任務啟動成功，用戶端可開始發送音頻資料。

headerobject

屬性

task_idstring

用戶端產生的任務 ID（UUID 格式）。

eventstring

事件類型，固定為 task-started。

attributesobject

附加屬性（通常為空白）。

payloadobject

固定為{}。

{
    "header": {
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "event": "task-started",
        "attributes": {}
    },
    "payload": {}
}

result-generated

識別結果，包含中間結果（sentence_end=false）和最終結果（sentence_end=true）。其中，新句子的首個中間結果包含 sentence_begin=true。

headerobject

屬性

task_idstring

用戶端產生的任務 ID（UUID 格式）。

eventstring

事件類型，固定為 result-generated。

payloadobject

屬性

outputobject

屬性

sentenceobject

屬性

begin_timeinteger

句子開始時間（ms）。

end_timeinteger

句子結束時間（ms）。

textstring

識別文本。

heartbeatboolean

若為 true，可跳過該結果（心跳包）。

sentence_beginboolean

用於標識句子開始。

sentence_endboolean

是否句子結束（true=最終結果，false=中間結果）。

sentence_idinteger

句子的序號標識。正常識別結果中，sentence_id 從 1 開始遞增。當 heartbeat 為 true 時（即心跳包），sentence_id 固定為 0。

wordsarray[object]

字時間戳記資訊。

屬性

begin_timeinteger

字開始時間（ms）。

end_timeinteger

字結束時間（ms）。

textstring

識別文本。

punctuationstring

標點符號。

usageobject

目前任務的累計用量。

屬性

input_tokensinteger

累計輸入 Token 數。

說明適用於 qwen-audio-3.1-asr-flash-streaming。

output_tokensinteger

累計輸出 Token 數。

說明適用於 qwen-audio-3.1-asr-flash-streaming。

total_tokensinteger

累計 Token 總數，為輸入與輸出 Token 數之和。

說明適用於 qwen-audio-3.1-asr-flash-streaming。

durationinteger

累計音訊時長（秒）。

說明用於 qwen-audio-3.0-asr-flash-streaming 的計費。

句子開始結果：

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "begin_time": 0,
        "end_time": null,
        "text": "",
        "sentence_begin": true,
        "sentence_end": false,
        "sentence_id": 1,
        "words": []
      }
    }
  }
}

最終結果：

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "sentence_id": 1,
        "begin_time": 160,
        "end_time": 1640,
        "text": "欢迎使用阿里云。",
        "channel_id": 0,
        "speaker_id": null,
        "sentence_end": true,
        "words": [
          {
            "begin_time": 160,
            "end_time": 520,
            "text": "欢迎",
            "punctuation": "",
            "fixed": true,
            "speaker_id": null
          },
          {
            "begin_time": 520,
            "end_time": 880,
            "text": "使用",
            "punctuation": "",
            "fixed": true,
            "speaker_id": null
          },
          {
            "begin_time": 880,
            "end_time": 1640,
            "text": "阿里云",
            "punctuation": "。",
            "fixed": true,
            "speaker_id": null
          }
        ],
        "stash": {
          "sentence_id": 2,
          "text": "",
          "begin_time": 1640,
          "current_time": 1640,
          "words": []
        }
      },
      "text": "欢迎使用阿里云。",
      "request_id": "95372ce8e6704bcc8747da94789c15ca",
      "output": {
        "sentence": {
          "sentence_id": 1,
          "begin_time": 160,
          "end_time": 1640,
          "text": "欢迎使用阿里云。",
          "channel_id": 0,
          "speaker_id": null,
          "sentence_end": true,
          "words": [
            {
              "begin_time": 160,
              "end_time": 520,
              "text": "欢迎",
              "punctuation": "",
              "fixed": true,
              "speaker_id": null
            },
            {
              "begin_time": 520,
              "end_time": 880,
              "text": "使用",
              "punctuation": "",
              "fixed": true,
              "speaker_id": null
            },
            {
              "begin_time": 880,
              "end_time": 1640,
              "text": "阿里云",
              "punctuation": "。",
              "fixed": true,
              "speaker_id": null
            }
          ],
          "stash": {
            "sentence_id": 2,
            "text": "",
            "begin_time": 1640,
            "current_time": 1640,
            "words": []
          }
        },
        "text": "欢迎使用阿里云。",
        "request_id": "95372ce8e6704bcc8747da94789c15ca"
      },
      "usage": {
        "duration": 2,
        "input_tokens": 85,
        "output_tokens": 4,
        "total_tokens": 89
      }
    },
    "usage": {
      "duration": 2,
      "input_tokens": 85,
      "output_tokens": 4,
      "total_tokens": 89
    }
  }
}

task-finished

任務正常結束，可關閉串連或複用串連。

headerobject

屬性

task_idstring

用戶端產生的任務 ID（UUID 格式）。

eventstring

事件類型，固定為 task-finished。

attributesobject

附加屬性（通常為空白）。

payload.usageobject

任務結束時的累計用量。欄位含義與 result-generated.usage相同。

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-finished",
    "attributes": {}
  },
  "payload": {
    "output": {},
    "usage": {
      "duration": 9,
      "input_tokens": 365,
      "output_tokens": 12,
      "total_tokens": 377
    }
  }
}

task-failed

任務失敗，串連會被關閉，無法複用。

headerobject

屬性

task_idstring

用戶端產生的任務 ID（UUID 格式）。

eventstring

事件類型，固定為 task-failed。

error_codestring

錯誤類型描述。

error_messagestring

具體錯誤原因。

attributesobject

附加屬性（通常為空白）。

payloadobject

固定為{}。

{
    "header": {
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "event": "task-failed",
        "error_code": "CLIENT_ERROR",
        "error_message": "request timeout after 23 seconds.",
        "attributes": {}
    },
    "payload": {}
}