Qwen-Audio-ASR-Streaming 用戶端事件參考,介紹 run-task、finish-task 的欄位、傳送順序及對應伺服器事件。
事件互動流程
- 傳送 run-task,收到 task-started 後開始傳送音訊。
- 持續傳送音訊,同時接收 result-generated。
- 音訊傳送完畢後傳送 finish-task,繼續接收結果,直到收到 task-finished;任務失敗時傳回 task-failed。
音訊資料不透過 run-task 傳送:WebSocket 使用二進位訊框,AOQ 使用 Audio Track。連線、驗證和音訊傳輸方式請參閱 WebSocket API 或 AOQ 接入。
run-task
建立連線後,用戶端傳送 run-task 事件,啟動語音辨識任務並設定模型、音訊格式、取樣率等參數。
重要收到 task-started 後才能傳送音訊。 run-task 僅用於啟動和設定任務,不攜帶音訊資料。
headerobject必填actionstring必填指令類型,固定為 run-task。
task_idstring必填用戶端產生的任務 ID(UUID 格式),用於關聯後續事件。
streamingstring必填固定為 duplex。
payloadobject必填task_groupstring必填工作群組,固定為 audio。
taskstring必填任務類型,固定為 asr。
functionstring必填功能類型。固定為recognition。
modelstring必填模型名稱。
parametersobject必填語音辨識參數。
formatstring必填音頻格式。
取值範圍:
pcmwavmp3opusspeexaacamr
說明
opus/speex:必須使用Ogg封裝wav:必須為PCM編碼amr:僅支援AMR-NB類型。
sample_rateinteger必填採樣率(Hz),支援任意採樣率。
keep_dialectboolean選填說明僅適用於 qwen-audio-3.1-asr-flash-streaming。
預設為 false,將方言轉寫為普通話文本。設為 true 時保留方言表達。
vad_modelstring選填說明僅適用於 qwen-audio-3.1-asr-flash-streaming。
VAD 模型,預設值為 far_field_meeting_16k。
near_meeting_16k:適用於說話者與麥克風距離較近的拾音場景,例如使用耳麥的客服通話、手持手機的 App 語音輸入。far_field_meeting_16k:適用於說話者與麥克風距離較遠的拾音場景,例如智慧音箱語音互動、會議室集中拾音和車載免持語音互動。
max_sentence_silenceinteger選填VAD 斷句靜音閾值(ms)。當一段語音後的靜音時間長度超過該閾值時,系統會判定該句子已結束。
預設值:800。
取值範圍:[200, 6000]。
multi_threshold_mode_enabledboolean選填是否啟用多閾值模式。啟用後可防止 VAD 斷句切割過長。
預設值:false。
speech_noise_thresholdfloat選填語音與噪音的判定閾值,用於調整語音活動檢測(VAD)的靈敏度。
取值範圍:[-1.0, 1.0]。
取值說明:
- 取值越接近 -1:降低噪音判定閾值,噪音被識別為語音的機率增大,可能導致更多噪音被轉寫
- 取值越接近 +1:提高噪音判定閾值,語音被誤判為噪音的機率增大,可能導致部分語音被過濾
此參數為進階配置參數,調整可能顯著影響識別效果,建議:
- 調整前充分測實驗證效果
- 根據實際音頻環境小幅度調整(建議步長 0.1)
vocabulary_idstring選填vocabularyobject選填即時熱詞。
以索引值對形式傳入,鍵為熱詞文本(string),值為熱詞權重(integer),無需預先建立熱詞列表。權重取值範圍為 [1, 5] 或 50:取 [1, 5] 時值越大模型越傾向輸出該詞;取 50 時為超級熱詞,召回率大幅提升,但超級熱詞數量最多不超過 50 個。
適用於臨時性、會話層級的熱詞最佳化。
說明與先行編譯熱詞同時配置時,系統會合併兩類熱詞;合併後超過 2000 個時,隨機選擇 2000 個使用。使用方法請參見即時熱詞。
language_hintsarray[string]選填待識別音頻語種。無預設值,不設定時模型自動識別。
最多支援設定 4 個值,超出時僅前 4 個生效。
點擊查看支援的語言代碼
zh: 中文en: 英文ja: 日語ko:韓語vi:越南語th:泰語id:印尼語ms:馬來語tl:菲律賓語hi:印地語ar:阿拉伯語fr:法語de:德語es:西班牙語pt:葡萄牙語ru:俄語it:意大利語nl:荷蘭語sv:瑞典語da:丹麥語fi:芬蘭語no:挪威語el:希臘語pl:波蘭語cs:捷克語hu:匈牙利語ro:羅馬尼亞語bg:保加利亞語hr:克羅地亞語sk:斯洛伐克語
heartbeatboolean選填是否啟用心跳包。
預設值:false。
true:在持續發送靜音音訊情況下,可保持與服務端的串連不中斷。false(預設):即使持續發送靜音音頻,串連也將在一定時間後因逾時而斷開。
靜音音頻指的是在音頻檔案或資料流中沒有聲音訊號的內容。靜音音頻可以通過多種方法產生,例如使用音頻編輯軟體如Audacity或Adobe Audition,或者通過命令列工具如FFmpeg。
special_word_filterstring選填敏感詞過濾規則,用於將辨識結果中的指定詞彙取代為等長的星號,或從結果中移除。值為規則物件序列化後的 JSON 字串。最多可設定 32 個敏感詞;未傳入此參數時不進行過濾。
filter_with_signed.word_list:字串陣列。符合的詞替換為等長的星號。filter_with_empty.word_list:字串陣列。符合的詞從結果中移除。system_reserved_filter:布林值,預設false。控制是否使用系統預置詞表;自訂的替換、移除規則分別由上述兩個清單設定。
{
"special_word_filter": "{\"filter_with_signed\":{\"word_list\":[\"项目\"]},\"filter_with_empty\":{\"word_list\":[\"报告\"]},\"system_reserved_filter\":false}"
}
inputobject必填輸入對象。不攜帶上下文時傳入{}。
contextarray(object)選填對話上下文,用於輔助識別、提升專有詞彙的識別準確率。使用方法詳見上下文增強。
說明
- 訊息數量:
input_text和text類型的上下文訊息各最多 5 條,超出時保留最近的 5 條。 - 文本長度:每輪
user和assistant的text欄位總長度不超過 400 個字元,每個字元計為 1;超出部分從末尾截斷。 - 訊息順序:按對話輪次排列,每輪中
user(input_text類型)必須在對應的assistant(text類型)之前。
rolestring必填訊息角色。取值範圍:
user:前幾輪使用者語音的識別結果或領域相關的詞表。assistant:前幾輪大語言模型的回複內容。
contentarray(object)必填訊息內容列表。
typestring必填內容類型。取值範圍:
input_text:前幾輪使用者語音的識別結果或領域相關的詞表(role為user時使用),需同時傳入text欄位。text:前幾輪大語言模型的回複內容(role為assistant時使用),需同時傳入text欄位。
textstring必填常值內容。當 type 為 input_text 時,填入前幾輪使用者語音的識別結果或領域相關的詞表;當 type 為 text 時,填入前幾輪大語言模型的回複內容。
基本請求
{
"header": {
"action": "run-task",
"task_id": "3756efcf-8388-41c8-832a-9a70bf046f55",
"streaming": "duplex"
},
"payload": {
"task_group": "audio",
"task": "asr",
"function": "recognition",
"model": "qwen-audio-3.1-asr-flash-streaming",
"parameters": {
"format": "pcm",
"sample_rate": 16000
},
"input": {}
}
}
{
"header": {
"task_id": "3756efcf-8388-41c8-832a-9a70bf046f55",
"task_uuid": "69dc7ec7af9a40118edc548ac3f3d2b4",
"event": "task-started",
"attributes": {}
},
"payload": {}
}
攜帶上下文
{
"header": {
"action": "run-task",
"task_id": "298e51eb-e65c-4b96-8528-e219bc39828b",
"streaming": "duplex"
},
"payload": {
"task_group": "audio",
"task": "asr",
"function": "recognition",
"model": "qwen-audio-3.1-asr-flash-streaming",
"parameters": {
"format": "pcm",
"sample_rate": 16000
},
"input": {
"context": [
{
"role": "user",
"content": [
{
"type": "input_text",
"text": "We were discussing the quarterly report."
}
]
},
{
"role": "assistant",
"content": [
{
"type": "text",
"text": "Please send the quarterly report to the project lead."
}
]
}
]
}
}
}
{
"header": {
"task_id": "298e51eb-e65c-4b96-8528-e219bc39828b",
"task_uuid": "08ae60851e4348568232238b3b1303a9",
"event": "task-started",
"attributes": {}
},
"payload": {}
}
即時熱詞
{
"header": {
"action": "run-task",
"task_id": "4c80fbba-c6ae-4695-b06e-d1ba97da97ad",
"streaming": "duplex"
},
"payload": {
"task_group": "audio",
"task": "asr",
"function": "recognition",
"model": "qwen-audio-3.1-asr-flash-streaming",
"parameters": {
"format": "pcm",
"sample_rate": 16000,
"vocabulary": {
"quarterly report": 5,
"project": 5
}
},
"input": {}
}
}
{
"header": {
"task_id": "4c80fbba-c6ae-4695-b06e-d1ba97da97ad",
"task_uuid": "dbebf8f95ed64a28b8d790bf0ca87476",
"event": "task-started",
"attributes": {}
},
"payload": {}
}
finish-task
所有音訊資料傳送完畢後,用戶端傳送 finish-task 事件,通知伺服器音訊傳送完畢並請求結束任務。
重要傳送 finish-task 後,仍須接收剩餘辨識結果,直到收到 task-finished。 task_id 必須與 run-task 中的值一致。
headerobject必填actionstring必填指令類型,固定為 finish-task。
task_idstring必填用戶端產生的任務 ID(UUID 格式),需與run-task事件中的 task_id 保持一致。
streamingstring必填固定為 duplex。
payloadobject必填inputobject必填固定為{}。
{
"header": {
"action": "finish-task",
"task_id": "3756efcf-8388-41c8-832a-9a70bf046f55",
"streaming": "duplex"
},
"payload": {
"input": {}
}
}
{
"header": {
"task_id": "3756efcf-8388-41c8-832a-9a70bf046f55",
"event": "task-finished",
"attributes": {}
},
"payload": {
"output": {},
"usage": {
"duration": 6,
"input_tokens": 80,
"output_tokens": 16,
"total_tokens": 96
}
}
}