全部產品
Search
文件中心

Alibaba Cloud Model Studio:Qwen-Audio-ASR-Message用戶端事件

更新時間:Nov 17, 2026

Qwen-Audio-ASR-Message 用戶端事件參考,介紹 run-task、continue-task、finish-task 的欄位、傳送順序及對應伺服器事件。

事件互動流程

  1. 傳送 run-task,收到 task-started 後開始傳送音訊。
  2. 持續傳送音訊,同時接收 result-generated。
  3. 任務執行期間,可透過 continue-task 更新對話上下文;音訊仍透過音訊通道傳送。
  4. 音訊傳送完畢後傳送 finish-task,繼續接收結果,直到收到 task-finished;任務失敗時傳回 task-failed。

音訊資料不透過 run-task 傳送:WebSocket 使用二進位訊框,AOQ 使用 Audio Track。連線、驗證和音訊傳輸方式請參閱 WebSocket API 或 AOQ 接入。

run-task

建立連線後,用戶端傳送 run-task 事件,啟動語音辨識任務並設定模型、音訊格式、取樣率等參數。

重要收到 task-started 後才能傳送音訊。 run-task 僅用於啟動和設定任務,不攜帶音訊資料。

headerobject必填
actionstring必填

指令類型,固定為 run-task。

task_idstring必填

用戶端產生的任務 ID(UUID 格式),用於關聯後續事件。

streamingstring必填

固定為 duplex。

payloadobject必填
task_groupstring必填

工作群組,固定為 audio。

taskstring必填

任務類型,固定為 asr。

functionstring必填

功能類型。固定為recognition。

modelstring必填

模型名稱。

parametersobject必填

語音辨識參數。

formatstring必填

音頻格式。

取值範圍:

  • pcm
  • wav
  • mp3
  • opus
  • speex
  • aac
  • amr

說明

  • opus/speex:必須使用Ogg封裝
  • wav:必須為PCM編碼
  • amr:僅支援AMR-NB類型。
sample_rateinteger必填

採樣率(Hz),僅支援 16000。

keep_dialectboolean可選

預設為 false,將方言轉寫為普通話文本。設為 true 時保留方言表達。

說明僅在最終結果(sentence_end=true)生效,中間結果(sentence_end=false)不支援。

vad_modelstring可選

VAD 模型,預設值為 far_field_meeting_16k。

  • near_meeting_16k:適用於說話者與麥克風距離較近的拾音場景,例如使用耳麥的客服通話、手持手機的 App 語音輸入。
  • far_field_meeting_16k:適用於說話者與麥克風距離較遠的拾音場景,例如智慧音箱語音互動、會議室集中拾音和車載免持語音互動。
max_sentence_silenceinteger可選

VAD 斷句靜音閾值(毫秒)。語音後的靜音時長超過此值時判定句子結束。預設值為 800,取值範圍為 [200, 6000]。

speech_noise_thresholdfloat可選

語音與噪音的判定閾值,用於調整語音活動檢測(VAD)的靈敏度。

取值範圍:[-1.0, 1.0]。

取值說明:

  • 取值越接近 -1:降低噪音判定閾值,噪音被識別為語音的機率增大,可能導致更多噪音被轉寫
  • 取值越接近 +1:提高噪音判定閾值,語音被誤判為噪音的機率增大,可能導致部分語音被過濾

此參數為進階配置參數,調整可能顯著影響識別效果,建議:

  • 調整前充分測實驗證效果
  • 根據實際音頻環境小幅度調整(建議步長 0.1)
disfluency_removal_enabledboolean可選

是否過濾語氣詞並潤飾輸出。預設為 false,設為 true 時啟用。

intermediate_result_enabledboolean可選

是否傳回串流中間結果。預設為 false,設為 true 時傳回中間結果。

vocabulary_idstring可選

先行編譯熱詞列表 ID。

需預先調用建立熱詞列表介面產生,識別時傳入該 ID 即可使用列表中的熱詞。

適用於詞彙已知且相對穩定、需要跨請求複用同一詞表的情境。

使用方法請參見先行編譯熱詞。

vocabularyobject可選

即時熱詞。

以索引值對形式傳入,鍵為熱詞文本(string),值為熱詞權重(integer),無需預先建立熱詞列表。權重取值範圍為 [1, 5] 或 50:取 [1, 5] 時值越大模型越傾向輸出該詞;取 50 時為超級熱詞,召回率大幅提升,但超級熱詞數量最多不超過 50 個。

適用於臨時性、會話層級的熱詞最佳化。

說明與先行編譯熱詞同時配置時,系統會合併兩類熱詞;合併後超過 2000 個時,隨機選擇 2000 個使用。使用方法請參見即時熱詞。

language_hintsarray[string]可選

待識別音頻語種。無預設值,不設定時模型自動識別。

最多支援設定 4 個值,超出時僅前 4 個生效。

點擊查看支援的語言代碼

  • zh: 中文
  • en: 英文
  • ja: 日語
  • ko:韓語
  • vi:越南語
  • th:泰語
  • id:印尼語
  • ms:馬來語
  • tl:菲律賓語
  • hi:印地語
  • ar:阿拉伯語
  • fr:法語
  • de:德語
  • es:西班牙語
  • pt:葡萄牙語
  • ru:俄語
  • it:意大利語
  • nl:荷蘭語
  • sv:瑞典語
  • da:丹麥語
  • fi:芬蘭語
  • no:挪威語
  • el:希臘語
  • pl:波蘭語
  • cs:捷克語
  • hu:匈牙利語
  • ro:羅馬尼亞語
  • bg:保加利亞語
  • hr:克羅地亞語
  • sk:斯洛伐克語

說明僅在最終結果(sentence_end=true)生效,中間結果(sentence_end=false)不支援。

heartbeatboolean可選

是否啟用心跳包。

預設值:false。

  • true:在持續發送靜音音訊情況下,可保持與服務端的串連不中斷。
  • false(預設):即使持續發送靜音音頻,串連也將在一定時間後因逾時而斷開。

靜音音頻指的是在音頻檔案或資料流中沒有聲音訊號的內容。靜音音頻可以通過多種方法產生,例如使用音頻編輯軟體如Audacity或Adobe Audition,或者通過命令列工具如FFmpeg。

inputobject必填

輸入對象。不攜帶上下文時傳入{}。

說明僅 qwen-audio-3.1-asr-flash-message 模型支援上下文。

contextarray[object]可選

對話上下文,用於輔助識別、提升專有詞彙的識別準確率。使用方法詳見上下文增強。

說明

  • 訊息數量:input_text 和 text 類型的上下文訊息各最多 5 條,超出時保留最近的 5 條。
  • 文本長度:每輪 user 和 assistant 的 text 欄位總長度不超過 400 個字元,每個字元計為 1;超出部分從末尾截斷。
  • 訊息順序:按對話輪次排列,每輪中 user(input_text 類型)必須在對應的 assistant(text 類型)之前。
rolestring必填

訊息角色。取值範圍:

  • user:前幾輪使用者語音的識別結果或領域相關的詞表。
  • assistant:前幾輪大語言模型的回複內容。
contentarray[object]必填

訊息內容列表。

typestring必填

內容類型。取值範圍:

  • input_text:前幾輪使用者語音的識別結果或領域相關的詞表(role 為 user 時使用),需同時傳入 text 欄位。
  • text:前幾輪大語言模型的回複內容(role 為 assistant 時使用),需同時傳入 text 欄位。
textstring必填

常值內容。當 type 為 input_text 時,填入前幾輪使用者語音的識別結果或領域相關的詞表;當 type 為 text 時,填入前幾輪大語言模型的回複內容。

基本請求

{
  "header": {
    "action": "run-task",
    "task_id": "1a8804af-8782-4710-8771-1b4f885286bc",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    }
  }
}
{
  "header": {
    "task_id": "1a8804af-8782-4710-8771-1b4f885286bc",
    "task_uuid": "b48b0ed59585410bb582e0cb0b1f2a46",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

攜帶上下文

{
  "header": {
    "action": "run-task",
    "task_id": "42c18813-be92-4b74-b9e8-b5500350c7e8",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "context": [
        {
          "role": "user",
          "content": [
            {
              "type": "input_text",
              "text": "我在祺元项目工作,负责璇枢系统。我的同事叫洛柯。"
            }
          ]
        },
        {
          "role": "assistant",
          "content": [
            {
              "type": "text",
              "text": "好的,我们继续讨论祺元项目、璇枢系统和洛柯的工作。"
            }
          ]
        }
      ]
    },
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    }
  }
}
{
  "header": {
    "task_id": "42c18813-be92-4b74-b9e8-b5500350c7e8",
    "task_uuid": "0ba4ac00afb74a2396ca171dc6e60192",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

即時熱詞

{
  "header": {
    "action": "run-task",
    "task_id": "a9eca5e1-ce5d-4360-84ec-286f96189b15",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000,
      "vocabulary": {
        "祺元": 4,
        "洛柯": 4,
        "璇枢": 4
      }
    }
  }
}
{
  "header": {
    "task_id": "a9eca5e1-ce5d-4360-84ec-286f96189b15",
    "task_uuid": "7ad3bd706256443b911d08e65fe55ab4",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

continue-task

收到 task-started 後,用戶端可在任務執行期間傳送 continue-task 事件,更新對話上下文以輔助後續辨識。

headerobject必填
actionstring必填

指令類型,固定為 continue-task。

task_idstring必填

用戶端產生的任務 ID(UUID 格式),需與run-task事件中的 task_id 保持一致。

streamingstring必填

固定為 duplex。

payloadobject必填
inputobject必填
contextarray[object]可選

對話上下文,用於輔助識別、提升專有詞彙的識別準確率。使用方法詳見上下文增強。

說明

  • 訊息數量:input_text 和 text 類型的上下文訊息各最多 5 條,超出時保留最近的 5 條。
  • 文本長度:每輪 user 和 assistant 的 text 欄位總長度不超過 400 個字元,每個字元計為 1;超出部分從末尾截斷。
  • 訊息順序:按對話輪次排列,每輪中 user(input_text 類型)必須在對應的 assistant(text 類型)之前。
rolestring必填

訊息角色。取值範圍:

  • user:前幾輪使用者語音的識別結果或領域相關的詞表。
  • assistant:前幾輪大語言模型的回複內容。
contentarray[object]必填

訊息內容列表。

typestring必填

內容類型。取值範圍:

  • input_text:前幾輪使用者語音的識別結果或領域相關的詞表(role 為 user 時使用),需同時傳入 text 欄位。
  • text:前幾輪大語言模型的回複內容(role 為 assistant 時使用),需同時傳入 text 欄位。
textstring必填

常值內容。當 type 為 input_text 時,填入前幾輪使用者語音的識別結果或領域相關的詞表;當 type 為 text 時,填入前幾輪大語言模型的回複內容。

以下範例先更新上下文,再繼續傳送音訊;回應範例為隨後收到的辨識結果。

{
  "header": {
    "action": "continue-task",
    "task_id": "d3622385-8090-41b8-8e80-32ae4958a890",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "context": [
        {
          "role": "user",
          "content": [
            {
              "type": "input_text",
              "text": "我在祺元项目工作,负责璇枢系统。我的同事叫洛柯。"
            }
          ]
        },
        {
          "role": "assistant",
          "content": [
            {
              "type": "text",
              "text": "好的,我们继续讨论祺元项目、璇枢系统和洛柯的工作。"
            }
          ]
        }
      ]
    }
  }
}
{
  "header": {
    "task_id": "d3622385-8090-41b8-8e80-32ae4958a890",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "sentence_id": 1,
        "begin_time": 160,
        "end_time": 6390,
        "text": "请把祺元项目的报告发给洛柯,下周我们要上线璇枢系统。",
        "sentence_end": true,
        "words": [
          {
            "begin_time": 160,
            "end_time": 600,
            "text": "请把",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 600,
            "end_time": 840,
            "text": "祺",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 840,
            "end_time": 1160,
            "text": "元",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1160,
            "end_time": 1680,
            "text": "项目的",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1680,
            "end_time": 2160,
            "text": "报告",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2160,
            "end_time": 2600,
            "text": "发给",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2600,
            "end_time": 2840,
            "text": "洛",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2840,
            "end_time": 3480,
            "text": "柯",
            "punctuation": ",",
            "fixed": false
          },
          {
            "begin_time": 3480,
            "end_time": 4000,
            "text": "下周",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 4000,
            "end_time": 4520,
            "text": "我们要",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 4520,
            "end_time": 5160,
            "text": "上线",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 5160,
            "end_time": 5400,
            "text": "璇",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 5400,
            "end_time": 5680,
            "text": "枢",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 5680,
            "end_time": 5900,
            "text": "系",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 5900,
            "end_time": 6390,
            "text": "统",
            "punctuation": "。",
            "fixed": false
          }
        ],
        "stash": {
          "sentence_id": 2,
          "text": "",
          "begin_time": 6390,
          "current_time": 6390,
          "words": []
        }
      }
    },
    "usage": {
      "duration": 6,
      "input_tokens": 118,
      "output_tokens": 16,
      "total_tokens": 134
    }
  }
}

finish-task

所有音訊資料傳送完畢後,用戶端傳送 finish-task 事件,通知伺服器音訊傳送完畢並請求結束任務。

重要傳送 finish-task 後,仍須接收剩餘辨識結果,直到收到 task-finished。 task_id 必須與 run-task 中的值一致。

headerobject必填
actionstring必填

指令類型,固定為 finish-task。

task_idstring必填

用戶端產生的任務 ID(UUID 格式),需與run-task事件中的 task_id 保持一致。

streamingstring必填

固定為 duplex。

payloadobject必填
inputobject必填

固定為{}。

{
  "header": {
    "action": "finish-task",
    "task_id": "1a8804af-8782-4710-8771-1b4f885286bc",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
{
  "header": {
    "task_id": "1a8804af-8782-4710-8771-1b4f885286bc",
    "event": "task-finished",
    "attributes": {}
  },
  "payload": {
    "output": {},
    "usage": {
      "duration": 6,
      "input_tokens": 80,
      "output_tokens": 16,
      "total_tokens": 96
    }
  }
}