本文介紹 DashScope Java SDK 調用 Qwen-Omni 即時模型 時的關鍵介面與請求參數。
連接與鑒權參見 WebSocket 接入;事件欄位與 JSON 示例參見用戶端事件和服務端事件。
前提條件
您的 Java SDK 版本需要不低於2.20.9。請先閱讀即時多模態互動流程。
快速開始
請訪問github下載範例程式碼。我們提供了三種調用方式的範例程式碼:
-
音頻對話樣本:麥克風採集即時音頻輸入,開啟VAD 模式(自動檢測語音起止),支援語音打斷。
enableTurnDetection 參數需設為
true。推薦您使用耳機播放音頻,避免回聲觸發語音打斷。
-
音視訊交談樣本:麥克風和網路攝影機採集即時音視頻輸入,開啟VAD 模式(自動檢測語音起止),支援語音打斷。
enableTurnDetection 參數需設為
true。推薦您使用耳機播放音頻,避免回聲觸發語音打斷。
-
本地調用:本地音頻和圖片作為輸入,開啟Manual 模式(手動控制發送節奏)。
enableTurnDetection 參數需設為
false。
請求參數
下述請求參數可以通過OmniRealtimeParam對象的鏈式方法或setter配置、之後作為參數傳入OmniRealtimeConversation的構造方法完成配置。
參數 | 類型 | 說明 |
|---|---|---|
model | String | Qwen-Omni 即時模型的名稱。參見模型列表。 |
url | String | 調用地址:
|
下述請求參數可以通過OmniRealtimeConfig對象的鏈式方法或setter配置、之後作為參數傳入updateSession介面完成配置。
| 參數 | 類型 | 說明 |
|---|---|---|
modalities | List<OmniRealtimeModality> | 模型輸出模態設定,支援設定[OmniRealtimeModality.TEXT](僅輸出文本)或[OmniRealtimeModality.TEXT, OmniRealtimeModality.AUDIO](輸出音頻和文本)。 |
voice | String | 模型產生音訊音色,支援的音色參見音色列表。 預設音色:
|
inputAudioFormat | OmniRealtimeAudioFormat | 使用者輸入音訊格式,當前僅支援設定為PCM_16000HZ_MONO_16BIT。 |
outputAudioFormat | OmniRealtimeAudioFormat | 模型輸出音訊格式,當前僅支援設定為PCM_24000HZ_MONO_16BIT。 |
smooth_output | Boolean | 僅
說明 |
instructions | String | 系統訊息,用於設定模型的目標或角色。 例如:你是某五星級酒店的AI客服專員,請準確且友好地解答客戶關於房型、設施、價格、預訂政策的諮詢。請始終以專業和樂於助人的態度回應,杜絕提供未經證實或超出酒店服務涵蓋範圍的資訊。 說明 |
enableInputAudioTranscription | Boolean | 是否開啟輸入音訊語音辨識。 |
InputAudioTranscription | String | 用於輸入音頻轉錄的語音辨識模型,固定為 qwen3-asr-flash-realtime,不支援修改。 |
enableTurnDetection | Boolean | 是否開啟語音活動檢測(VAD),如果關閉後,由使用者手動提交音頻建立omni回複。 |
turnDetectionType | String | 服務端VAD類型,目前固定為"server_vad"。 |
turnDetectionThreshold | Float | VAD檢測閾值。建議在嘈雜的環境中增加, 在安靜的環境中降低。
預設為 0.2, 參數範圍:[-1.0, 1.0]。 |
turnDetectionSilenceDurationMs | Integer | 檢測語音停止的靜音期間,超過此值後會觸發模型響應。預設值為800,參數範圍[200, 6000]。 |
介面參考
OmniRealtimeConversation類
OmniRealtimeConversation通過import com.alibaba.dashscope.audio.omni.OmniRealtimeConversation;方法引入。
方法簽名 | 服務端響應事件(通過回調下發) | 說明 |
|---|---|---|
|
| 和服務端建立串連。 |
|
| 更新本次會話互動的預設配置。參數配置請參考《請求參數》章節。 在您建立連結,服務端會及時返回用於此會話的預設輸出輸入配置。如果您需要更新預設會話配置,我們也推薦您總是在建立連結後即刻調用此介面。 服務端在收到session.update事件後,會進行參數校正,如果參數不合法則返回錯誤,否則更新服務端側的會話配置。 |
| 無 | 將base64編碼後的音頻資料片段追加到雲端輸入音頻緩衝區。 音頻緩衝區是你可以寫入並稍後提交的臨時儲存。
|
| 無 | 將base64編碼後的圖片資料添加到雲端視頻緩衝區。圖片資料可以是本地的圖片,或從視頻流即時採集的圖片資料。 目前對圖片輸入有以下限制:
|
|
| 刪除當前雲端緩衝區的音頻。 |
|
| 提交之前通過append添加到雲端緩衝區的音視頻,如果輸入的音頻緩衝區為空白將產生錯誤。
注意:
|
|
response.audio_transcript.delta
response.audio_transcript.done
| 指示伺服器建立模型響應。 開啟"turn_detection"模式下配置會話時,伺服器會自動建立模型響應。 |
| 無 | 取消進行中的響應。如果沒有任何響應可供取消,伺服器將以一個錯誤進行響應。 |
| 無 | 終止任務,並關閉串連。 |
| 無 | 擷取當前任務的session_id。 |
| 無 | 擷取最近一次response的response_id。 |
| 無 | 擷取最近一次response的首包文本延遲。 |
| 無 | 擷取最近一次response的音頻文本延遲。 |
回調介面(OmniRealtimeCallback)
服務端會通過回調的方式,將服務端響應事件和資料返回給用戶端。您需要實現回調方法,處理服務端返回的資訊或者資料。
通過import com.alibaba.dashscope.audio.omni.OmniRealtimeCallback;引入。
方法 | 參數 | 傳回值 | 描述 |
|---|---|---|---|
| 無 | 無 | 當和服務端建立串連完成後,該方法立刻被回調。 |
| message:服務端響應事件。 | 無 | 包括對介面調用的回複響應和模型產生的文本和音頻。具體可以參考:服務端事件 |
| code:關閉websokcet的狀態代碼。 reason:關閉websocket的關閉資訊。 | 無 | 當服務已經關閉串連後進行回調。 |