了解即時語音辨識的模型特性、音訊串流呼叫方式和辨識效果最佳化方法。
功能介紹
即時語音辨識支援持續輸入音訊、傳回轉寫文字,適用於語音輸入、會議記錄和即時字幕等情境。
- 多語言與方言:支援自動語言偵測,辨識多種語言及中文方言,具體範圍請參見語音辨識概述。
- 語音偵測:自動偵測語音起止,並支援調整語音與噪音的判定閾值,適應不同收音環境。
- 文字處理:支援標點預測,可保留方言表達,或透過文字潤飾整理口語中的語氣詞、重複和自我修正。
- 準確率最佳化:使用熱詞輔助辨識人名、品牌名等特定詞彙,透過上下文補充對話資訊。
- 結構化結果:傳回句子辨識結果及時間戳記,供字幕顯示、文字儲存和音訊定位使用。
- 音訊輸入:支援多種音訊格式,可依模型支援範圍選擇取樣率。
說明各模型支援的能力有所不同,請核對對應功能的適用範圍。已有完整錄音檔案需要一次提交時,請參見非即時語音辨識。
| 使用情境 | 建議模型 | 結果特性 |
|---|---|---|
會議、課堂、字幕等持續轉寫 | 傳回中間結果與最終結果,適合邊說邊查看和更新文字。 | |
語音輸入法、語音訊息等短段語音輸入 | 預設傳回句子最終結果,可分別開啟中間結果和文字潤飾。 |
開始使用
安裝 DashScope SDK,在主控台取得 API Key,並設定 DASHSCOPE_API_KEY 環境變數。
下載範例音訊,在執行目錄中儲存為 asr_example.wav。音訊為 16 kHz、單聲道、16-bit PCM 編碼的 WAV 檔案。以下範例從檔案分塊傳送音訊,模擬即時輸入,無需麥克風。
Qwen-Audio-ASR-Streaming
範例使用 qwen-audio-3.1-asr-flash-streaming,透過 DashScope SDK 持續傳送音訊,同時接收並列印中間結果和最終結果。音訊輸入結束後,等待剩餘結果和任務完成,再關閉連線。
import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionResult;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;
import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.concurrent.atomic.AtomicReference;
public class Main {
public static void main(String[] args) throws Exception {
Constants.baseWebsocketApiUrl =
"wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
RecognitionParam param = RecognitionParam.builder()
.apiKey(System.getenv("DASHSCOPE_API_KEY"))
.model("qwen-audio-3.1-asr-flash-streaming")
.format("wav")
.sampleRate(16000)
.build();
Recognition recognition = new Recognition();
AtomicReference<Exception> failure = new AtomicReference<>();
ResultCallback<RecognitionResult> callback = new ResultCallback<RecognitionResult>() {
@Override
public void onEvent(RecognitionResult result) {
if (result.getSentence() != null && result.getSentence().getText() != null
&& !result.getSentence().getText().isEmpty()) {
System.out.println(result.getSentence());
}
}
@Override
public void onComplete() {}
@Override
public void onError(Exception error) {
failure.set(error);
}
};
try {
recognition.call(param, callback);
try (InputStream audio = Files.newInputStream(Paths.get("asr_example.wav"))) {
byte[] buffer = new byte[3200];
int size;
while ((size = audio.read(buffer)) != -1) {
recognition.sendAudioFrame(ByteBuffer.wrap(buffer, 0, size));
Thread.sleep(100);
}
}
recognition.stop();
if (failure.get() != null) throw failure.get();
} finally {
if (recognition.getDuplexApi() != null) {
recognition.getDuplexApi().close(1000, "bye");
}
}
System.exit(0);
}
}
import os
import time
from concurrent.futures import ThreadPoolExecutor
import dashscope
client = dashscope.Client(
api_key=os.environ["DASHSCOPE_API_KEY"],
base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1",
)
def receive_results(recognition):
for event in recognition.events():
payload = event.get("payload") or {}
sentence = (payload.get("output") or {}).get("sentence") or {}
if sentence.get("text") and not sentence.get("heartbeat"):
print(sentence)
with client.audio.asr.recognize(
ws_url="wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference",
model="qwen-audio-3.1-asr-flash-streaming",
format="wav",
sample_rate=16000,
) as recognition:
with ThreadPoolExecutor(max_workers=1) as pool:
receiver = pool.submit(receive_results, recognition)
try:
with open("asr_example.wav", "rb") as audio:
while chunk := audio.read(3200):
recognition.send_audio_frame(chunk)
time.sleep(0.1)
recognition.stop()
receiver.result()
finally:
recognition.close()
Qwen-Audio-ASR-Message
範例使用 qwen-audio-3.1-asr-flash-message,透過 DashScope SDK 持續傳送音訊,預設接收並列印句子的最終結果。音訊輸入結束後,等待剩餘結果和任務完成,再關閉連線。
import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionResult;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;
import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.concurrent.atomic.AtomicReference;
public class Main {
public static void main(String[] args) throws Exception {
Constants.baseWebsocketApiUrl =
"wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
RecognitionParam param = RecognitionParam.builder()
.apiKey(System.getenv("DASHSCOPE_API_KEY"))
.model("qwen-audio-3.1-asr-flash-message")
.format("wav")
.sampleRate(16000)
.build();
Recognition recognition = new Recognition();
AtomicReference<Exception> failure = new AtomicReference<>();
ResultCallback<RecognitionResult> callback = new ResultCallback<RecognitionResult>() {
@Override
public void onEvent(RecognitionResult result) {
if (result.getSentence() != null && result.getSentence().getText() != null
&& !result.getSentence().getText().isEmpty()) {
System.out.println(result.getSentence());
}
}
@Override
public void onComplete() {}
@Override
public void onError(Exception error) {
failure.set(error);
}
};
try {
recognition.call(param, callback);
try (InputStream audio = Files.newInputStream(Paths.get("asr_example.wav"))) {
byte[] buffer = new byte[3200];
int size;
while ((size = audio.read(buffer)) != -1) {
recognition.sendAudioFrame(ByteBuffer.wrap(buffer, 0, size));
Thread.sleep(100);
}
}
recognition.stop();
if (failure.get() != null) throw failure.get();
} finally {
if (recognition.getDuplexApi() != null) {
recognition.getDuplexApi().close(1000, "bye");
}
}
System.exit(0);
}
}
import os
import time
from concurrent.futures import ThreadPoolExecutor
import dashscope
client = dashscope.Client(
api_key=os.environ["DASHSCOPE_API_KEY"],
base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1",
)
def receive_results(recognition):
for event in recognition.events():
payload = event.get("payload") or {}
sentence = (payload.get("output") or {}).get("sentence") or {}
if sentence.get("text") and not sentence.get("heartbeat"):
print(sentence)
with client.audio.asr.recognize(
ws_url="wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference",
model="qwen-audio-3.1-asr-flash-message",
format="wav",
sample_rate=16000,
) as recognition:
with ThreadPoolExecutor(max_workers=1) as pool:
receiver = pool.submit(receive_results, recognition)
try:
with open("asr_example.wav", "rb") as audio:
while chunk := audio.read(3200):
recognition.send_audio_frame(chunk)
time.sleep(0.1)
recognition.stop()
receiver.result()
finally:
recognition.close()
處理辨識結果
-
中間結果:用於即時字幕或輸入預覽。同一句子的內容可能隨辨識過程修訂,應更新該句的顯示文字,避免將每次結果逐筆串接。
-
最終結果:一句話結束後,以最終結果取代該句的中間結果,再用於儲存轉寫、產生字幕或後續業務處理。
說明Qwen-Audio-ASR-Message 預設僅傳回最終結果;需要即時預覽時,可啟用
intermediate_result_enabled。 -
時間戳記:將文字與音訊位置對應,用於字幕對齊、關鍵字醒目顯示或音訊跳轉。使用最終結果的句級、字詞級時間戳記,避免依賴尚未確定的中間結束時間;單位為毫秒。
說明Qwen3-ASR-Flash-Realtime 不傳回轉寫文字的時間戳記。
辨識效果最佳化
透過調整斷句、整理或保留口語表達,以及設定熱詞和上下文,可改善句子劃分與文字可讀性,提高特定詞彙的辨識準確率。
調整斷句
VAD(語音活動偵測)根據語音後的靜音判斷一句話何時結束,進而觸發最終辨識結果。較短的靜音閾值適合需要快速回應的語音互動;較長的閾值可容納句內停頓,但會增加等待時間。可依說話習慣和互動節奏調整。
| 模型 | 設定方式 |
|---|---|
qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.1-asr-flash-message | 透過
|
qwen-audio-3.0-asr-flash-streaming、Fun-ASR-Realtime系列 | 透過 |
Paraformer | 使用 VAD 斷句時,透過 |
Qwen3-ASR-Flash-Realtime | 透過 |
文字潤飾
語音輸入中常包含語氣詞、重複和自我修正。文字潤飾可整理這些表達,使轉寫文字更適合語音訊息、輸入法等場景。
qwen-audio-3.1-asr-flash-message 透過 disfluency_removal_enabled 控制潤飾。潤飾對最終結果生效,介面應在句子結束時更新為潤飾後的文字。
保留方言表達
辨識方言時,可依用途選擇保留方言表達,或轉寫為普通話文字。例如,方言字幕需要保留原有表達,而面向更廣泛讀者的文字記錄可能需要普通話文字。
qwen-audio-3.1-asr-flash-streaming 和 qwen-audio-3.1-asr-flash-message 透過 keep_dialect 控制是否保留方言表達;後者僅作用於最終結果。
熱詞與上下文增強
熱詞用於輔助辨識品牌名、人名、專有術語等特定詞彙;上下文增強用於補充前幾輪對話中的術語和背景。具體設定、支援範圍和調校方法請參見提升辨識準確率。
敏感詞過濾
敏感詞過濾可將辨識結果中的指定詞彙取代為等長的星號,或從文字中移除,便於處理需要遮蔽的字幕或轉寫內容。Qwen-Audio-ASR-Streaming 和 Fun-ASR-Realtime 支援透過 special_word_filter 設定過濾規則。
應用於生產環境
將辨識能力整合至正式環境時,需要依業務流量管理連線與並行作業,處理長靜音、異常重試和資源釋放。音訊準備、任務與連線管理、Java 並行處理等實務及完整範例,請參閱語音辨識最佳實務。
支援的模型與地區
新加坡
- Qwen-Audio-ASR-Message:qwen-audio-3.1-asr-flash-message
- Qwen-Audio-ASR-Streaming:qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.0-asr-flash-streaming
- Fun-ASR-Realtime:fun-asr-realtime(穩定版)
- Qwen-ASR-Realtime:qwen3-asr-flash-realtime(穩定版)
華北2(北京)
-
Qwen-Audio-ASR-Message:qwen-audio-3.1-asr-flash-message
-
Qwen-Audio-ASR-Streaming:qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.0-asr-flash-streaming
-
Fun-ASR-Realtime:fun-asr-realtime(穩定版)、fun-asr-realtime-2026-02-28(最新快照版)
- fun-asr-flash-8k-realtime(穩定版,當前等同fun-asr-flash-8k-realtime-2026-01-28)、fun-asr-flash-8k-realtime-2026-01-28
-
Qwen-ASR-Realtime:qwen3-asr-flash-realtime(穩定版)
-
Paraformer:paraformer-realtime-v2、paraformer-realtime-8k-v2
使用限制
即時音訊須為單聲道。依下表選擇音訊格式與取樣率,並將 format、sample_rate 設定為實際音訊對應的值。
| 模型 | 輸入方式 | 音訊格式 | 取樣率 | 大小/時長 |
|---|---|---|---|---|
qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.0-asr-flash-streaming | 二進位串流 |
| 任意 | 不限 |
qwen-audio-3.1-asr-flash-message | 二進位串流 |
| 16 kHz | — |
Fun-ASR-Realtime系列(fun-asr-realtime) | 二進位串流 |
| 任意 | 不限 |
Fun-ASR-Flash-8K-Realtime系列(fun-asr-flash-8k-realtime) | 二進位串流 |
| 8 kHz | 不限 |
qwen3-asr-flash-realtime | JSON 事件中的 Base64 音訊 |
| 8 kHz、16 kHz | 不限 |
paraformer-realtime-v2 | 二進位串流 |
| 任意 | 不限 |
paraformer-realtime-8k-v2 | 二進位串流 |
| 8 kHz | 不限 |
音訊檢查和格式轉換請參閱準備輸入音訊。
API 參考
需要低延遲傳輸、弱網對抗,以及回音消除和降噪能力的即時音訊場景,可了解 AOQ 整合方案。協定選擇、支援模型和整合方式請參閱 Realtime API 概述。