全部產品
Search
文件中心

Alibaba Cloud Model Studio:即時語音辨識

更新時間:Nov 17, 2026

了解即時語音辨識的模型特性、音訊串流呼叫方式和辨識效果最佳化方法。

功能介紹

即時語音辨識支援持續輸入音訊、傳回轉寫文字,適用於語音輸入、會議記錄和即時字幕等情境。

  • 多語言與方言:支援自動語言偵測,辨識多種語言及中文方言,具體範圍請參見語音辨識概述。
  • 語音偵測:自動偵測語音起止,並支援調整語音與噪音的判定閾值,適應不同收音環境。
  • 文字處理:支援標點預測,可保留方言表達,或透過文字潤飾整理口語中的語氣詞、重複和自我修正。
  • 準確率最佳化:使用熱詞輔助辨識人名、品牌名等特定詞彙,透過上下文補充對話資訊。
  • 結構化結果:傳回句子辨識結果及時間戳記,供字幕顯示、文字儲存和音訊定位使用。
  • 音訊輸入:支援多種音訊格式,可依模型支援範圍選擇取樣率。

說明各模型支援的能力有所不同,請核對對應功能的適用範圍。已有完整錄音檔案需要一次提交時,請參見非即時語音辨識。

使用情境建議模型結果特性

會議、課堂、字幕等持續轉寫

qwen-audio-3.1-asr-flash-streaming

傳回中間結果與最終結果,適合邊說邊查看和更新文字。

語音輸入法、語音訊息等短段語音輸入

qwen-audio-3.1-asr-flash-message

預設傳回句子最終結果,可分別開啟中間結果和文字潤飾。

開始使用

安裝 DashScope SDK,在主控台取得 API Key,並設定 DASHSCOPE_API_KEY 環境變數。

下載範例音訊,在執行目錄中儲存為 asr_example.wav。音訊為 16 kHz、單聲道、16-bit PCM 編碼的 WAV 檔案。以下範例從檔案分塊傳送音訊,模擬即時輸入,無需麥克風。

Qwen-Audio-ASR-Streaming

範例使用 qwen-audio-3.1-asr-flash-streaming,透過 DashScope SDK 持續傳送音訊,同時接收並列印中間結果和最終結果。音訊輸入結束後,等待剩餘結果和任務完成,再關閉連線。

import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionResult;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.concurrent.atomic.AtomicReference;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl =
            "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        RecognitionParam param = RecognitionParam.builder()
            .apiKey(System.getenv("DASHSCOPE_API_KEY"))
            .model("qwen-audio-3.1-asr-flash-streaming")
            .format("wav")
            .sampleRate(16000)
            .build();
        Recognition recognition = new Recognition();
        AtomicReference<Exception> failure = new AtomicReference<>();
        ResultCallback<RecognitionResult> callback = new ResultCallback<RecognitionResult>() {
            @Override
            public void onEvent(RecognitionResult result) {
                if (result.getSentence() != null && result.getSentence().getText() != null
                        && !result.getSentence().getText().isEmpty()) {
                    System.out.println(result.getSentence());
                }
            }
            @Override
            public void onComplete() {}
            @Override
            public void onError(Exception error) {
                failure.set(error);
            }
        };
        try {
            recognition.call(param, callback);
            try (InputStream audio = Files.newInputStream(Paths.get("asr_example.wav"))) {
                byte[] buffer = new byte[3200];
                int size;
                while ((size = audio.read(buffer)) != -1) {
                    recognition.sendAudioFrame(ByteBuffer.wrap(buffer, 0, size));
                    Thread.sleep(100);
                }
            }
            recognition.stop();
            if (failure.get() != null) throw failure.get();
        } finally {
            if (recognition.getDuplexApi() != null) {
                recognition.getDuplexApi().close(1000, "bye");
            }
        }
        System.exit(0);
    }
}
import os
import time
from concurrent.futures import ThreadPoolExecutor
import dashscope

client = dashscope.Client(
    api_key=os.environ["DASHSCOPE_API_KEY"],
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1",
)

def receive_results(recognition):
    for event in recognition.events():
        payload = event.get("payload") or {}
        sentence = (payload.get("output") or {}).get("sentence") or {}
        if sentence.get("text") and not sentence.get("heartbeat"):
            print(sentence)

with client.audio.asr.recognize(
    ws_url="wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference",
    model="qwen-audio-3.1-asr-flash-streaming",
    format="wav",
    sample_rate=16000,
) as recognition:
    with ThreadPoolExecutor(max_workers=1) as pool:
        receiver = pool.submit(receive_results, recognition)
        try:
            with open("asr_example.wav", "rb") as audio:
                while chunk := audio.read(3200):
                    recognition.send_audio_frame(chunk)
                    time.sleep(0.1)
            recognition.stop()
            receiver.result()
        finally:
            recognition.close()

Qwen-Audio-ASR-Message

範例使用 qwen-audio-3.1-asr-flash-message,透過 DashScope SDK 持續傳送音訊,預設接收並列印句子的最終結果。音訊輸入結束後,等待剩餘結果和任務完成,再關閉連線。

import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionResult;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.concurrent.atomic.AtomicReference;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl =
            "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        RecognitionParam param = RecognitionParam.builder()
            .apiKey(System.getenv("DASHSCOPE_API_KEY"))
            .model("qwen-audio-3.1-asr-flash-message")
            .format("wav")
            .sampleRate(16000)
            .build();
        Recognition recognition = new Recognition();
        AtomicReference<Exception> failure = new AtomicReference<>();
        ResultCallback<RecognitionResult> callback = new ResultCallback<RecognitionResult>() {
            @Override
            public void onEvent(RecognitionResult result) {
                if (result.getSentence() != null && result.getSentence().getText() != null
                        && !result.getSentence().getText().isEmpty()) {
                    System.out.println(result.getSentence());
                }
            }
            @Override
            public void onComplete() {}
            @Override
            public void onError(Exception error) {
                failure.set(error);
            }
        };
        try {
            recognition.call(param, callback);
            try (InputStream audio = Files.newInputStream(Paths.get("asr_example.wav"))) {
                byte[] buffer = new byte[3200];
                int size;
                while ((size = audio.read(buffer)) != -1) {
                    recognition.sendAudioFrame(ByteBuffer.wrap(buffer, 0, size));
                    Thread.sleep(100);
                }
            }
            recognition.stop();
            if (failure.get() != null) throw failure.get();
        } finally {
            if (recognition.getDuplexApi() != null) {
                recognition.getDuplexApi().close(1000, "bye");
            }
        }
        System.exit(0);
    }
}
import os
import time
from concurrent.futures import ThreadPoolExecutor
import dashscope

client = dashscope.Client(
    api_key=os.environ["DASHSCOPE_API_KEY"],
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1",
)

def receive_results(recognition):
    for event in recognition.events():
        payload = event.get("payload") or {}
        sentence = (payload.get("output") or {}).get("sentence") or {}
        if sentence.get("text") and not sentence.get("heartbeat"):
            print(sentence)

with client.audio.asr.recognize(
    ws_url="wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference",
    model="qwen-audio-3.1-asr-flash-message",
    format="wav",
    sample_rate=16000,
) as recognition:
    with ThreadPoolExecutor(max_workers=1) as pool:
        receiver = pool.submit(receive_results, recognition)
        try:
            with open("asr_example.wav", "rb") as audio:
                while chunk := audio.read(3200):
                    recognition.send_audio_frame(chunk)
                    time.sleep(0.1)
            recognition.stop()
            receiver.result()
        finally:
            recognition.close()

處理辨識結果

  • 中間結果:用於即時字幕或輸入預覽。同一句子的內容可能隨辨識過程修訂,應更新該句的顯示文字,避免將每次結果逐筆串接。

  • 最終結果:一句話結束後,以最終結果取代該句的中間結果,再用於儲存轉寫、產生字幕或後續業務處理。

    說明Qwen-Audio-ASR-Message 預設僅傳回最終結果;需要即時預覽時,可啟用 intermediate_result_enabled。

  • 時間戳記:將文字與音訊位置對應,用於字幕對齊、關鍵字醒目顯示或音訊跳轉。使用最終結果的句級、字詞級時間戳記,避免依賴尚未確定的中間結束時間;單位為毫秒。

    說明Qwen3-ASR-Flash-Realtime 不傳回轉寫文字的時間戳記。

辨識效果最佳化

透過調整斷句、整理或保留口語表達,以及設定熱詞和上下文,可改善句子劃分與文字可讀性,提高特定詞彙的辨識準確率。

調整斷句

VAD(語音活動偵測)根據語音後的靜音判斷一句話何時結束,進而觸發最終辨識結果。較短的靜音閾值適合需要快速回應的語音互動;較長的閾值可容納句內停頓,但會增加等待時間。可依說話習慣和互動節奏調整。

模型設定方式

qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.1-asr-flash-message

透過 max_sentence_silence 調整斷句靜音閾值。還可根據實際拾音方式,透過 vad_model 選擇近場或遠場 VAD 模型:

  • 近場(near_meeting_16k):說話者與麥克風距離較近,例如使用耳麥的客服通話、手持手機的 App 語音輸入。

  • 遠場(far_field_meeting_16k):說話者與麥克風距離較遠,例如智慧音箱語音互動、會議室集中拾音和車載免持語音互動。

qwen-audio-3.0-asr-flash-streaming、Fun-ASR-Realtime系列

透過 max_sentence_silence 調整斷句靜音閾值。

Paraformer

使用 VAD 斷句時,透過 max_sentence_silence 調整靜音閾值;也可透過 semantic_punctuation_enabled 改用語意斷句。

Qwen3-ASR-Flash-Realtime

透過 session.turn_detection 中的 silence_duration_ms 與 threshold 調整斷句靜音閾值及偵測靈敏度;也支援關閉 VAD,由用戶端提交音訊控制斷句。

文字潤飾

語音輸入中常包含語氣詞、重複和自我修正。文字潤飾可整理這些表達,使轉寫文字更適合語音訊息、輸入法等場景。

qwen-audio-3.1-asr-flash-message 透過 disfluency_removal_enabled 控制潤飾。潤飾對最終結果生效,介面應在句子結束時更新為潤飾後的文字。

保留方言表達

辨識方言時,可依用途選擇保留方言表達,或轉寫為普通話文字。例如,方言字幕需要保留原有表達,而面向更廣泛讀者的文字記錄可能需要普通話文字。

qwen-audio-3.1-asr-flash-streaming 和 qwen-audio-3.1-asr-flash-message 透過 keep_dialect 控制是否保留方言表達;後者僅作用於最終結果。

熱詞與上下文增強

熱詞用於輔助辨識品牌名、人名、專有術語等特定詞彙;上下文增強用於補充前幾輪對話中的術語和背景。具體設定、支援範圍和調校方法請參見提升辨識準確率。

敏感詞過濾

敏感詞過濾可將辨識結果中的指定詞彙取代為等長的星號,或從文字中移除,便於處理需要遮蔽的字幕或轉寫內容。Qwen-Audio-ASR-Streaming 和 Fun-ASR-Realtime 支援透過 special_word_filter 設定過濾規則。

應用於生產環境

將辨識能力整合至正式環境時,需要依業務流量管理連線與並行作業,處理長靜音、異常重試和資源釋放。音訊準備、任務與連線管理、Java 並行處理等實務及完整範例,請參閱語音辨識最佳實務。

支援的模型與地區

新加坡

  • Qwen-Audio-ASR-Message:qwen-audio-3.1-asr-flash-message
  • Qwen-Audio-ASR-Streaming:qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.0-asr-flash-streaming
  • Fun-ASR-Realtime:fun-asr-realtime(穩定版)
  • Qwen-ASR-Realtime:qwen3-asr-flash-realtime(穩定版)

華北2(北京)

  • Qwen-Audio-ASR-Message:qwen-audio-3.1-asr-flash-message

  • Qwen-Audio-ASR-Streaming:qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.0-asr-flash-streaming

  • Fun-ASR-Realtime:fun-asr-realtime(穩定版)、fun-asr-realtime-2026-02-28(最新快照版)

    • fun-asr-flash-8k-realtime(穩定版,當前等同fun-asr-flash-8k-realtime-2026-01-28)、fun-asr-flash-8k-realtime-2026-01-28
  • Qwen-ASR-Realtime:qwen3-asr-flash-realtime(穩定版)

  • Paraformer:paraformer-realtime-v2、paraformer-realtime-8k-v2

使用限制

即時音訊須為單聲道。依下表選擇音訊格式與取樣率,並將 format、sample_rate 設定為實際音訊對應的值。

模型輸入方式音訊格式取樣率大小/時長

qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.0-asr-flash-streaming

二進位串流

pcm、wav、mp3、opus、speex、aac、amr

任意

不限

qwen-audio-3.1-asr-flash-message

二進位串流

pcm、wav、mp3、opus、speex、aac、amr

16 kHz

—

Fun-ASR-Realtime系列(fun-asr-realtime)

二進位串流

pcm、wav、mp3、opus、speex、aac、amr

任意

不限

Fun-ASR-Flash-8K-Realtime系列(fun-asr-flash-8k-realtime)

二進位串流

pcm、wav、mp3、opus、speex、aac、amr

8 kHz

不限

qwen3-asr-flash-realtime

JSON 事件中的 Base64 音訊

pcm、opus

8 kHz、16 kHz

不限

paraformer-realtime-v2

二進位串流

pcm、wav、mp3、opus、speex、aac、amr

任意

不限

paraformer-realtime-8k-v2

二進位串流

pcm、wav、mp3、opus、speex、aac、amr

8 kHz

不限

音訊檢查和格式轉換請參閱準備輸入音訊。

API 參考

需要低延遲傳輸、弱網對抗,以及回音消除和降噪能力的即時音訊場景,可了解 AOQ 整合方案。協定選擇、支援模型和整合方式請參閱 Realtime API 概述。