通過語音 Node.js SDK 調用 Qwen-Audio-Realtime,配置會話、收發音頻、處理轉寫和工具調用。
安裝 SDK
需要 Node.js 18 或以上版本。下載 SDK 0.1.0 安裝包後,在項目目錄運行:
npm install ./dashscope-sdk-nodejs-0.1.0.tgz
快速開始
在控制台獲取 API Key,並配置為環境變量 DASHSCOPE_API_KEY。
下載示例音頻,保存為 input.mp3,並轉換為 16 kHz、16-bit、單聲道 PCM:
ffmpeg -i input.mp3 -f s16le -ac 1 -ar 16000 input.pcm
將以下示例保存為 example.mjs,運行 node example.mjs。
import { readFileSync, writeFileSync } from 'node:fs'
import { setTimeout as sleep } from 'node:timers/promises'
import { RealtimeClient } from 'dashscope-sdk-nodejs/realtime'
const pcm = readFileSync('input.pcm')
const client = new RealtimeClient({
apiKey: process.env.DASHSCOPE_API_KEY,
workspaceId: process.env.DASHSCOPE_WORKSPACE_ID,
baseUrl: 'dashscope-intl.aliyuncs.com',
model: 'qwen-audio-3.1-realtime-plus',
voice: 'longanqian_v3.1',
turnDetection: null,
inputTranscription: { language: 'zh' },
})
const audio = []
function fail(err) {
console.error(err.code, err.message)
process.exitCode = 1
client.close()
}
const timer = setTimeout(() => fail(new Error('Response timed out')), 60000)
client.on('close', () => clearTimeout(timer))
client.on('error', fail)
client.on('audio', chunk => audio.push(chunk))
client.on('inputTranscript', ({ transcript }) => console.log('User:', transcript))
client.on('outputTranscript', ({ transcript }) => console.log('Assistant:', transcript))
client.once('sessionUpdated', () => {
;(async () => {
for (let offset = 0; offset < pcm.length; offset += 3200) {
client.appendAudio(pcm.subarray(offset, offset + 3200))
await sleep(100)
}
client.commit()
client.createResponse()
})().catch(fail)
})
client.once('responseDone', event => {
if (event.response?.status !== 'completed') {
fail(new Error('Response status: ' + event.response?.status))
return
}
writeFileSync('output.pcm', Buffer.concat(audio))
client.close()
})
try {
await client.connect()
} catch (err) {
fail(err)
}
接口參考
構造參數
RealtimeClient 的構造參數如下。
參數 | 類型 | 必填 | 說明 |
|---|---|---|---|
|
| 否 | API Key。默認讀取 |
|
| 否 | 業務空間 ID。默認讀取 |
|
| 否 | 服務域名,設置為 |
|
| 是 | 模型 ID。 |
|
| 否 | 音色 ID。省略時使用服務端默認音色。 |
|
| 否 | 系統指令,設置角色、風格等。 |
|
| 否 | 默認 |
|
| 否 | 輸出模態,默認 |
|
| 否 | 歷史輪數,範圍 |
|
| 否 | 工具定義;應用執行工具並校驗參數。 |
|
| 否 | 輸入音頻轉寫配置,如 |
|
| 否 | 擴展會話參數,如 |
|
| 否 | 建連超時(ms),默認 |
主要方法
方法 | 返回值 | 說明 |
|---|---|---|
|
| 建立連接併發送會話配置,通過 |
|
| 更新會話參數,通過 |
|
| 發送 16 kHz、16-bit、單聲道 PCM 音頻。 |
|
| 手動模式下提交音頻緩衝區。 |
|
| 清空尚未提交的音頻緩衝區。 |
|
| 請求模型生成響應。 |
|
| 取消當前響應,保留會話。 |
|
| 添加對話歷史或工具結果; |
|
| 提交工具結果字符串; |
|
| 刪除指定對話項。 |
|
| 查詢對話項,結果通過 |
|
| 發送原始客戶端事件。 |
|
| 關閉會話和 WebSocket 連接。 |
回調事件
通過 on(event, listener) 註冊回調;完整事件字段見服務端事件。
事件 | 負載 | 說明 |
|---|---|---|
|
| 連接已建立、初始配置已發送。 |
|
| 會話創建或配置確認。 |
|
| 音頻二進制塊,可多次觸發。 |
|
| 輸出音頻轉寫的增量文本。 |
|
| 輸出音頻的完整轉寫。 |
|
| 純文本模態的增量或完整文本。 |
|
|
|
|
| 輸入音頻的最終轉寫。 |
|
| 檢測到用戶語音開始或停止。 |
|
| 響應開始或結束。檢查 |
|
| 完整工具調用參數;由應用解析並校驗 |
|
| 環境音當前或最終轉寫,不寫入會話上下文。 |
|
| 原始服務端 JSON 消息。 |
|
| 連接或服務端錯誤。 |
|
| 底層連接關閉通知。 |