音声 Node.js SDK で Qwen-Audio-Realtime のセッション設定、音声の送受信、文字起こし、ツール呼び出しを行います。
前提条件
コンソールで API キーを取得し、環境変数 DASHSCOPE_API_KEY に設定します。
SDK のインストール
Node.js 18 以降が必要です。SDK 0.1.0 パッケージをダウンロードし、プロジェクトで次を実行します。
npm install ./dashscope-sdk-nodejs-0.1.0.tgz
クイックスタート
サンプル音声を input.mp3 として保存し、16 kHz、16-bit、モノラル PCM に変換します。
ffmpeg -i input.mp3 -f s16le -ac 1 -ar 16000 input.pcm
次のサンプルを example.mjs として保存し、node example.mjs を実行します。
import { readFileSync, writeFileSync } from 'node:fs'
import { setTimeout as sleep } from 'node:timers/promises'
import { RealtimeClient } from 'dashscope-sdk-nodejs/realtime'
const pcm = readFileSync('input.pcm')
const client = new RealtimeClient({
apiKey: process.env.DASHSCOPE_API_KEY,
workspaceId: process.env.DASHSCOPE_WORKSPACE_ID,
baseUrl: 'dashscope-intl.aliyuncs.com',
model: 'qwen-audio-3.1-realtime-plus',
voice: 'longanqian_v3.1',
turnDetection: null,
inputTranscription: { language: 'zh' },
})
const audio = []
function fail(err) {
console.error(err.code, err.message)
process.exitCode = 1
client.close()
}
const timer = setTimeout(() => fail(new Error('Response timed out')), 60000)
client.on('close', () => clearTimeout(timer))
client.on('error', fail)
client.on('audio', chunk => audio.push(chunk))
client.on('inputTranscript', ({ transcript }) => console.log('User:', transcript))
client.on('outputTranscript', ({ transcript }) => console.log('Assistant:', transcript))
client.once('sessionUpdated', () => {
;(async () => {
for (let offset = 0; offset < pcm.length; offset += 3200) {
client.appendAudio(pcm.subarray(offset, offset + 3200))
await sleep(100)
}
client.commit()
client.createResponse()
})().catch(fail)
})
client.once('responseDone', event => {
if (event.response?.status !== 'completed') {
fail(new Error('Response status: ' + event.response?.status))
return
}
writeFileSync('output.pcm', Buffer.concat(audio))
client.close()
})
try {
await client.connect()
} catch (err) {
fail(err)
}
リクエストパラメーター
RealtimeClient のコンストラクターオプション:
パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
|
| いいえ | API キー。デフォルトは |
|
| いいえ | ワークスペース ID。デフォルトは |
|
| いいえ | サービスホスト名を |
|
| はい | モデル ID。 |
|
| いいえ | 音色 ID。省略時はサービスのデフォルト音色を使用します。 |
|
| いいえ | 役割やスタイルなどを指定するシステム指示。 |
|
| いいえ | デフォルトは |
|
| いいえ | 出力モダリティ。デフォルト: |
|
| いいえ | 履歴ターン数: |
|
| いいえ | ツール定義。アプリがツールを実行し、引数を検証します。 |
|
| いいえ | 入力文字起こし設定。例: |
|
| いいえ | 追加セッション設定( |
|
| いいえ | 接続タイムアウト(ms)。デフォルト: |
API リファレンス
主なメソッド
メソッド | 戻り値 | 説明 |
|---|---|---|
|
| 接続して設定を送信し、 |
|
| セッションを更新し、 |
|
| 16 kHz、16-bit、モノラル PCM を送信します。 |
|
| 手動モードで音声バッファーを確定します。 |
|
| 未確定の音声バッファーを消去します。 |
|
| モデルの応答生成を要求します。 |
|
| 現在の応答をキャンセルし、セッションは維持します。 |
|
| 履歴やツール結果を追加します。 |
|
| ツール結果文字列を送信します。 |
|
| 指定した対話項目を削除します。 |
|
| 対話項目を照会し、 |
|
| 元のクライアントイベントを送信します。 |
|
| セッションと WebSocket 接続を閉じます。 |
コールバックイベント
on(event, listener) でコールバックを登録します。全フィールドはサーバーイベントを参照してください。
イベント | ペイロード | 説明 |
|---|---|---|
|
| 接続が確立し、初期設定が送信されました。 |
|
| セッションの作成または設定の確認。 |
|
| バイナリ音声チャンク。複数回発生する場合があります。 |
|
| 出力音声の文字起こしの差分テキスト。 |
|
| 出力音声の完全な文字起こし。 |
|
| テキストのみのモダリティにおける差分または完全なテキスト。 |
|
|
|
|
| 入力音声の最終的な文字起こし。 |
|
| ユーザー音声の開始または停止を検出しました。 |
|
| 応答の開始または終了。 |
|
| 完全なツール呼び出し引数。アプリが |
|
| 環境音の現在または最終的な文字起こし。会話コンテキストには追加されません。 |
|
| 元のサービス JSON メッセージ。 |
|
| 接続またはサービスのエラー。 |
|
| 基になる接続の切断通知。 |