Use o SDK Node.js de voz para configurar sessões Qwen-Audio-Realtime, trocar áudio e processar transcrição e chamadas de funções.
Pré-requisitos
Obtenha uma chave de API no console e defina-a na variável de ambiente DASHSCOPE_API_KEY.
Instalar o SDK
Requer Node.js 18 ou posterior. Baixe o pacote SDK 0.1.0 e execute no projeto:
npm install ./dashscope-sdk-nodejs-0.1.0.tgz
Início rápido
Baixe o áudio de exemplo como input.mp3 e converta para PCM mono de 16 kHz e 16 bits:
ffmpeg -i input.mp3 -f s16le -ac 1 -ar 16000 input.pcm
Salve o exemplo como example.mjs e execute node example.mjs.
import { readFileSync, writeFileSync } from 'node:fs'
import { setTimeout as sleep } from 'node:timers/promises'
import { RealtimeClient } from 'dashscope-sdk-nodejs/realtime'
const pcm = readFileSync('input.pcm')
const client = new RealtimeClient({
apiKey: process.env.DASHSCOPE_API_KEY,
workspaceId: process.env.DASHSCOPE_WORKSPACE_ID,
baseUrl: 'dashscope-intl.aliyuncs.com',
model: 'qwen-audio-3.1-realtime-plus',
voice: 'longanqian_v3.1',
turnDetection: null,
inputTranscription: { language: 'zh' },
})
const audio = []
function fail(err) {
console.error(err.code, err.message)
process.exitCode = 1
client.close()
}
const timer = setTimeout(() => fail(new Error('Response timed out')), 60000)
client.on('close', () => clearTimeout(timer))
client.on('error', fail)
client.on('audio', chunk => audio.push(chunk))
client.on('inputTranscript', ({ transcript }) => console.log('User:', transcript))
client.on('outputTranscript', ({ transcript }) => console.log('Assistant:', transcript))
client.once('sessionUpdated', () => {
;(async () => {
for (let offset = 0; offset < pcm.length; offset += 3200) {
client.appendAudio(pcm.subarray(offset, offset + 3200))
await sleep(100)
}
client.commit()
client.createResponse()
})().catch(fail)
})
client.once('responseDone', event => {
if (event.response?.status !== 'completed') {
fail(new Error('Response status: ' + event.response?.status))
return
}
writeFileSync('output.pcm', Buffer.concat(audio))
client.close()
})
try {
await client.connect()
} catch (err) {
fail(err)
}
Parâmetros da solicitação
Opções do construtor de RealtimeClient:
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
|
| Não | Chave de API. Usa |
|
| Não | ID do espaço de trabalho. Usa |
|
| Não | Defina o hostname como |
|
| Sim | ID do modelo. |
|
| Não | ID da voz. Usa a voz padrão do serviço se omitida. |
|
| Não | Instruções de sistema para papel, estilo e outros comportamentos. |
|
| Não | Padrão: |
|
| Não | Modalidades de saída. Padrão: |
|
| Não | Turnos de histórico: |
|
| Não | Definições de ferramentas. A aplicação executa as ferramentas e valida os argumentos. |
|
| Não | Configuração de transcrição de entrada, como |
|
| Não | Configurações adicionais, como |
|
| Não | Tempo limite de conexão em ms. Padrão: |
Referência da API
Métodos principais
Método | Retorno | Descrição |
|---|---|---|
|
| Conecta e envia a configuração. |
|
| Atualiza a sessão; confirme em |
|
| Envia áudio PCM mono de 16 kHz e 16 bits. |
|
| Confirma o buffer no modo manual. |
|
| Limpa o buffer ainda não confirmado. |
|
| Solicita uma resposta do modelo. |
|
| Cancela a resposta atual mantendo a sessão. |
|
| Adiciona histórico ou resultados. |
|
| Envia o resultado como string. |
|
| Exclui um item da conversa. |
|
| Consulta um item; receba-o via |
|
| Envia um evento bruto do cliente. |
|
| Fecha a sessão e a conexão WebSocket. |
Eventos de callback
Registre callbacks com on(event, listener). Consulte os campos completos em eventos do servidor.
Evento | Payload | Descrição |
|---|---|---|
|
| Conexão estabelecida e configuração inicial enviada. |
|
| Criação da sessão ou confirmação da configuração. |
|
| Trecho binário de áudio; pode ocorrer várias vezes. |
|
| Texto incremental da transcrição do áudio de saída. |
|
| Transcrição completa do áudio de saída. |
|
| Texto incremental ou completo na modalidade somente texto. |
|
|
|
|
| Transcrição final do áudio de entrada. |
|
| A fala do usuário começou ou parou. |
|
| Resposta iniciada ou encerrada. Verifique se |
|
| Argumentos completos da chamada. A aplicação analisa e valida a string JSON |
|
| Transcrição atual ou final do áudio ambiente, excluída do contexto da conversa. |
|
| Mensagem JSON original do serviço. |
|
| Erro de conexão ou serviço. |
|
| Notificação de fechamento da conexão subjacente. |