Integre Qwen-Audio-Realtime ao SDK do Flutter. Consulte a sequência de chamadas Dart, os parâmetros da solicitação e os eventos.
Qwen-Audio-Realtime recebe áudio em tempo real e gera respostas. Configure a sessão para receber as respostas em texto e áudio.
Pré-requisitos
- Configure o ambiente de desenvolvimento Flutter para a plataforma de destino. O aplicativo de exemplo requer Dart 3.4 ou posterior, abaixo de 4.0.
- Obtenha uma chave de API. Selecione um endpoint de serviço na mesma região da chave de API. Se usar um domínio específico do espaço de trabalho, obtenha também o ID do espaço de trabalho.
Não inclua chaves de API de longa duração no código do aplicativo móvel. Para modelos que aceitam uma chave de API temporária, use o servidor do aplicativo para gerar uma chave de API temporária e enviá-la ao cliente.
Instalar o SDK
Abra Seleção e download do SDK móvel de voz, selecione a guia Flutter e baixe e extraia o pacote.
Copie o diretório extraído do SDK para packages/aliyun_neonui no projeto Flutter e adicione a dependência local ao pubspec.yaml.
dependencies:
aliyun_neonui:
path: packages/aliyun_neonui
Execute flutter pub get e importe o SDK no arquivo Dart.
import 'package:aliyun_neonui/neonui.dart';
Início rápido
Execute o aplicativo de exemplo
-
Conecte o dispositivo de destino. Execute estes comandos no diretório do SDK extraído.
cd example flutter pub get flutter run -
Na tela inicial do aplicativo de exemplo, abra 百炼(DashScope). Selecione um endpoint de serviço e informe a API Key. Se usar um domínio específico do espaço de trabalho, informe também o WorkspaceId.
-
Abra Qwen-Audio 实时语音对话 e execute o exemplo.
Autorize o acesso ao microfone ao executar um exemplo que captura áudio.
O código completo está em example/lib/pages/dashscope/dash_qwen_audio_chat_page.dart no pacote do SDK.
Modelos incluídos no exemplo
qwen-audio-3.1-realtime-plusqwen-audio-3.0-realtime-plusqwen-audio-3.0-realtime-flash
Sequência de chamadas
Chame estes métodos na instância retornada por NativeNui().
Use o JSON de conexão e o JSON da tarefa em Parâmetros da solicitação como initJson e sessionJson. Verifique se cada chamada foi bem-sucedida antes de continuar.
-
Assine
eventStreamettsAudioStreamantes de chamar os métodos. -
Defina os parâmetros de conexão e da tarefa e inicie a sessão.
await nui.nuiInitialize(params: initJson); await nui.dialogSetParams(sessionJson); await nui.dialogStart(vadMode: VadMode.p2t.code, dialogParams: sessionJson); -
Quando a sessão começar, capture o áudio e envie blocos PCM com
sendAudio. O exemplo de gravação captura PCM mono de 16 bits a 16 kHz.No iOS, inicie o microfone antes de iniciar o player de áudio. Se o player já estiver em execução, reinicie-o após iniciar o microfone para que o áudio da resposta seja reproduzido.
-
Encerre a captura e chame
dialogStop. Após processar os últimos eventos, chamenuiReleasee cancele as assinaturas.
Parâmetros de solicitação
O exemplo usa um modelo incluído no pacote. Para outras configurações, consulte example/lib/dashscope_params.dart. Para mais detalhes sobre os parâmetros, consulte Android SDK, iOS SDK, HarmonyOS SDK.
Substitua YOUR_WS_HOST pelo host WebSocket da região, YOUR_DEVICE_ID pelo ID do dispositivo e YOUR_API_KEY por uma chave de API da mesma região.
Parâmetros de conexão
Passe o JSON do exemplo como string ao método Dart.
{
"device_id": "YOUR_DEVICE_ID",
"url": "wss://YOUR_WS_HOST/api-ws/v1/realtime?model=qwen-audio-3.1-realtime-plus",
"service_mode": "1",
"audio_update_manually": "false"
}
Parâmetros da tarefa
Passe o JSON do exemplo como string ao método Dart.
{
"apikey": "YOUR_API_KEY",
"nls_config": {
"model": "qwen-audio-3.1-realtime-plus",
"sr_format": "pcm",
"modalities": "[\"text\",\"audio\"]",
"voice": "longanqian_v3.1",
"turn_detection": "{\"type\":\"server_vad\",\"threshold\":0.5,\"silence_duration_ms\":800}"
},
"service_type": 4
}
Use o mesmo ID de modelo no parâmetro model da URL e em nls_config.model. No SDK Dart, modalities e turn_detection são strings JSON.
Referência da API
Métodos
Nos métodos que retornam Future<int>, o código 0 indica êxito. sendAudio retorna Future<Object?>.
| Assinatura do método | Finalidade |
|---|---|
Future<int> nuiInitialize({required String params, int logLevel = 0, bool saveLog = false}) | Inicializa o SDK com os parâmetros de conexão em uma string JSON. |
Future<int> dialogSetParams(String params) | Define os parâmetros JSON da sessão atual. |
Future<int> dialogStart({required int vadMode, String dialogParams = "{}"}) | Inicia a sessão. vadMode seleciona o modo de segmentação, e dialogParams recebe os parâmetros da sessão em uma string JSON. |
Future<Object?> sendAudio(Uint8List data) | Envia um bloco de áudio PCM. |
Future<int> dialogStop() | Encerra a sessão de captura atual e mantém a conexão aberta. |
Future<int> dialogCancel() | Cancela a sessão ou tarefa de síntese atual. |
Future<int> nuiRelease() | Libera os recursos do SDK. |
Future<int> dialogAction(String actionParams) | Envia o resultado de uma chamada de ferramenta para a sessão. |
Eventos e fluxos de áudio
Leia os eventos em eventStream. Quando um evento chega como um mapa Dart, leia o nome em event e consulte resultCode para identificar erros na tarefa.
O fluxo ttsAudioStream fornece blocos de áudio para reprodução pelo aplicativo.
| Evento | Finalidade |
|---|---|
EVENT_ASR_PARTIAL_RESULT | Resultado parcial do reconhecimento |
EVENT_SENTENCE_END | Resultado final do reconhecimento da frase atual |
EVENT_AUDIO_TRANSCRIPTION_COMPLETED | Conclusão da transcrição da resposta falada |
EVENT_ASR_TTS_START | Início da síntese ou do áudio da resposta |
EVENT_ASR_TTS_COMPLETE | Conclusão da tarefa ou da saída de áudio atual |
EVENT_ASR_ERROR | Falha na tarefa |