Esta seção descreve o fluxo de autenticação, configuração de mídia, estabelecimento da conexão e processamento de eventos de tarefa para acessar o Qwen-Audio-ASR-Streaming pelo AOQ.
Ao acessar o Qwen-Audio-ASR-Streaming pelo AOQ, o cliente envia áudio pela trilha Audio e envia eventos de tarefa e recebe resultados de reconhecimento pela trilha Data.
Pré-requisitos
- Use
qwen-audio-3.1-asr-flash-streamingouqwen-audio-3.0-asr-flash-streaming. Para o escopo de suporte, consulte Modelos e protocolos compatíveis. - Configure a chave de API no AppServer da aplicação, usando a região e o workspace correspondentes à chamada.
- Importe o SDK do AOQ da sua plataforma em Download do SDK. O exemplo a seguir usa Android Java e transmissão Opus; importe também o plug-in Opus. Ao capturar áudio pelo microfone, solicite permissão de gravação no cliente.
1. Obter as credenciais de conexão
ObservaçãoPara consultar o fluxo completo de autenticação, veja os detalhes da autenticação de conexão.
Defina a variável de ambiente DASHSCOPE_API_KEY no AppServer e substitua {endpoint} pelo endpoint da região e do workspace selecionados. O Qwen-Audio-ASR-Streaming usa o caminho de conexão Inference. O exemplo a seguir usa qwen-audio-3.1-asr-flash-streaming.
curl -X POST \
"https://{endpoint}/api/v1/webrtc/inference?model=qwen-audio-3.1-asr-flash-streaming" \
-H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
-H "Content-Type: application/json" \
-H "x-dashscope-rtc-transport: moq" \
-d '{}'
Ao usar Token Plan, o WorkspaceId no domínio de acesso é fixado em token-plan. clientIp no corpo da solicitação é opcional: informe o IP público real do cliente para que o gateway selecione um ponto de acesso Relay. Se for omitido, o gateway usará o IP de origem da solicitação.
A chave de API é armazenada somente no AppServer. O AppServer retorna ao cliente os parâmetros de conexão da tabela abaixo. sidExpiresInSecs na resposta indica a validade da sessão, em segundos.
| Campos da resposta do gateway | Campo de AoqConnectConfig |
|---|---|
aoqTokenForClient | token |
sid | sid |
clientRelayCertFingerprint | certFingerprint |
clientRelayEndpoints | relayEndpoints, converta endpoint, port e route_index de cada elemento |
extraInfo.workspaceIdHash | workspaceIdHash |
2. Inicializar o SDK e conectar
Use AoqCreateConfig para definir o diretório de trabalho do SDK e chame AoqClientEngine.createEngine para criar o mecanismo e registrar os callbacks. Trate o estado da conexão em onConnectionStatusChange, analise os eventos do modelo em onDataMsg e trate os erros do SDK em onError. O SDK para Android fornece as interfaces completas de inicialização do mecanismo e dos campos de conexão.
Depois de preencher connectConfig com as credenciais retornadas pelo AppServer, publique as trilhas Audio e Data e assine a trilha Data. O exemplo a seguir configura a codificação Opus mono de 16 kHz e a captura interna, e desativa o envio pela trilha Audio durante o estabelecimento da conexão. O formato de entrada do modelo é definido pelo evento da tarefa; a configuração de codificação do SDK se aplica à transmissão pela trilha de mídia.
AoqClientEngine.AoqAudioCodecConfig codec = new AoqClientEngine.AoqAudioCodecConfig();
codec.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
codec.codecType = AoqClientEngine.AoqEncoderType.AoqEncoderTypeAudioOpus;
codec.sampleRate = 16000;
codec.channel = 1;
codec.bitrate = 24000;
engine.setAudioEncoderConfig(codec);
AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam();
audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
connectConfig.publishTracks.add(audio);
AoqClientEngine.AoqTrackParam publishData = new AoqClientEngine.AoqTrackParam();
publishData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.publishTracks.add(publishData);
AoqClientEngine.AoqTrackParam subscribeData = new AoqClientEngine.AoqTrackParam();
subscribeData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.subscribeTracks.add(subscribeData);
AoqClientEngine.AoqAudioCaptureConfig capture = new AoqClientEngine.AoqAudioCaptureConfig();
capture.channel = 1;
capture.isExternal = false;
engine.startAudioCapture(capture);
engine.enableSendMediaStream(AoqClientEngine.AoqTrackType.AoqTrackTypeAudio, false);
engine.connect(connectConfig);
Aguarde onConnectionStatusChange retornar AoqConnectionStatusConnected antes de iniciar a tarefa. Em caso de falha na conexão, limpe o estado local da tarefa. Para restabelecer a conexão, obtenha novas credenciais.
3. Iniciar a tarefa de reconhecimento e tratar eventos
Serialize o JSON a seguir em UTF-8, grave-o em AoqDataMsg.data e envie-o pela trilha Data com sendDataMsg. Gere um novo task_id para cada tarefa; todos os eventos da mesma execução usam esse valor.
{
"header": {
"action": "run-task",
"task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
"streaming": "duplex"
},
"payload": {
"task_group": "audio",
"task": "asr",
"function": "recognition",
"model": "qwen-audio-3.1-asr-flash-streaming",
"parameters": {
"format": "pcm",
"sample_rate": 16000
},
"input": {}
}
}
Leia header.event em onDataMsg. O envio de áudio só é permitido após receber task-started.
engine.enableSendMediaStream(AoqClientEngine.AoqTrackType.AoqTrackTypeAudio, true);
Leia o texto reconhecido em payload.output.sentence de result-generated e ignore o heartbeat com heartbeat=true. sentence_end=false indica texto intermediário, e sentence_end=true, o texto final da frase. Atualize o texto da mesma frase conforme sentence_id. Ao receber task-failed, interrompa o envio desta execução e leia header.error_code e header.error_message.
Os parâmetros de tarefa e os campos de eventos estão em Eventos do cliente e Eventos do servidor.
4. Encerrar a tarefa e liberar os recursos
Ao terminar a gravação, pare a captura de áudio e envie finish-task pela trilha Data. Mantenha a conexão aberta para receber os resultados restantes e aguarde task-finished.
{
"header": {
"action": "finish-task",
"task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
"streaming": "duplex"
},
"payload": {
"input": {}
}
}
Quando não precisar mais da conexão, chame stopAudioCapture, disconnect e AoqClientEngine.destroy, nessa ordem, para liberar os recursos.