Todos os produtos
Search
Central de documentação

Alibaba Cloud Model Studio:SDK Android do Qwen-Audio-Realtime

Última atualização: Nov 20, 2026

Use o SDK Android do Qwen-Audio-Realtime para conversas por voz em tempo real, com entrada de áudio em tempo real e saída de voz ou texto.

Para conexão e autenticação, consulte Acesso por WebSocket; para campos de eventos e exemplos JSON, consulte eventos do cliente e eventos do servidor.

Guia do usuário:Para introdução ao modelo e recomendações de seleção de modelo, consulte Conversa por voz em tempo real.

Pré-requisitos

  1. Obtenha e configure uma chave de API. Não insira chaves de API de longa duração diretamente no código de aplicativos móveis. Recomendamos que o servidor do seu aplicativo gere uma chave de API temporária e a distribua ao cliente.

Instalar o SDK

  • Baixe o pacote mais recente do SDK.
  • Descompacte o pacote ZIP. Obtenha o SDK no formato AAR no diretório app/libs e adicione-o às dependências do seu projeto. Para integração com Android C++, use android_libs e android_include no pacote ZIP para obter as bibliotecas dinâmicas e os arquivos de cabeçalho.

Início rápido

Abra o projeto no Android Studio. O código de exemplo está em DashQwenAudioChatActivity.java. Substitua a chave de API para experimentar os recursos.

Procedimento de chamada

  1. Inicialize o SDK.
  2. Defina os parâmetros de acordo com os requisitos do seu negócio: defina os parâmetros de conexão e controle por meio do parâmetro parameters da interface initialize; defina os parâmetros de efeito de conversa por voz por meio da interface setParams.
  3. Chame startDialog para iniciar o fluxo de conversa.
  4. No callback onNuiAudioStateChanged, ative o dispositivo de gravação com base no estado do áudio.
  5. Forneça continuamente os dados de gravação no callback onNuiNeedAudioData ou envie continuamente os dados de gravação por meio de updateAudio.
  6. Obtenha continuamente os dados de voz retornados pela IA no callback onNuiAssistEventCallback.
  7. Ouça os eventos e obtenha as informações de eventos no callback onNuiEventCallback.
  8. Chame stopDialog para encerrar a conversa e confirme que a conversa terminou ouvindo o evento EVENT_TRANSCRIBER_COMPLETE.
  9. Quando o recurso de conversa não for mais utilizado, chame a interface release para liberar os recursos do SDK.

Parâmetros da solicitação

Parâmetros de conexão e controle

Configure passando uma string JSON para o parâmetro parameters da interface initialize.

Exemplo de parâmetros:Veja a seguir um exemplo de string JSON com parâmetros não totalmente listados. Adicione-os de acordo com seus requisitos reais ao codificar:

O exemplo usa qwen-audio-3.1-realtime-plus. Ao alterar o modelo, atualize tanto model na URL quanto nls_config.model nos parâmetros de efeito de conversa por voz.

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=qwen-audio-3.1-realtime-plus",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}
Descrição dos parâmetros
ParâmetroTipoObrigatórioDescrição

url

String

Sim

Endereço do serviço:

  • wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
  • China (Pequim): wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime?model="<model_name>
  • Singapura: wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime?model="<model_name>
Ao fazer chamadas, substitua {WorkspaceId} pelo seu ID do Workspace real.

apikey

String

Sim

Chave de API.

service_mode

String

Sim

Modo de execução. Para conversa por voz em tempo real, este valor é fixado como "1".

device_id

String

Sim

Uma string exclusiva que identifica o usuário final. Você pode defini-la como o ID de usuário no aplicativo ou um identificador exclusivo de dispositivo gerado pelo cliente. Este ID é usado principalmente para rastreamento de logs e solução de problemas.

audio_update_manually

String

Não

Se deve ativar o modo de envio ativo de dados de áudio. Valor padrão: "false".
Quando definido como "true" para ativar o modo de envio ativo de dados de áudio e a versão do SDK oferecer suporte a recursos de áudio no dispositivo (como AEC e VAD), esses recursos são habilitados por padrão.

workspace

String

Não

Quando o parâmetro audio_update_manually é definido como "true" e os recursos de áudio no dispositivo (como AEC e VAD) estão habilitados, você deve definir workspace, que é o caminho onde os arquivos de recursos no dispositivo são armazenados.

debug_path

String

Não

O caminho de armazenamento dos arquivos de log. Este parâmetro entra em vigor apenas quando save_log é definido como true ao chamar a API initialize. Nesse caso, o caminho do arquivo de log deve ser definido, caso contrário, um erro será relatado. No máximo dois arquivos de log são retidos localmente.

save_wav

String

Não

Se deve salvar arquivos de áudio para depuração. Os arquivos de áudio são salvos em debug_path.
Valor padrão: "false".
Valores válidos:

  • "true": Sim
  • "false": Não
Este parâmetro entra em vigor apenas quando save_log é definido como true ao chamar a API initialize. Nesse caso, debug_path também deve ser definido.

max_log_file_size

int

Não

O tamanho máximo de um arquivo de log, em bytes.
Este parâmetro entra em vigor apenas quando save_log é definido como true ao chamar a API initialize.
Valor padrão: 104857600 (100 * 1024 * 1024 bytes, ou seja, 100MiB).

log_track_level

int

Não

Controla o nível de filtro do conteúdo de log enviado por meio do callback de log (onNuiLogTrackCallback).
Valor padrão: 2.
Valores válidos:

  • 0: LOG_LEVEL_VERBOSE
  • 1: LOG_LEVEL_DEBUG
  • 2: LOG_LEVEL_INFO
  • 3: LOG_LEVEL_WARNING
  • 4: LOG_LEVEL_ERROR
  • 5: LOG_LEVEL_NONE (desativa este recurso)
Observação: log_track_level e level (definido por meio da API initialize) determinam em conjunto os logs que são finalmente retornados por callback. Um log é retornado por callback apenas se o seu valor de nível for maior ou igual tanto a log_track_level quanto a level. Por exemplo, se log_track_level for definido como 2 (INFO) e level como 3 (WARNING), apenas logs de nível WARNING e superior (valor >= 3) serão retornados por callback.

aec_params

object

Não

Objeto de configuração de parâmetros avançados para os recursos de AEC no dispositivo. Este objeto de configuração é ativado apenas quando o parâmetro audio_update_manually é definido como "true".

aec_params.enable_aec

boolean

Não

Se deve ativar o recurso de cancelamento de eco AEC no dispositivo.
Quando o parâmetro audio_update_manually é definido como "true" e a versão do SDK oferece suporte ao recurso de áudio AEC no dispositivo, esse recurso é habilitado por padrão.

aec_params.save_audio

boolean

Não

Se deve ativar o recurso de armazenamento de áudio do módulo de cancelamento de eco AEC no dispositivo. Quando save_wav é "true" e debug_path está definido, este recurso é habilitado por padrão, e os dados de áudio de execução do AEC são armazenados em debug_path.

aec_params.enable_aec_data_callback

boolean

Não

Se deve enviar os dados processados pelo AEC ao usuário; padrão false; uma vez ativado, os dados são recebidos em EVENT_AEC_DATA de onNuiAssistEventCallback.

vad_params

object

Não

Objeto de configuração de parâmetros avançados para os recursos de VAD no dispositivo.
Este objeto de configuração é ativado apenas quando o parâmetro audio_update_manually é definido como "true".

vad_params.enable_vad

boolean

Não

Se deve ativar o recurso de detecção de voz VAD no dispositivo.
Quando o parâmetro audio_update_manually é definido como "true" e a versão do SDK oferece suporte ao recurso de áudio VAD no dispositivo, esse recurso é habilitado por padrão.

vad_params.save_audio

boolean

Não

Se deve ativar o recurso de armazenamento de áudio do módulo de detecção de voz VAD no dispositivo.
Quando save_wav é "true" e debug_path está definido, este recurso é habilitado por padrão, e os dados de áudio de execução do VAD são armazenados em debug_path.

Parâmetros de efeito de conversa por voz

Configurado passando uma string JSON para o parâmetro params da API setParams.

Exemplo de parâmetros:Veja a seguir um exemplo de string JSON com parâmetros não totalmente listados. Adicione-os de acordo com seus requisitos reais ao codificar:

{
    "service_type": 4,
    "nls_config": {
        "model": "qwen-audio-3.1-realtime-plus",
        "sr_format": "pcm"
    }
}
Descrição dos parâmetros
Parâmetros de nível superiorTipoObrigatórioDescrição

service_type

int

Sim

Tipo de serviço de voz. Fixado como 4 para conversa por voz em tempo real.

nls_config

object

Sim

Objeto de configuração principal da conversa por voz, contendo parâmetros essenciais como seleção de modelo e controle do efeito da conversa.

nls_config.model

string

Sim

Especifica o nome do modelo. Oferece suporte aos modelos das séries qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus e qwen-audio-3.0-realtime-flash.

nls_config.sr_format

string

Sim

Formato de áudio de entrada. Atualmente, apenas pcm (16kHz 16bit mono) é suportado, que é o valor padrão.

nls_config.modalities

string

Não

Uma string em formato de matriz para as configurações de modalidade de saída do modelo. Valores válidos:

  • ["text"]: Saída apenas de texto.
  • ["audio", "text"] (valor padrão): Saída de texto e áudio.

nls_config.voice

string

Não

Nome da voz TTS. O valor padrão para 3.1 Plus/Flash é longanqian_v3.1, e o valor padrão para 3.0 Plus/Flash é longanqian. Só pode ser definido no primeiro session.update; valores passados posteriormente serão ignorados.

  • Vozes do sistema 3.1 Plus/Flash: Os valores válidos incluem longanqian_v3.1 e todas as vozes da lista de vozes 3.1 TTS Plus/Flash. Para a lista completa, consulte Configuração de voz.
  • Vozes do sistema 3.0 Plus/Flash: longanqian, longanlingxin, longanlingxi, longanxiaoxin, longanlufeng.
  • Vozes de clonagem de voz: Criadas por meio da API de clonagem de voz; preencha neste parâmetro o voice_id retornado. Para mais informações, consulte Configuração de voz.

nls_config.enable_speech_emotion

boolean

Não

Se deve ativar o recurso de aprimoramento de emoção. Quando ativado, as mudanças emocionais da voz de resposta ficam mais perceptíveis. Valor padrão: true. Valores válidos: true, false.

nls_config.instructions

string

Não

Instrução do sistema usada para definir a identidade do papel do modelo, o estilo de resposta e as preferências de comportamento. Tem efeito durante toda a sessão.

nls_config.max_history_turns

int

Não

O número máximo de turnos históricos de perguntas e respostas permitidos por solicitação. Intervalo de valores: 1-50. Valor padrão: 20.

nls_config.tools

string

Não

Uma string em formato de matriz. Uma lista de definições de ferramentas de Function Calling. Depois de configurada, o modelo pode decidir de forma autônoma se deve chamar ferramentas com base na entrada do usuário.
Descrição dos parâmetros internos:
typestring(obrigatório)
Fixado como function.
function.namestring(obrigatório)
O nome da função da ferramenta.
function.descriptionstring(opcional)
Uma descrição da capacidade da função da ferramenta, que o modelo usa para determinar se deve chamar a ferramenta.
function.parametersobject(opcional)
Uma descrição dos parâmetros de entrada da função da ferramenta, que o modelo usa para extrair as entradas necessárias. Se a função não exigir parâmetros de entrada, isto pode ser omitido.
Exemplos:

[
  {
    "type": "function",
    "function": {
      "name": "get_weather",
      "description": "查询指定城市的天气信息。",
      "parameters": {
        "type": "object",
        "properties": {
          "city": {
            "type": "string",
            "description": "城市"
          }
        },
        "required": [
          "city"
        ]
      }
    }
  }
]

nls_config.turn_detection

string

Não

As descrições dos campos de detecção de turno a seguir se aplicam a qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus e qwen-audio-3.0-realtime-flash.

Uma string em formato de objeto JSON. Configuração de detecção de turno. Quando não definida, muda para o modo push-to-talk (enviar áudio e acionar a inferência manualmente). Caso contrário, o modo de conversa duplex é habilitado.

nls_config.turn_detection.type

string

Não

Tipo de VAD. Valores válidos:

  • server_vad (padrão): detecta o início e o fim da fala com base em características acústicas e aciona a inferência automaticamente.
  • smart_turn: detecção de turno inteligente que combina percepção acústica com compreensão semântica, determinando os limites de turno por meio de julgamento acústico e semântico. Sons não verbais (como "hum" e "ah") não acionam um turno de conversa nem interrompem a reprodução do modelo.
  • smart_turn_v2 (recomendado): aprimora a compreensão do contexto da conversa além do smart_turn, determinando melhor a intenção de interação em cenários com vários locutores. Reduz respostas incorretas e interrupções erradas causadas pela fala de terceiros ou interferências irrelevantes.

nls_config.turn_detection.threshold

float

Não

Sensibilidade do VAD. Aplica-se a server_vad, smart_turn e smart_turn_v2. Quanto menor o valor, mais facilmente sons fracos (incluindo ruído de fundo) são reconhecidos como fala; quanto maior o valor, mais clara e alta deve ser a fala necessária para acionar a detecção.
Intervalo de valores: [-1.0, 1.0]. Valor padrão: 0.5.

nls_config.turn_detection.silence_duration_ms

int

Não

A duração mínima de silêncio (em milissegundos) após o fim da fala. Em vigor apenas no modo server_vad (sem efeito nos modos smart_turn e smart_turn_v2). Quando o silêncio atinge essa duração, a resposta do modelo é acionada. Quanto menor o valor, mais rápida a resposta, mas pausas breves também podem causar acionamento incorreto.
Intervalo de valores: [200, 6000]. Valor padrão: 800. Para cenários de conversa, recomenda-se 400-800.

nls_config.turn_detection.voiceprint_audio_urls

string

Não

Uma string em formato de matriz. Em vigor nos modos smart_turn e smart_turn_v2. Uma lista de URLs publicamente acessíveis do áudio pré-gravado do usuário alvo, usada para aprimoramento do locutor. O modelo usa esses clipes de áudio para focar no locutor alvo durante a conversa duplex, ignorando vozes de terceiros e ruído de fundo. Até 5 URLs são suportadas. Requisitos de formato de áudio: PCM ou WAV de 16kHz.

Referência de interface

NativeNui

initialize · Inicializar o SDK

Inicializa a instância do SDK de conversa por voz. O SDK é um singleton; é proibido inicializá-lo novamente antes de chamar release.

Esta interface é bloqueante e deve ser chamada em uma thread que não seja de UI.

Assinatura do método
public synchronized int initialize(final INativeNuiCallback callback,
                                   String parameters,
                                   final Constants.LogLevel level,
                                   final boolean save_log)
Descrição dos parâmetros
ParâmetroTipoDescrição

callback

INativeNuiCallback

A implementação da interface de callback de eventos e dados.

parameters

String

Uma string JSON contendo parâmetros de autenticação, conexão e depuração. Consulte Parâmetros de conexão e controle.

level

Constants.LogLevel

Controla o nível de impressão de log do próprio SDK.

save_log

boolean

Se deve salvar logs locais. Se true, você deve especificar o caminho por meio de debug_path em Parâmetros de conexão e controle e pode definir o tamanho do arquivo por meio de max_log_file_size.

setParams

Define os parâmetros de efeito de conversa por voz no formato JSON. Chame antes de startDialog.

Assinatura do método
public synchronized int setParams(String params)
Descrição dos parâmetros
ParâmetroTipoDescrição

params

String

Parâmetros de efeito de conversa por voz.

startDialog

Inicia uma conversa.

Assinatura do método
public synchronized int startDialog(VadMode vad_mode, String dialog_params)
Descrição dos parâmetros
ParâmetroTipoDescrição

vad_mode

VadMode

Modo VAD. Fixado como VadMode.TYPE_P2T.

dialog_params

String

Se o parâmetro apikey em Parâmetros de conexão e controle usar uma chave de API temporária, você pode atualizá-la aqui quando expirar.
O conteúdo está no formato JSON:

{
  "apikey": "st-****"
}

stopDialog

Encerra a conversa. Depois que esta interface é chamada, o servidor retorna o resultado final da conversa e encerra a tarefa.

Assinatura do método
public synchronized int stopDialog();

cancelDialog

Encerra a conversa imediatamente. Depois que esta interface é chamada, a tarefa termina imediatamente, sem esperar que o servidor retorne o resultado final da conversa.

Assinatura do método
public synchronized int cancelDialog();

updateAction

Envia comandos de ação de conversa durante a interação, usados para atualizar o comportamento em tempo de execução, como o contexto da conversa.

Assinatura do método
public synchronized int updateAction(String params);
Descrição dos parâmetros
ParâmetroTipoDescrição

params

String

Uma string JSON usada para atualizar comportamentos em tempo de execução, como o contexto da conversa.

params.type

String

Fixado como "action".

params.command

String

A instrução de tempo de execução específica. Atualmente, function_call, play_start e play_over são suportados.

  • function_call: Uma instrução para atualizar uma solicitação de chamada de função.
  • play_start: Quando o AEC no dispositivo é usado, esta instrução notifica o player do AEC dentro do SDK para começar a reproduzir áudio.
  • play_over: Quando o AEC no dispositivo é usado, esta instrução notifica o player do AEC dentro do SDK de que a reprodução terminou.

params.context

String

Atualiza a solicitação de chamada de função quando command é "function_call".

params.context.type

String

O tipo de evento. Obrigatório quando command é "function_call".

  • conversation.item.create: Insere manualmente um item de conversa no contexto da conversa. Pode ser usado para injetar contexto histórico, complementar informações de texto ou gravar de volta os resultados de execução de ferramentas do Function Calling.
  • response.create: Aciona uma segunda rodada de inferência após o envio da instrução conversation.item.create.

params.context.item

object

Obrigatório quando params.context.type é conversation.item.create, indicando o item de conversa a criar. Veja a seguir para detalhes.

params.context.response

object

Opcional quando params.context.type é response.create, indicando a configuração padrão da sessão usada para substituir a inferência da rodada atual. Se não especificado, a configuração atual da sessão é usada. Veja a seguir para detalhes.

Parâmetro context.item:

ParâmetroTipoDescrição

id

String

Opcional. O identificador exclusivo do item de conversa. Se não especificado, é gerado automaticamente pelo servidor. Se o ID especificado já existir na conversa, um erro é retornado.

type

String

Obrigatório. O tipo do item de conversa. Valores válidos:

  • message: Uma mensagem de conversa comum.
  • function_call: Uma solicitação de chamada de função. Normalmente gerada pelo servidor; também pode ser usada pelo cliente para complementar o contexto histórico.
  • function_call_output: Resultados da execução de ferramentas. Após receber function_call, o cliente executa a ferramenta e grava o resultado de volta com este tipo.

role

String

Obrigatório para o tipo message. O papel da mensagem. Valores válidos: system, user e assistant.

content

array

Obrigatório para o tipo message. A lista de conteúdo da mensagem. Cada elemento contém type e o campo de dados correspondente.
Tipos de conteúdo suportados por cada papel:
system
input_text: Uma mensagem do sistema, com o campo obrigatório text.
user

  • input_text: Entrada de texto do usuário, com o campo obrigatório text.
  • input_audio: Entrada de áudio do usuário, com o campo obrigatório audio (codificado em Base64).
assistant
output_text: Saída de texto do assistente, com o campo obrigatório text.

call_id

String

(Obrigatório para os tipos function_call / function_call_output)
O identificador exclusivo da chamada de função, usado para associar a solicitação e o resultado.

name

String

(Obrigatório para o tipo function_call)
O nome da função a ser chamada.

arguments

String

(Obrigatório para o tipo function_call)
Os parâmetros da chamada de função, no formato de string JSON.

output

String

(Obrigatório para o tipo function_call_output)
O resultado da execução da ferramenta, no formato de string JSON.

Parâmetro context.response:

ParâmetroTipoDescrição

modalities

array

Uma string em formato de matriz para as configurações de modalidade de saída do modelo. Valores válidos:

  • ["text"]: Saída apenas de texto.
  • ["audio", "text"] (valor padrão): Saída de texto e áudio.

voice

string

Substitui a voz TTS da rodada atual.

Exemplo:

{
  "type": "action",
  "command": "function_call",
  "context": {
    "item": {
      "call_id": "call_xxxx",
      "output": "{\"city\":\"杭州\",\"condition\":\"晴\",\"temperature\":18}",
      "type": "function_call_output"
    },
    "type": "conversation.item.create"
  }
}

{
  "type": "action",
  "command": "function_call",
  "context": {
    "response": {
      "modalities": [
        "text",
        "audio"
      ]
    },
    "type": "response.create"
  }
}

updateAudio

Quando o parâmetro audio_update_manually é definido como "true", os dados de gravação não são mais preenchidos por meio de onNuiNeedAudioData, mas enviados ativamente por meio desta interface.

Assinatura do método
public synchronized int updateAudio(byte[ ] data, int len,
                                    boolean first_pack);
Descrição dos parâmetros
ParâmetroTipoDescrição

data

byte[]

Os dados de áudio enviados.

len

int

O número de bytes dos dados de áudio enviados.

first_pack

boolean

Por favor, ignore isto. Não é necessário prestar atenção a este parâmetro.

updateRefAudio

Quando o parâmetro audio_update_manually é definido como "true" e o recurso de cancelamento de eco AEC no dispositivo está habilitado, você deve usar esta interface para enviar os dados de áudio reproduzidos pelo player como sinal de referência.

Assinatura do método
public synchronized int updateRefAudio(byte[ ] data, int len,

                                       boolean first_pack);
Descrição dos parâmetros
ParâmetroTipoDescrição

data

byte[]

Os dados de áudio enviados.

len

int

O número de bytes dos dados de áudio enviados.

first_pack

boolean

Por favor, ignore isto. Não é necessário prestar atenção a este parâmetro.

release · Liberar os recursos do SDK

Libera todos os recursos internos do SDK. Depois que este método é chamado, a instância do SDK fica inutilizável. Para usá-la novamente, você deve chamar initialize novamente para reinicializá-la.

Assinatura do método
public synchronized int release();

GetVersion

Obtém as informações da versão atual do SDK.

Assinatura do método
public synchronized String GetVersion();
Descrição do valor retornado

As informações da versão atual do SDK.

INativeNuiCallback: Ouvir callbacks

onNuiEventCallback: Ouvir informações de eventos

Assinatura do método
void onNuiEventCallback(NuiEvent event, final int resultCode, final int arg2, KwsResult kwsResult, AsrResult asrResult);
Descrição dos parâmetros
ParâmetroTipoDescrição

event

NuiEvent

O evento de callback.

resultCode

int

Válido apenas quando o evento EVENT_ASR_ERROR ocorre.

arg2

int

Parâmetro reservado.

asrResult

AsrResult

O resultado do reconhecimento de fala.

kwsResult

KwsResult

Recurso de despertar por voz. Não é necessário prestar atenção a este parâmetro.

onNuiAudioStateChanged: Ouvir o estado do áudio

O SDK usa este callback para notificar quando iniciar ou parar a gravação.

Assinatura do método
void onNuiAudioStateChanged(AudioState state);
Descrição dos estados AudioState
EstadoDescrição

STATE_OPEN

A interação começa. Você pode abrir o dispositivo de gravação para gravar.

STATE_PAUSE

A interação para. Você pode parar a gravação.

STATE_CLOSE

A instância do SDK foi liberada. Você pode fechar completamente o dispositivo de gravação.

onNuiNeedAudioData: Preencher os dados de áudio a serem processados

Depois que uma conversa começa, este callback é acionado continuamente, e você deve fornecer nele os dados de áudio a serem processados. Quando o parâmetro audio_update_manually é definido como "true", você pode ignorar este callback.

Assinatura do método
int onNuiNeedAudioData(byte[ ] buffer, int len);
Descrição dos parâmetros
ParâmetroTipoDescrição

buffer

byte[]

Os dados de áudio a serem preenchidos.

len

int

O número de bytes dos dados de áudio preenchidos.

Descrição do valor retornado

O número real de bytes preenchidos.

onNuiAssistEventCallback: Resultados de dados e informações auxiliares

Este callback é usado para receber eventos auxiliares e dados relacionados de dentro do SDK.

Assinatura do método
void onNuiAssistEventCallback_(int event, byte[ ] info, int info_len,
                               byte[ ] data);
Descrição dos parâmetros
ParâmetroTipoDescrição

event

int

Evento NuiEvent

info

String

Você não precisa prestar atenção a este parâmetro.

info_len

int

Você não precisa prestar atenção a este parâmetro.

data

byte[]

Dados auxiliares, como o áudio TTS retornado pela IA.

onNuiLogTrackCallback: Ouvir logs de rastreamento

Este callback é usado para receber logs detalhados de dentro do SDK, facilitando a solução de problemas e a depuração.

default void onNuiLogTrackCallback(Constants.LogLevel level, String log)

NuiEvent: Tipos de evento

EventoDescrição

EVENT_TRANSCRIBER_STARTED

A tarefa foi iniciada com sucesso.

EVENT_VAD_START

Este evento é acionado assim que a tarefa começa. Não indica que o início de uma voz humana foi detectado.

EVENT_VAD_END

O fim de uma voz humana é detectado.

EVENT_ASR_PARTIAL_RESULT

Resultado intermediário do reconhecimento de fala.

EVENT_ASR_ERROR

Ocorreu um erro durante a conversa por voz.

EVENT_MIC_ERROR

Acionado porque nenhum dado de áudio foi recebido por 2 segundos consecutivos.

EVENT_SENTENCE_END

O fim de uma frase é detectado e um resultado de reconhecimento completo é retornado.

EVENT_TRANSCRIBER_COMPLETE

A conversa por voz termina.

EVENT_AUDIO_TRANSCRIPTION

Evento incremental de legenda de texto no modo de áudio, retornando fragmentos de legenda de maneira contínua (streaming).

EVENT_AUDIO_TRANSCRIPTION_COMPLETED

Evento de conclusão da saída de legendas no modo de áudio.

EVENT_OTHER_RESULT

Outras informações de eventos não classificados, como o resultado retornado de function_call.

EVENT_ASR_TTS_START

A IA começa a retornar dados TTS.

EVENT_ASR_TTS_DATA

Dados TTS retornados pela IA.

EVENT_ASR_TTS_COMPLETE

A IA termina de retornar dados TTS.

EVENT_AEC_DATA

Dados de áudio após o cancelamento de eco AEC.