Alibaba Cloud Model Studio:Qwen-Audio-ASR-Streaming iOS SDK

url

String

Sim

Endereço do serviço:

• wss://dashscope.aliyuncs.com/api-ws/v1/inference
• China (Pequim): wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference
• Singapura: wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference

apikey

String

Sim

API key.

service_mode

String

Sim

Modo de execução. Fixo em "1" para reconhecimento de fala em tempo real.

device_id

String

Sim

String exclusiva que identifica o usuário final. Você pode usar um ID de usuário do aplicativo ou um identificador de dispositivo gerado no cliente. Esse ID é usado principalmente para rastrear logs e solucionar problemas.

audio_update_manually

String

Não

Define se o envio ativo de áudio está habilitado. Padrão: "false". Se definido como "true" e a versão do SDK suportar processamento de áudio no dispositivo, como AEC ou VAD, essas capacidades serão habilitadas por padrão.

workspace

String

Não

O caminho onde os arquivos de recursos no dispositivo são armazenados. Este parâmetro é obrigatório quando audio_update_manually está definido como "true" e uma capacidade de processamento de áudio no dispositivo, como AEC ou VAD, está habilitada.

debug_path

String

Não

Caminho de armazenamento dos logs. Só tem efeito quando save_log é YES em nui_initialize. Nesse caso, o caminho é obrigatório; caso contrário, ocorre um erro. São mantidos no máximo dois arquivos de log locais.

save_wav

String

Não

Define se o áudio de depuração será salvo em debug_path. Padrão: "false". "true" salva o arquivo; "false" não o salva. Só tem efeito quando save_log é true em nui_initialize. Também é necessário definir debug_path.

max_log_file_size

int

Não

Tamanho máximo do arquivo de log em bytes. Só tem efeito quando save_log é YES em nui_initialize. Padrão: 104857600 (100 × 1024 × 1024 bytes, ou 100 MiB).

log_track_level

int

Não

Nível de filtragem dos logs retornados por onNuiLogTrackCallback. Padrão: 2. Valores: 0 (LOG_LEVEL_VERBOSE), 1 (LOG_LEVEL_DEBUG), 2 (LOG_LEVEL_INFO), 3 (LOG_LEVEL_WARNING), 4 (LOG_LEVEL_ERROR), 5 (LOG_LEVEL_NONE, desativado). Um log só é retornado se seu nível for maior ou igual a log_track_level e ao level de nui_initialize. Por exemplo, com 2 (INFO) e 3 (WARNING), só são retornados logs WARNING ou superiores (valor ≥ 3).

service_type

int

Sim

Tipo de serviço de voz. Fixo em 4 para reconhecimento de fala em tempo real.

nls_config

object

Sim

Objeto principal de configuração do reconhecimento. Contém parâmetros como seleção do modelo e controles de qualidade do reconhecimento.

nls_config.model

string

Sim

O nome do modelo.

nls_config.sr_format

string

Sim

O formato do áudio.

Valores válidos:

• pcm
• opus

nls_config.sample_rate

int

Sim

A taxa de amostragem em Hz. Qualquer taxa é compatível.

nls_config.keep_dialect

boolean

Não

Especifica se as expressões dialetais devem ser preservadas. Padrão: false. Defina como false para transcrever a fala dialetal em texto em mandarim padrão, ou como true para preservar as expressões dialetais.

nls_config.vad_model

string

Não

O modelo VAD. Padrão: far_field_meeting_16k.

• near_meeting_16k: cenários de campo próximo.
• far_field_meeting_16k: cenários de campo distante.

nls_config.max_sentence_silence

int

Não

O limite de silêncio do VAD para segmentação, em ms. Quando o silêncio após um segmento de fala excede esse limite, o sistema determina que a frase terminou.

Valor padrão: 800.

Valores válidos: [200, 6000].

nls_config.multi_threshold_mode_enabled

boolean

Não

Define se o modo de múltiplos limiares está habilitado. Quando habilitado, evita segmentos VAD excessivamente longos.

Valor padrão: false.

nls_config.heartbeat

boolean

Não

Se deve habilitar pacotes de heartbeat.

Valor padrão: false.

• true: Mantém a conexão com o servidor ativa mesmo quando áudio silencioso é enviado continuamente.
• false (padrão): Mesmo quando áudio silencioso é enviado continuamente, a conexão expira e fecha após um período de tempo.

Áudio silencioso refere-se a conteúdo em um arquivo de áudio ou fluxo de dados que não contém sinal sonoro. Você pode gerar áudio silencioso de várias maneiras, como usando software de edição de áudio como Audacity ou Adobe Audition, ou usando uma ferramenta de linha de comando como FFmpeg.

nls_config.vocabulary_id

string

Não

O ID de uma lista de palavras-chave pré-compilada.

Gere este ID antecipadamente chamando a API de criação de lista de palavras-chave. Passe o ID durante o reconhecimento para usar as palavras-chave na lista.

Adequado para cenários onde o vocabulário é conhecido e relativamente estável, e onde você precisa reutilizar a mesma lista de palavras em várias solicitações.

Para detalhes de uso, consulte Palavras-chave pré-compiladas.

nls_config.instant_vocabulary

object

Não

Palavras-chave instantâneas.

Passado como pares chave-valor, onde a chave é o texto da palavra-chave (string) e o valor é o peso da palavra-chave (integer). Não é necessário criar uma lista de palavras-chave antecipadamente. O peso varia de [1, 5] ou é definido como 50: um valor em [1, 5] torna o modelo mais propenso a emitir a palavra à medida que o valor aumenta; um valor de 50 designa uma super palavra-chave, o que melhora muito a recuperação, mas o número de super palavras-chave não pode exceder 50.

Adequado para otimização temporária de palavras-chave no nível da sessão.

Quando palavras-chave instantâneas e pré-compiladas são configuradas juntas, o sistema mescla ambos os conjuntos. Se o conjunto mesclado contiver mais de 2000 palavras-chave, o sistema selecionará aleatoriamente 2000 para uso. Para detalhes de uso, consulte Palavras-chave instantâneas.

nls_config.language_hints

array[string]

Não

O idioma do áudio a reconhecer. Não há valor padrão; se não for definido, o modelo detectará o idioma automaticamente.

Você pode definir até 4 valores. Se houver mais, apenas os 4 primeiros serão usados.

nls_config.speech_noise_threshold

float

Não

O limite para distinguir fala de ruído, usado para ajustar a sensibilidade da Detecção de Atividade de Voz (VAD).

Valores válidos: [-1.0, 1.0].

Descrições dos valores:

• Quanto mais próximo o valor estiver de -1: O limite de ruído diminui, então o ruído tem maior probabilidade de ser reconhecido como fala, o que pode causar a transcrição de mais ruído.
• Quanto mais próximo o valor estiver de +1: O limite de ruído aumenta, então a fala tem maior probabilidade de ser erroneamente julgada como ruído, o que pode fazer com que parte da fala seja filtrada.

Este é um parâmetro de configuração avançado. Ajustá-lo pode afetar significativamente os resultados do reconhecimento. Recomendações:

• Teste e verifique minuciosamente os resultados antes de ajustar.
• Ajuste em pequenos incrementos com base no ambiente de áudio real (recomenda-se um passo de 0.1).

nls_config.special_word_filter

object

Não

Especifica as palavras sensíveis a serem processadas durante o reconhecimento de fala e permite definir diferentes métodos de processamento para diferentes palavras sensíveis. Para obter detalhes, consulte Filtragem de palavras sensíveis.

nls_config.enable_connection_fast_check

BOOL

Não

Define se a verificação rápida de rede está habilitada para informar desconexões o mais cedo possível. Padrão: NO.

parameters

char*

Uma string JSON que contém parâmetros de autenticação, conexão e depuração. Consulte Parâmetros de conexão e controle.

level

NuiSdkLogLevel

Nível de impressão para os próprios logs do SDK.

save_log

BOOL

Se deve salvar logs localmente. Se definido como YES, especifique um caminho com debug_path em Parâmetros de conexão e controle e, opcionalmente, defina o tamanho do arquivo com max_log_file_size.

params

char*

Parâmetros de qualidade do reconhecimento.

vad_mode

NuiVadMode

Modo VAD. Fixado como MODE_P2T.

dialog_params

char*

Se apikey nos parâmetros de conexão e controle for uma chave de API temporária, você poderá atualizá-la aqui quando expirar. Também é possível fornecer contexto para melhorar a precisão por enriquecimento de contexto.

O conteúdo está em formato JSON:

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

force

BOOL

Define se o encerramento será forçado e o resultado final descartado. YES: encerra imediatamente sem esperar o resultado final do servidor. NO: encerra a tarefa, mas espera o resultado completo.

action_params

char*

Uma string JSON que contém a ação em tempo de execução.

action_params.type

String

Fixo em "action".

action_params.command

String

play_start: Quando o AEC no dispositivo é usado, informa ao SDK que o player começou a reproduzir áudio.

play_over: Quando o AEC no dispositivo é usado, informa ao SDK que o player terminou de reproduzir áudio.

data

const char *

Os dados de áudio a serem enviados.

length

int

O comprimento dos dados de áudio, em bytes.

first_pack

BOOL

Você não precisa usar este parâmetro.

data

const char *

Os dados de áudio a serem enviados.

length

int

O comprimento dos dados de áudio, em bytes.

first_pack

BOOL

Você não precisa usar este parâmetro.

nuiEvent

NuiCallbackEvent

Evento de callback.

dialog

long

ID da sessão. Você não precisa usar este parâmetro.

wuw

char*

Despertar por voz. Você não precisa usar este parâmetro.

asr_result

char*

Resultado do reconhecimento de fala.

finish

BOOL

Se a rodada de reconhecimento atual foi concluída.

code

int

Válido apenas quando o evento EVENT_ASR_ERROR ocorre.

STATE_OPEN

A interação foi iniciada. Você pode abrir o dispositivo de gravação e começar a gravar.

STATE_PAUSE

A interação parou. Você pode parar a gravação.

STATE_CLOSE

A instância do SDK foi liberada. Você pode fechar completamente o dispositivo de gravação.

audioData

char*

Os dados de áudio a serem fornecidos.

len

int

O tamanho dos dados de áudio fornecidos em bytes.

nuiEvent

NuiCallbackEvent

O evento de callback.

info

char*

Você não precisa usar este parâmetro.

info_len

int

Você não precisa usar este parâmetro.

buffer

char*

Dados auxiliares, como áudio após o processamento AEC.

len

int

O comprimento dos dados auxiliares, em bytes.

EVENT_TRANSCRIBER_STARTED

A tarefa foi iniciada com sucesso.

EVENT_VAD_START

Acionado logo após o início da tarefa. Não significa que o início da fala foi detectado.

EVENT_VAD_END

O fim da fala foi detectado.

EVENT_ASR_PARTIAL_RESULT

Um resultado intermediário de reconhecimento de fala.

EVENT_ASR_ERROR

Ocorreu um erro durante o reconhecimento de fala.

EVENT_MIC_ERROR

Acionado quando nenhum dado de áudio é recebido por 2 segundos consecutivos.

EVENT_SENTENCE_END

O fim de uma frase foi detectado. O resultado completo de reconhecimento da frase é retornado.

EVENT_TRANSCRIBER_COMPLETE

O reconhecimento de fala foi concluído.

EVENT_AEC_DATA

Dados de áudio após o cancelamento de eco acústico (AEC).