Alibaba Cloud Model Studio:Qwen-Audio-3.0-ASR-Flash-Streaming/Fun-ASR-Realtime Python SDK

model

str

Sim

Nome do modelo. Há suporte para as séries Qwen-Audio-3.0-ASR-Flash-Streaming e Fun-ASR-Realtime. Para mais detalhes, consulte Supported models and regions.

sample_rate

int

Sim

Taxa de amostragem, em Hz.

Valores válidos: modelos de 8 kHz aceitam apenas 8000 Hz; outros modelos aceitam qualquer taxa de amostragem.

format

str

Sim

Formato do áudio.

Valores válidos:

• pcm
• wav
• mp3
• opus
• speex
• aac
• amr

vocabulary_id

str

Não

ID de uma lista de palavras-chave pré-compilada.

Gere esse ID antecipadamente chamando a API de criação de lista de palavras-chave. Passe o ID durante o reconhecimento para usar as palavras-chave da lista.

Indicado para cenários em que o vocabulário é conhecido e relativamente estável e quando você precisa reutilizar a mesma lista de palavras entre solicitações.

Para detalhes de uso, consulte Precompiled hotwords.

vocabulary

dict

Não

Palavras-chave instantâneas.

Passadas como pares chave-valor, em que a chave é o texto da palavra-chave (string) e o valor é o peso da palavra-chave (integer). Não é necessário criar uma lista de palavras-chave antecipadamente. O peso varia de [1, 5] ou é definido como 50: um valor em [1, 5] aumenta a probabilidade de o modelo gerar a palavra conforme o valor cresce; um valor de 50 designa uma super palavra-chave, que melhora significativamente o recall, mas o número de super palavras-chave não pode exceder 50.

Adequado para otimização temporária de palavras-chave no nível da sessão.

Quando configurado junto com palavras-chave pré-compiladas, apenas as palavras-chave instantâneas têm efeito. Para detalhes de uso, consulte Instant hotwords.

Exemplo:

from dashscope.audio.asr import Recognition

vocab = {"John Smith": 5, "Jane Doe": 5}
recognition = Recognition(
    model='qwen-audio-3.0-asr-flash-streaming',
    format='wav',
    sample_rate=16000,
    vocabulary=vocab,
    callback=None)

semantic_punctuation_enabled

bool

Não

Define se a segmentação semântica deve ser ativada.

Padrão: False.

• True: ativa a segmentação semântica e desativa a segmentação VAD.
• False (padrão): ativa a segmentação VAD e desativa a segmentação semântica.

A segmentação semântica é mais precisa e adequada para transcrição de reuniões. A segmentação VAD (Detecção de Atividade de Voz) tem menor latência e é ideal para cenários interativos.

max_sentence_silence

int

Não

Limiar de silêncio VAD para segmentação, em ms. Quando o silêncio após um segmento de fala excede esse limiar, o sistema determina que a frase terminou. Quando semantic_punctuation_enabled é definido como true, este parâmetro não é usado como critério para retornar sentence_end, mas defini-lo muito baixo pode afetar o desempenho do reconhecimento.

Valor padrão: 1300.

Valores válidos: [200, 6000].

multi_threshold_mode_enabled

bool

Não

Define se o modo de múltiplos limiares deve ser ativado. Quando ativado, impede que a segmentação VAD produza segmentos excessivamente longos.

Padrão: False.

punctuation_prediction_enabled

bool

Não

Define se a pontuação deve ser adicionada automaticamente aos resultados de reconhecimento:

• True (padrão): sim. Este valor não pode ser alterado.

heartbeat

bool

Não

Define se os pacotes de heartbeat devem ser ativados.

Padrão: False.

• True: mantém a conexão com o servidor ativa enquanto áudio silencioso é enviado continuamente.
• False (padrão): mesmo quando áudio silencioso é enviado continuamente, a conexão expira e fecha após um período de tempo.

Áudio silencioso refere-se a conteúdo em um arquivo de áudio ou fluxo de dados que não contém sinal sonoro. Você pode gerar áudio silencioso de várias formas, como usando software de edição de áudio como Audacity ou Adobe Audition, ou ferramentas de linha de comando como FFmpeg.

Este campo requer a versão 1.23.1 ou posterior do SDK.

language_hints

list[str]

Não

Idioma do áudio a ser reconhecido. Não há valor padrão; se não definido, o modelo detecta o idioma automaticamente.

Para a série de modelos Qwen-Audio-3.0-ASR-Flash-Streaming, você pode definir até 4 valores; se definir mais de 4, apenas os primeiros 4 terão efeito. Para a série de modelos Fun-ASR-Realtime, você pode definir apenas 1 valor; se definir vários, apenas o primeiro terá efeito.

speech_noise_threshold

float

Não

Limiar para distinguir fala de ruído, usado para ajustar a sensibilidade da Detecção de Atividade de Voz (VAD).

Valores válidos: [-1.0, 1.0].

Descrições dos valores:

• Quanto mais próximo de -1: o limiar de ruído diminui, tornando mais provável que ruído seja reconhecido como fala, o que pode causar a transcrição de mais ruído.
• Quanto mais próximo de +1: o limiar de ruído aumenta, tornando mais provável que fala seja erroneamente julgada como ruído, o que pode filtrar parte da fala.

Este é um parâmetro de configuração avançada. Ajustá-lo pode afetar significativamente os resultados de reconhecimento. Recomendações:

• Teste e verifique minuciosamente os resultados antes de ajustar.
• Ajuste em pequenos incrementos com base no ambiente de áudio real (recomenda-se um passo de 0.1).

special_word_filter

str

Não

Especifica as palavras sensíveis a serem processadas durante o reconhecimento de fala e permite definir diferentes métodos de processamento para cada uma. Para detalhes, consulte Sensitive word filtering.

callback

RecognitionCallback

Não

Callback interface (RecognitionCallback).

raw_input

dict

Não

Objeto de entrada usado para passar o contexto da conversa. O aprimoramento de contexto melhora a precisão do reconhecimento para termos específicos de domínio. Para uso, consulte Quick start.

O dict deve incluir uma chave context cujo valor é uma lista de mensagens (list[dict]). Cada mensagem contém os seguintes campos:

• role (str, obrigatório): a função da mensagem. user representa os resultados de reconhecimento de turnos anteriores do usuário ou uma lista de palavras específicas de domínio. assistant representa as respostas do modelo de linguagem grande de turnos anteriores.
• content (list[dict], obrigatório): a lista de conteúdo da mensagem. Cada elemento contém type (str; definido como input_text quando role é user, e text quando role é assistant) e text (str, o conteúdo de texto).

# Build the input to pass in
          input_context = {
              "context": [
                  {
                      "role": "user",
                      "content": [
                          {
                              "type": "input_text",
                              "text": "Hello there"
                          }
                      ]
                  },
                  {
                      "role": "assistant",
                      "content": [
                          {
                              "type": "text",
                              "text": "Hello, I am Qwen. How can I help you?"
                          }
                      ]
                  }
              ]
          }

          # Pass it in through the raw_input parameter
          recognition.start(raw_input=input_context)
          # Or
          recognition.call(raw_input=input_context)

call

def call(self, file: str, phrase_id: str = None, **kwargs) -> RecognitionResult

Chamada sem streaming baseada em arquivo local. Este método bloqueia a thread atual até que todo o áudio seja lido e requer permissão de leitura no arquivo.

O resultado do reconhecimento é retornado como um objeto RecognitionResult.

start

def start(self, phrase_id: str = None, **kwargs)

Inicia o reconhecimento de fala.

Reconhecimento em tempo real via streaming baseado em callback. Este método não bloqueia a thread atual. Use-o juntamente com send_audio_frame e stop.

send_audio_frame

def send_audio_frame(self, buffer: bytes)

Envia áudio. Mantenha cada quadro de áudio enviado nem muito grande nem muito pequeno: cerca de 100 ms por quadro, entre 1 KB e 16 KB.

Os resultados de reconhecimento são obtidos através do método on_event da Callback interface (RecognitionCallback).

stop

def stop(self)

Interrompe o reconhecimento de fala. Bloqueia até que o servidor termine de reconhecer todo o áudio recebido e então encerra a tarefa.

get_last_request_id

def get_last_request_id(self)

Obtém o request_id. Disponível após a chamada do construtor (criação do objeto).

get_first_package_delay

def get_first_package_delay(self)

Obtém o atraso do primeiro pacote: a latência desde o envio do primeiro pacote de áudio até o recebimento do primeiro resultado de reconhecimento. Use após a conclusão da tarefa.

get_last_package_delay

def get_last_package_delay(self)

Obtém o atraso do último pacote: o tempo desde o envio do comando stop até o recebimento do último resultado de reconhecimento. Use após a conclusão da tarefa.

get_response

def get_response(self)

Obtém a última mensagem. Use para recuperar um erro de falha na tarefa.

def on_open(self) -> None

None

None

Chamado imediatamente após o estabelecimento da conexão com o servidor.

def on_event(self, result: RecognitionResult) -> None

result: Recognition result (RecognitionResult)

None

Chamado quando o servidor envia uma resposta.

def on_complete(self) -> None

None

None

Chamado após o retorno de todos os resultados de reconhecimento.

def on_error(self, result: RecognitionResult) -> None

result: Recognition result (RecognitionResult)

None

Chamado quando ocorre um erro.

def on_close(self) -> None

None

None

Chamado após o servidor fechar a conexão.

get_sentence

def get_sentence(self) -> Union[Dict[str, Any], List[Any]]

Obtém a frase reconhecida atual e suas informações de timestamp. Um callback retorna uma única frase, portanto este método retorna Dict[str, Any].

Para detalhes, consulte Sentence (Sentence).

get_request_id

def get_request_id(self) -> str

Obtém o request_id da solicitação.

is_sentence_end

@staticmethod
def is_sentence_end(sentence: Dict[str, Any]) -> bool

Determina se a frase fornecida terminou. Este método verifica se o campo end_time em sentence é None: um end_time diferente de None indica que a frase terminou. Chame-o como RecognitionResult.is_sentence_end(sentence), onde sentence é o dict de frase única retornado por get_sentence(), não um campo booleano em uma instância de Sentence.

begin_time

int

Tempo de início da frase, em ms.

end_time

int

Tempo de término da frase, em ms.

text

str

Texto reconhecido.

words

Uma lista de Word-level timestamp information (Word)

Informações de timestamp no nível da palavra.

begin_time

int

Tempo de início da palavra, em ms.

end_time

int

Tempo de término da palavra, em ms.

text

str

A palavra.

punctuation

str

A pontuação.