Alibaba Cloud Model Studio:Fun-ASR-Realtime iOS SDK

Conheça os parâmetros, as interfaces, os callbacks e o uso do SDK iOS para Fun-ASR-Realtime.

Início rápido

1. Obter uma chave de API: Obter uma chave de API

2. Baixe o SDK e execute o código de exemplo:
   • Baixe o pacote mais recente do SDK.
   • Extraia o pacote ZIP e adicione o arquivo nuisdk.xcframework incluído ao projeto.
   • Em Build Phases → Link Binary With Libraries, adicione nuisdk.xcframework.
   • Em General → Frameworks, Libraries, and Embedded Content, defina nuisdk.xcframework como Embed & Sign.
   • Abra o projeto de exemplo no Xcode. O código está em DashFunAsrSpeechTranscriberViewController.m. Substitua a chave de API pela sua para testar o recurso.

Sequência de chamadas

1. Inicialize o SDK.
2. Configure os parâmetros conforme seu caso de uso: use nui_initialize para os parâmetros de conexão e controle, e nui_set_params para os parâmetros de qualidade do reconhecimento.
3. Chame nui_dialog_start para iniciar o reconhecimento.
4. No callback onNuiAudioStateChanged, abra o dispositivo de gravação conforme o estado do áudio.
5. Forneça continuamente os dados gravados em onNuiNeedAudioData ou chame nui_update_audio_data para enviá-los ativamente.
6. Em onNuiEventCallback, monitore os eventos e obtenha os resultados de reconhecimento de fala.
7. Chame nui_dialog_cancel para interromper o reconhecimento e confirme sua conclusão pelo evento EVENT_TRANSCRIBER_COMPLETE.
8. Quando o reconhecimento não for mais necessário, chame nui_release para liberar os recursos do SDK.

Parâmetros da solicitação

Parâmetros de conexão e controle

Configure esses parâmetros passando uma string JSON no argumento parameters de nui_initialize.

Exemplo de parâmetros: A string JSON a seguir é um exemplo e não lista todos os parâmetros. Adicione os parâmetros necessários ao escrever o código.

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

Parâmetros de qualidade do reconhecimento

Configure esses parâmetros passando uma string JSON no argumento params de nui_set_params.

Exemplo de parâmetros: A string JSON a seguir é um exemplo e não lista todos os parâmetros. Adicione os parâmetros necessários ao escrever o código.

{
    "service_type": 4,
    "nls_config": {
        "model": "fun-asr-realtime",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

APIs principais

NeoNui

nui_initialize

Inicializa a instância do SDK de reconhecimento de fala. O SDK é um singleton. Não o reinicialize antes de chamar nui_release.

-(NuiResultCode) nui_initialize:(const char *)parameters
                       logLevel:(NuiSdkLogLevel)level
                        saveLog:(BOOL)save_log;

nui_set_params

Define os parâmetros de qualidade do reconhecimento em JSON. Chame antes de nui_dialog_start.

-(NuiResultCode) nui_set_params:(const char *)params;

nui_dialog_start

Inicia o reconhecimento.

-(NuiResultCode) nui_dialog_start:(NuiVadMode)vad_mode
                      dialogParam:(const char *)dialog_params;

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

nui_dialog_cancel

Encerra o reconhecimento ou cancela imediatamente a interação atual.

-(NuiResultCode) nui_dialog_cancel:(BOOL)force;

nui_dialog_action

Envia uma ação em tempo de execução para informar ao AEC no dispositivo o estado da reprodução.

-(NuiResultCode) nui_dialog_action:(const char *)action_params;

nui_update_audio_data

Quando audio_update_manually é "true", os dados gravados deixam de ser fornecidos por onNuiNeedAudioData. Use este método para enviá-los ativamente.

-(NuiResultCode) nui_update_audio_data:(const char *)data
                                    Len:(int)length
                              FirstPack:(BOOL)first_pack;

nui_push_reference_data

Quando audio_update_manually é "true" e o AEC no dispositivo está habilitado, use este método para enviar o áudio reproduzido como sinal de referência.

-(NuiResultCode) nui_push_reference_data:(const char *)data
                                     Len:(int)length
                               FirstPack:(BOOL)first_pack;

nui_release

Libera todos os recursos internos do SDK e encerra forçadamente todas as tarefas em execução. A instância fica indisponível. Para reutilizá-la, inicialize-a novamente com nui_initialize.

-(NuiResultCode) nui_release;

nui_get_version

Obtém a versão atual do SDK. Só retorna um valor após a chamada de nui_initialize.

-(const char*) nui_get_version;

A versão atual do SDK.

nui_get_all_response

Obtém as informações completas do callback do evento atual.

-(const char*) nui_get_all_response;

As informações completas do evento como uma string JSON.

NeoNuiSdkDelegate: listeners de callback

onNuiEventCallback: receber eventos e resultados de reconhecimento de fala

-(void) onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                    dialog:(long)dialog
                 kwsResult:(const char *)wuw
                 asrResult:(const char *)asr_result
                  ifFinish:(BOOL)finish
                   retCode:(int)code;

onNuiAudioStateChanged: monitorar o estado do áudio

O SDK usa este callback para informar quando iniciar ou parar a gravação.

-(void) onNuiAudioStateChanged:(NuiAudioState)state;

onNuiNeedAudioData: fornecer áudio para reconhecimento

Após o início do reconhecimento, este callback é acionado continuamente. Forneça nele os dados de áudio a reconhecer.

-(int) onNuiNeedAudioData:(char *)audioData length:(int)len;

onNuiAssistEventCallback: receber dados e informações auxiliares

Recebe eventos auxiliares e dados relacionados do SDK.

-(void) onNuiAssistEventCallback:(NuiCallbackEvent)nuiEvent
                            info:(char*)info
                         infoLen:(int)info_len
                          buffer:(char*)buffer
                             len:(int)len;

onNuiLogTrackCallback: receber logs de rastreamento

Este callback recebe os logs internos detalhados do SDK para ajudar a localizar e depurar problemas.

-(void) onNuiLogTrackCallback:(NuiSdkLogLevel)level
                   logMessage:(const char *)log;

NuiCallbackEvent: tipos de evento