Alibaba Cloud Model Studio:Fun-ASR-Realtime SDK de iOS para reconocimiento de voz en tiempo real

Esta guía le muestra cómo utilizar el SDK de iOS para reconocimiento de voz en tiempo real de Fun-ASR-Realtime para transcribir voz a texto.

Inicio rápido

1. Obtener una clave de API: Obtener una clave de API

2. Descargue el SDK y ejecute el código de ejemplo:
   • Descargue el paquete más reciente del SDK.
   • Extraiga el paquete ZIP y agregue el nuisdk.xcframework incluido a su proyecto.
   • En Build Phases → Link Binary With Libraries, agregue nuisdk.xcframework.
   • En General → Frameworks, Libraries, and Embedded Content, configure nuisdk.xcframework en Embed & Sign.
   • Abra el proyecto de ejemplo en Xcode. El código de ejemplo se encuentra en DashFunAsrSpeechTranscriberViewController.m. Reemplace la clave API por la suya propia para probar la función.

Secuencia de llamadas

1. Inicialice el SDK.
2. Configure los parámetros para su caso de uso: utilice la API nui_initialize para establecer los Parámetros de conexión y control, y utilice la API nui_set_params para establecer los Parámetros de calidad de reconocimiento.
3. Llame a nui_dialog_start para iniciar el proceso de reconocimiento.
4. En la devolución de llamada onNuiAudioStateChanged, abra el dispositivo de grabación según el estado del audio.
5. En la devolución de llamada onNuiNeedAudioData, suministre datos de grabación continuamente o llame a nui_update_audio_data para enviar activamente los datos de grabación.
6. En la devolución de llamada onNuiEventCallback, escuche los eventos y recupere los resultados del reconocimiento de voz.
7. Llame a nui_dialog_cancel para detener el reconocimiento y confirme que el reconocimiento ha finalizado escuchando el evento EVENT_TRANSCRIBER_COMPLETE.
8. Cuando ya no necesite la función de reconocimiento, llame a nui_release para liberar los recursos del SDK.

Parámetros de solicitud

Parámetros de conexión y control

Configure estos parámetros pasando una cadena JSON en el argumento parameters de la API nui_initialize.

Parámetros de ejemplo: La siguiente cadena JSON es un ejemplo y no enumera todos los parámetros. Agregue los parámetros que necesite al escribir su código:

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

Parámetros de calidad de reconocimiento

Configure estos parámetros pasando una cadena JSON en el argumento params de la API nui_set_params.

Parámetros de ejemplo: La siguiente cadena JSON es un ejemplo y no enumera todos los parámetros. Agregue los parámetros que necesite al escribir su código:

{
    "service_type": 4,
    "nls_config": {
        "model": "fun-asr-realtime",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

API clave

NeoNui

nui_initialize

Inicializa la instancia del SDK de reconocimiento de voz. El SDK es un singleton. No lo inicialice de nuevo antes de llamar a nui_release.

-(NuiResultCode) nui_initialize:(const char *)parameters
                       logLevel:(NuiSdkLogLevel)level
                        saveLog:(BOOL)save_log;

nui_set_params

Establece los parámetros de calidad de reconocimiento en formato JSON. Llame a este método antes de nui_dialog_start.

-(NuiResultCode) nui_set_params:(const char *)params;

nui_dialog_start

Inicia el reconocimiento.

-(NuiResultCode) nui_dialog_start:(NuiVadMode)vad_mode
                      dialogParam:(const char *)dialog_params;

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

nui_dialog_cancel

Finaliza el reconocimiento o cancela la interacción actual inmediatamente.

-(NuiResultCode) nui_dialog_cancel:(BOOL)force;

nui_dialog_action

Envía una acción en tiempo de ejecución para notificar al AEC en el dispositivo el estado de reproducción.

-(NuiResultCode) nui_dialog_action:(const char *)action_params;

nui_update_audio_data

Cuando audio_update_manually se establece en "true", los datos de grabación ya no se suministran a través de onNuiNeedAudioData. Utilice este método para enviarlos activamente en su lugar.

-(NuiResultCode) nui_update_audio_data:(const char *)data
                                    Len:(int)length
                              FirstPack:(BOOL)first_pack;

nui_push_reference_data

Cuando audio_update_manually se establece en "true" y la cancelación de eco acústico (AEC) en el dispositivo está habilitada, utilice este método para enviar el audio reproducido por el reproductor como señal de referencia.

-(NuiResultCode) nui_push_reference_data:(const char *)data
                                     Len:(int)length
                               FirstPack:(BOOL)first_pack;

nui_release

Libera todos los recursos internos del SDK y termina forzosamente todas las tareas en ejecución. Después de llamar a este método, la instancia del SDK deja de estar disponible. Para utilizarla de nuevo, debe llamar a nui_initialize para inicializarla nuevamente.

-(NuiResultCode) nui_release;

nui_get_version

Obtiene la versión actual del SDK. Este método devuelve un valor solo después de llamar a nui_initialize.

-(const char*) nui_get_version;

La versión actual del SDK.

nui_get_all_response

Obtiene la información completa para la devolución de llamada del evento actual.

-(const char*) nui_get_all_response;

La información completa del evento como una cadena JSON.

NeoNuiSdkDelegate: listeners de devolución de llamada

onNuiEventCallback: escucha de eventos y resultados del reconocimiento de voz

-(void) onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                    dialog:(long)dialog
                 kwsResult:(const char *)wuw
                 asrResult:(const char *)asr_result
                  ifFinish:(BOOL)finish
                   retCode:(int)code;

onNuiAudioStateChanged: escucha del estado de audio

El SDK utiliza esta devolución de llamada para notificarle cuándo iniciar o detener la grabación.

-(void) onNuiAudioStateChanged:(NuiAudioState)state;

onNuiNeedAudioData: suministrar datos de audio para el reconocimiento

Después de que comienza el reconocimiento, esta devolución de llamada se activa continuamente. Suministre en ella los datos de audio que se van a reconocer.

-(int) onNuiNeedAudioData:(char *)audioData length:(int)len;

onNuiAssistEventCallback: recepción de datos e información auxiliar

Recibe eventos auxiliares y datos relacionados del SDK.

-(void) onNuiAssistEventCallback:(NuiCallbackEvent)nuiEvent
                            info:(char*)info
                         infoLen:(int)info_len
                          buffer:(char*)buffer
                             len:(int)len;

onNuiLogTrackCallback: escuchar registros de seguimiento

Esta devolución de llamada recibe los registros internos detallados del SDK para ayudarle a localizar y depurar problemas.

-(void) onNuiLogTrackCallback:(NuiSdkLogLevel)level
                   logMessage:(const char *)log;

NuiCallbackEvent: tipos de eventos