Alibaba Cloud Model Studio:Fun-ASR-Realtime SDK de Android para reconocimiento de voz en tiempo real

Esta guía le muestra cómo utilizar el SDK de Android para el reconocimiento de voz en tiempo real de Fun-ASR-Realtime con el fin de convertir voz a texto.

Inicio rápido

1. Obtener una clave API

2. Descargue el SDK y ejecute el código de ejemplo:
   • Descargue el paquete más reciente del SDK.
   • Extraiga el paquete ZIP. El SDK en formato AAR se encuentra en el directorio app/libs. Agréguelo a las dependencias de su proyecto. Para la integración con Android C++, utilice android_libs y android_include del paquete ZIP para obtener las bibliotecas dinámicas y los archivos de encabezado.
   • Abra el proyecto en Android Studio. El código de muestra se encuentra en DashFunAsrSpeechTranscriberActivity.java. Reemplace la clave API para probar la función.

Procedimiento de llamada

1. Inicialice el SDK.
2. Configure los parámetros para su caso de uso. Utilice el argumento parameters del método initialize para establecer los Parámetros de conexión y control, y utilice el método setParams para establecer los Parámetros de reconocimiento de voz.
3. Llame a startDialog para iniciar el reconocimiento.
4. En la devolución de llamada onNuiAudioStateChanged, inicie el dispositivo de grabación según el estado del audio.
5. Proporcione datos de grabación continuamente en la devolución de llamada onNuiNeedAudioData, o envíe activamente datos de grabación llamando a updateAudio.
6. En la devolución de llamada onNuiEventCallback, escuche los eventos y obtenga los resultados del reconocimiento de voz.
7. Llame a stopDialog para detener el reconocimiento y escuche el evento EVENT_TRANSCRIBER_COMPLETE para confirmar que el reconocimiento ha finalizado.
8. Cuando ya no necesite el reconocimiento, llame a release para liberar los recursos del SDK.

Parámetros de solicitud

Parámetros de conexión y control

Para configurar estos parámetros, pase una cadena JSON en el argumento parameters del método initialize.

Ejemplo: El siguiente es un ejemplo de cadena JSON. No se enumeran todos los parámetros. Agregue otros según sea necesario cuando escriba su código:

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

Parámetros de reconocimiento de voz

Para configurar estos parámetros, pase una cadena JSON en el argumento params del método setParams.

Ejemplo: El siguiente es un ejemplo de cadena JSON. No se enumeran todos los parámetros. Agregue otros según sea necesario cuando escriba su código:

{
    "service_type": 4,
    "nls_config": {
        "model": "fun-asr-realtime",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

Interfaces clave

NativeNui

initialize

Inicializa una instancia del SDK de reconocimiento de voz. El SDK es un singleton. No lo inicialice más de una vez antes de llamar a release.

Este método es bloqueante, así que llámelo en un hilo que no sea de UI.

public synchronized int initialize(final INativeNuiCallback callback,
                                   String parameters,
                                   final Constants.LogLevel level,
                                   final boolean save_log)

Un código de error.

setParams

Establece los parámetros de reconocimiento de voz en formato JSON. Llame a este método antes de startDialog.

public synchronized int setParams(String params)

Un código de error.

startDialog

Inicia el reconocimiento.

public synchronized int startDialog(VadMode vad_mode, String dialog_params)

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

Un código de error.

stopDialog

Finaliza el reconocimiento. Después de llamar a este método, el servidor devuelve el resultado final del reconocimiento y termina la tarea.

public synchronized int stopDialog();

Un código de error.

cancelDialog

Finaliza el reconocimiento inmediatamente. Después de llamar a este método, la tarea termina de inmediato sin esperar a que el servidor devuelva el resultado final del reconocimiento.

public synchronized int cancelDialog();

Un código de error.

updateAction

Envía una acción en tiempo de ejecución para notificar al AEC en el dispositivo el estado de reproducción.

public synchronized int updateAction(String params);

Un código de error.

updateAudio

Cuando audio_update_manually se establece en "true", llame a este método para enviar activamente datos de grabación en lugar de proporcionar los datos a través de onNuiNeedAudioData.

public synchronized int updateAudio(byte[] data, int len,
                                    boolean first_pack);

Un código de error.

updateRefAudio

Cuando audio_update_manually se establece en "true" y el AEC en el dispositivo está habilitado, llame a este método para enviar el audio reproducido por el reproductor como señal de referencia.

public synchronized int updateRefAudio(byte[] data, int len,
                                       boolean first_pack);

Un código de error.

release

Libera todos los recursos internos del SDK. Después de llamar a este método, la instancia del SDK deja de estar disponible. Para usarla nuevamente, debe reinicializarla llamando a initialize.

public synchronized int release();

Un código de error.

GetVersion

Obtiene la información de la versión actual del SDK.

public synchronized String GetVersion();

La información de la versión actual del SDK.

INativeNuiCallback: callbacks de escucha

onNuiEventCallback: escucha de eventos y resultados del reconocimiento de voz

void onNuiEventCallback(NuiEvent event, final int resultCode, final int arg2, KwsResult kwsResult, AsrResult asrResult);

onNuiAudioStateChanged: escucha del estado de audio

El SDK utiliza esta devolución de llamada para notificarle cuándo iniciar o detener la grabación.

void onNuiAudioStateChanged(AudioState state);

onNuiNeedAudioData: suministro de los datos de audio a reconocer

Después de que comienza el reconocimiento, esta devolución de llamada se activa continuamente. Proporcione los datos de audio a reconocer en esta devolución de llamada.

int onNuiNeedAudioData(byte[] buffer, int len);

El número de bytes realmente rellenados.

onNuiAssistEventCallback: recepción de eventos y datos auxiliares

Este callback recibe eventos auxiliares y datos relacionados del SDK.

void onNuiAssistEventCallback_(int event, byte[] info, int info_len,
                               byte[] data);

onNuiLogTrackCallback: escucha de registros de seguimiento

Esta devolución de llamada recibe registros internos detallados del SDK para ayudar en la resolución de problemas y la depuración.

default void onNuiLogTrackCallback(Constants.LogLevel level, String log)

NuiEvent: tipos de eventos