Eventos de cliente de reconocimiento de voz en tiempo real de Paraformer events_Alibaba Cloud Model Studio(Model Studio) - Alibaba Cloud Model Studio

Dos eventos de cliente WebSocket controlan una tarea de reconocimiento de voz en tiempo real de Paraformer: run-task inicia la tarea con la configuración del modelo y de audio, y finish-task finaliza la tarea después de que se completa el flujo de audio. Esta página describe la estructura de mensajes y la semántica de campos de ambos eventos.

Guía del usuario: Para obtener detalles sobre el modelo y orientación para la selección, consulte Conversión de voz a texto.

Flujo de eventos: Para conocer la secuencia de interacción de eventos, consulte API de WebSocket.

run-task

Descripción: Inicia una tarea de reconocimiento de voz y configura parámetros como el modelo, el formato de audio y la frecuencia de muestreo.

Cuándo enviarlo: Inmediatamente después de establecer la conexión WebSocket.

Evento de respuesta: El servidor debe devolver el evento task-started antes de que se puedan enviar datos de audio.

headerobject(Obligatorio)

Propiedades

actionstring(Obligatorio)

Tipo de instrucción. Establézcalo en run-task.

task_idstring(Obligatorio)

ID de tarea generada por el cliente en formato UUID. Se usa para correlacionar eventos posteriores con esta tarea.

streamingstring(Obligatorio)

Establecido en duplex.

payloadobject(Obligatorio)

Propiedades

task_groupstring(Obligatorio)

Grupo de tareas. Establézcalo en audio.

taskstring(Obligatorio)

Tipo de tarea. Establézcalo en asr.

functionstring(Obligatorio)

Tipo de función. Establézcalo en recognition.

modelstring(Obligatorio)

Nombre del modelo.

inputobject(Obligatorio)

Establecido en {}.

parametersobject(Obligatorio)

Parámetros de reconocimiento de voz.

Propiedades

formatstring(Obligatorio)

Formato de audio.

Valores válidos:

pcm
wav
mp3
opus
speex
aac
amr

ImportanteParaformer aplica las siguientes restricciones:

opus y speex: Deben usar encapsulación Ogg.
wav: Debe usar codificación PCM.
amr: Solo se admite AMR-NB.

sample_rateinteger(Obligatorio)

Frecuencia de muestreo, en Hz.

Valores válidos:

Paraformer (varía según el modelo):
- paraformer-realtime-v2: Cualquier frecuencia de muestreo.
- paraformer-realtime-8k-v2: Solo 8000 Hz.

vocabulary_idstring(Opcional)

ID de vocabulario de palabras clave.

disfluency_removal_enabledboolean(Opcional)

ImportanteSolo Paraformer admite este parámetro.

Si se deben filtrar las muletillas.

Predeterminado: false.

language_hintsarray[string](Opcional)

Idioma del audio a reconocer. Sin valor predeterminado. Si no se establece, el modelo detecta el idioma automáticamente.

Valores válidos:

Paraformer:
- zh: Chino
- en: Inglés
- ja: Japonés
- yue: Cantonés
- ko: Coreano
- de: Alemán
- fr: Francés
- ru: Ruso

semantic_punctuation_enabledboolean(Opcional)

ImportanteSolo Paraformer v2 admite este parámetro.

Si se debe habilitar la segmentación de oraciones basada en semántica.

Predeterminado: false.

true: Habilita la segmentación basada en semántica y deshabilita la segmentación basada en VAD.
false (predeterminado): Habilita la segmentación basada en VAD y deshabilita la segmentación basada en semántica.

La segmentación basada en semántica es más precisa y adecuada para la transcripción de reuniones. La segmentación basada en VAD (Detección de Actividad de Voz) tiene menor latencia y es adecuada para escenarios interactivos.

max_sentence_silenceinteger(Opcional)

Importante

Solo Paraformer v2 admite este parámetro.
Solo tiene efecto cuando semantic_punctuation_enabled se establece en false.

Umbral de silencio para la segmentación de oraciones basada en VAD, en milisegundos. El sistema finaliza la oración actual cuando el silencio tras un segmento de voz supera este umbral.

Predeterminado: 1300.

Rango válido: [200, 6000].

multi_threshold_mode_enabledboolean(Opcional)

Importante

Solo Paraformer v2 admite este parámetro.
Solo tiene efecto cuando semantic_punctuation_enabled se establece en false.

Si se debe habilitar el modo de umbral múltiple. Cuando está habilitado, este modo evita que la segmentación basada en VAD produzca segmentos excesivamente largos.

Predeterminado: false.

punctuation_prediction_enabledboolean(Opcional)

ImportanteSolo Paraformer v2 admite este parámetro.

Si se debe añadir puntuación a los resultados de reconocimiento.

Predeterminado: true.

heartbeatboolean(Opcional)

ImportanteSolo Paraformer v2 admite este parámetro.

Si se deben habilitar los paquetes de latido.

Predeterminado: false.

true: Mantiene activa la conexión cuando solo se envía audio silencioso.
false (predeterminado): Incluso cuando se envía audio silencioso de forma continua, la conexión expira y se cierra después de un período de tiempo.

inverse_text_normalization_enabledboolean(Opcional)

ImportanteSolo Paraformer v2 admite este parámetro.

Si se debe habilitar la Normalización Inversa de Texto (ITN). Cuando está habilitada, los numerales chinos se convierten a números arábigos.

Predeterminado: true.

{
    "header": {
        "action": "run-task",
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "streaming": "duplex"
    },
    "payload": {
        "task_group": "audio",
        "task": "asr",
        "function": "recognition",
        "model": "paraformer-realtime-v2",
        "parameters": {
            "format": "pcm",
            "sample_rate": 16000,
            "disfluency_removal_enabled": false,
            "language_hints": [
                "en"
            ]
        },
        "input": {}
    }
}

finish-task

Descripción: Notifica al servidor que se han enviado todos los datos de audio y solicita que finalice la tarea.

Cuándo enviarlo: Después de que se hayan enviado todos los datos de audio.

Evento de respuesta: El servidor devuelve el evento task-finished.

headerobject(Obligatorio)

Propiedades

actionstring(Obligatorio)

Tipo de instrucción. Establézcalo en finish-task.

task_idstring(Obligatorio)

ID de tarea generada por el cliente en formato UUID. Debe coincidir con el task_id utilizado en el evento run-task.

streamingstring(Obligatorio)

Establecido en duplex.

payloadobject(Obligatorio)

Propiedades

inputobject(Obligatorio)

Establecido en {}.

{
    "header": {
        "action": "finish-task",
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "streaming": "duplex"
    },
    "payload": {
        "input": {}
    }
}