Qwen-Audio-TTS/CosyVoice server events - Alibaba Cloud Model Studio: Central de Documentação do Alibaba Cloud

Guia do usuário: Para introdução ao modelo e recomendações de seleção, consulte Síntese de fala.

task-started

Após o cliente enviar o comando run-task, o servidor retorna um evento task-started para indicar o início da tarefa. O cliente só pode enviar comandos subsequentes após receber esse evento.

header.task_idstring

ID da tarefa gerado pelo cliente.

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

header.eventstring

Tipo de evento. Valor fixo: task-started.

payloadobject

Objeto vazio.

result-generated

Após o envio de texto pelo cliente, o servidor retorna continuamente eventos result-generated. Cada evento contém metadados no nível da frase.

header.task_idstring

ID da tarefa gerado pelo cliente.

sentence-begin

{
  "header": {
    "task_id": "3f2d5c86-0550-45c0-801f-xxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": []
      },
      "type": "sentence-begin",
      "original_text": "Before my bed, moonlight shines bright,"
    }
  }
}

sentence-synthesis

{
    "header": {
        "task_id": "3f2d5c86-0550-45c0-801f-xxxxxxxxxx",
        "event": "result-generated",
        "attributes": {}
    },
    "payload": {
        "output": {
            "sentence": {
                "index": 0,
                "words": []
            },
            "type": "sentence-synthesis"
        }
    }
}

sentence-end

{
  "header": {
    "task_id": "3f2d5c86-0550-45c0-801f-xxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": [
          {
            "text": "Before",
            "begin_index": 0,
            "end_index": 1,
            "begin_time": 0,
            "end_time": 263
          }
        ]
      },
      "type": "sentence-end",
      "original_text": "Before my bed, moonlight shines bright,"
    },
    "usage": {
      "characters": 6
    }
  }
}

header.eventstring

Tipo de evento. Valor fixo: result-generated.

payload.outputobject

Informações de saída.

Properties

typestring

Tipo de subevento. Valores válidos:

sentence-begin: Início da frase. Retorna o texto a ser sintetizado.
sentence-synthesis: Marca um quadro de áudio. Um quadro de áudio é transmitido pelo canal binário WebSocket imediatamente após cada evento.
sentence-end: Fim da frase. Retorna o conteúdo textual e a contagem cumulativa de caracteres.

sentence.indexinteger

Índice da frase, começando em 0.

sentence.wordsarray

Array de carimbos de data/hora no nível da palavra.

words element properties

textstring

Conteúdo textual da palavra.

begin_indexinteger

Índice do caractere inicial da palavra na frase. Começa em 0.

end_indexinteger

Índice do caractere final da palavra na frase. Começa em 1.

begin_timeinteger

Tempo inicial do áudio correspondente à palavra, em milissegundos.

end_timeinteger

Tempo final do áudio correspondente à palavra, em milissegundos.

original_textstring

Texto da frase conforme segmentado para síntese.

payload.usageobject

Informações de faturamento, retornadas no evento sentence-end.

Properties

charactersinteger

Número cumulativo de caracteres faturados.

task-finished

O servidor retorna um evento task-finished ao concluir a tarefa. Nesse momento, o cliente pode fechar a conexão WebSocket ou reutilizá-la para iniciar uma nova tarefa.

header.task_idstring

ID da tarefa gerado pelo cliente.

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-finished",
    "attributes": {
      "request_uuid": "0a9dba9e-d3a6-45a4-be6d-xxxxxxxxxxxx"
    }
  },
  "payload": {
    "usage": {
      "characters": 13
    }
  }
}

header.eventstring

Tipo de evento. Valor fixo: task-finished.

payload.usage.charactersinteger

Número cumulativo de caracteres faturados.

task-failed

O servidor retorna um evento task-failed quando a tarefa falha. Ao receber esse evento, o cliente deve fechar a conexão WebSocket e tratar o erro.

header.task_idstring

ID da tarefa gerado pelo cliente.

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "[tts:]Engine return error code: 418",
    "attributes": {}
  },
  "payload": {}
}

header.eventstring

Tipo de evento. Valor fixo: task-failed.

header.error_codestring

Código de erro.

header.error_messagestring

Mensagem de erro detalhada.