Qwen-Audio-ASR-Message サーバーイベント - Alibaba Cloud Model Studio

Qwen-Audio-ASR-Message リアルタイム音声認識サービスは、WebSocket を介してサーバー側イベントをクライアントにプッシュします。このトピックでは、task-started、result-generated、task-finished、task-failed の 4 種類のイベントのデータ構造とフィールドについて説明します。

task-started

タスクが正常に開始しました。クライアントは音声データの送信を開始できます。

headerobject

プロパティ

task_idstring

クライアントが生成したタスク ID（UUID 形式）。

eventstring

イベントタイプ。値は常に task-started です。

attributesobject

追加属性。通常は空です。

payloadobject

値は常に {} です。

{
    "header": {
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "event": "task-started",
        "attributes": {}
    },
    "payload": {}
}

result-generated

認識結果。デフォルトでは文の最終テキスト（sentence_end=true）を返します。intermediate_result_enabled=true に設定すると、中間テキスト（sentence_end=false）も返します。中間テキストは修正されることがあるため、連結せずに sentence_id ごとに表示を更新してください。文の開始イベントでは sentence_begin=true と空のテキストが返されることがあります。

headerobject

プロパティ

task_idstring

クライアントが生成したタスク ID（UUID 形式）。

eventstring

イベントタイプ。値は常に result-generated です。

payloadobject

プロパティ

outputobject

プロパティ

sentenceobject

プロパティ

begin_timeinteger

文の開始時刻（ミリ秒）。

end_timeinteger

文の終了時刻（ミリ秒）。

textstring

認識されたテキスト。

heartbeatboolean

値が true の場合、結果はハートビートパケットのため無視できます。

sentence_beginboolean

文の開始を示します。

sentence_endboolean

文が終了したかどうか（true：最終結果、false：中間結果）。

sentence_idinteger

文の連番。通常の認識結果では sentence_id は 1 から増加します。heartbeat が true（ハートビートパケット）の場合、sentence_id は常に 0 です。

wordsarray[object]

単語レベルのタイムスタンプ情報。

プロパティ

begin_timeinteger

単語の開始時刻（ミリ秒）。

end_timeinteger

単語の終了時刻（ミリ秒）。

textstring

認識されたテキスト。

punctuationstring

句読点。

usageobject

このイベント時点での現在のタスクの累積使用量。

プロパティ

durationinteger

互換性のために保持される累積音声時間（秒）。

input_tokensinteger

入力トークンの累積数。

output_tokensinteger

出力トークンの累積数。

total_tokensinteger

累積トークン総数。input_tokens と output_tokens の合計。

文の開始結果：

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "sentence_id": 1,
        "begin_time": 0,
        "end_time": null,
        "text": "",
        "channel_id": 0,
        "speaker_id": null,
        "sentence_end": false,
        "sentence_begin": true,
        "words": []
      }
    }
  }
}

最終結果：

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "sentence_id": 1,
        "begin_time": 120,
        "end_time": 1700,
        "text": "欢迎使用阿里云。",
        "channel_id": 0,
        "speaker_id": null,
        "sentence_end": true,
        "words": [
          {
            "begin_time": 120,
            "end_time": 520,
            "text": "欢迎",
            "punctuation": "",
            "fixed": false,
            "speaker_id": null
          },
          {
            "begin_time": 520,
            "end_time": 880,
            "text": "使用",
            "punctuation": "",
            "fixed": false,
            "speaker_id": null
          },
          {
            "begin_time": 880,
            "end_time": 1700,
            "text": "阿里云",
            "punctuation": "。",
            "fixed": false,
            "speaker_id": null
          }
        ],
        "stash": {
          "sentence_id": 2,
          "text": "",
          "begin_time": 1700,
          "current_time": 1700,
          "words": []
        }
      }
    },
    "usage": {
      "duration": 2,
      "input_tokens": 84,
      "output_tokens": 4,
      "total_tokens": 88
    }
  }
}

task-finished

タスクが正常に終了しました。接続を閉じるか、再利用できます。

headerobject

プロパティ

task_idstring

クライアントが生成したタスク ID（UUID 形式）。

eventstring

イベントタイプ。値は常に task-finished です。

attributesobject

追加属性。通常は空です。

payloadobject

output（空のオブジェクト）と usage（このタスクの最終累積使用量）を含みます。usage の各フィールドは result-generated と同じ定義です。

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-finished",
    "attributes": {}
  },
  "payload": {
    "output": {},
    "usage": {
      "duration": 2,
      "input_tokens": 84,
      "output_tokens": 4,
      "total_tokens": 88
    }
  }
}

task-failed

タスクが失敗しました。接続は閉じられ、再利用できません。

headerobject

プロパティ

task_idstring

クライアントが生成したタスク ID（UUID 形式）。

eventstring

イベントタイプ。値は常に task-failed です。

error_codestring

エラーの種類の説明。

error_messagestring

エラーの具体的な原因。

attributesobject

追加属性。通常は空です。

payloadobject

値は常に {} です。

{
    "header": {
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "event": "task-failed",
        "error_code": "CLIENT_ERROR",
        "error_message": "request timeout after 23 seconds.",
        "attributes": {}
    },
    "payload": {}
}