Intelligent Media Services:QuerySmarttagJob

コールバックメッセージのフォーマット スマートタグジョブの実行ステータスが変更されると、MPS は MPS UpdatePipeline API で指定したキューにコールバックメッセージを送信します。メッセージ本文は、次のフィールドを含む JSON 文字列です：

パラメーター	タイプ	説明
Type	文字列	値が smarttag の固定文字列であり、スマートタグジョブを示します。
JobId	文字列	ジョブの一意の ID です。
State	文字列	ジョブの現在の状態です。この値は、QuerySmarttagJob API が返す JobStatus と一致します。
UserData	文字列	SubmitSmarttagJob API に渡されるユーザーデータです。

結果パラメーター

VideoLabel データ構造

パラメーター	タイプ	説明
persons	JSONArray	検出された人物をそれぞれ表すオブジェクトの配列です。
persons.name	文字列	認識された人物の名前です。
persons.category	文字列	人物のカテゴリです。 指定できる値は celebrity、politician、sensitive (センシティブな人物)、unknown (不明な人物) です。 カスタム人物ライブラリ内の人物の場合、このフィールドにはライブラリの ID が含まれます。
persons.ratio	double	人物の出現比率です。 値の範囲は 0～1 です。
persons.occurrences	JSONArray	人物の各出現を詳述するオブジェクトの配列です。
persons.occurrences.score	double	認識の信頼度スコアです。
persons.occurrences.from	double	人物の出現開始時刻です (単位：秒)。
persons.occurrences.to	double	人物の出現終了時刻です (単位：秒)。
persons.occurrences.position	JSONObject	顔の座標です。
persons.occurrences.position.leftTop	int[]	顔のバウンディングボックスの左上隅の x 座標と y 座標です。
persons.occurrences.position.rightBottom	int[]	顔のバウンディングボックスの右下隅の x 座標と y 座標です。
persons.occurrences.timestamp	double	顔の座標に対応するタイムスタンプです (単位：秒)。
persons.occurrences.scene	文字列	ショットタイプです。 指定できる値は closeUp (クローズアップショット)、medium-closeUp (ミディアムクローズアップショット)、medium (ミディアムショット)、medium-long (ミディアムロングショット) です。
tags	JSONArray	オブジェクトやシーンなど、検出されたタグを表すオブジェクトの配列です。 例については、以下の表をご参照ください。
tags.mainTagName	文字列	メインタグです。
tags.subTagName	文字列	サブタグです。
tags.ratio	double	タグの出現比率です。 値の範囲は 0～1 です。
tags.occurrences	JSONArray	タグの各出現を詳述するオブジェクトの配列です。
tags.occurrences.score	double	タグの信頼度スコアです。
tags.occurrences.from	double	出現開始時刻です (単位：秒)。
tags.occurrences.to	double	出現終了時刻です (単位：秒)。
classifications	JSONArray	各動画分類を表すオブジェクトの配列です。
classifications.score	double	分類の信頼度スコアです。
classifications.category1	文字列	Lifestyle、Anime、Automotive などのレベル 1 カテゴリです。
classifications.category2	文字列	レベル 2 のカテゴリで、レベル 1 カテゴリのサブカテゴリです。 例えば、Lifestyle カテゴリには Health や Home などのサブカテゴリが含まれます。

ビデオタグの例

タグ	例
番組	「パパはどこへ行く?」、「トップお笑い芸人」
キャラクター	医者、看護師、教師
オブジェクト	ピアノ、カップ、テーブル、トマトと卵の炒め物、車、化粧品
ロゴ	CCTV-1、CCTV-2、Youku、Dragon TV
アクション	ダンス、キス、抱擁、会合、歌唱、通話、乗馬、格闘
ロケーション	天安門広場、自由の女神、楽山大仏、中国、アメリカ合衆国
シーン	寝室、地下鉄の駅、棚田、ビーチ、砂漠

ImageLabel のデータ構造

パラメーター	タイプ	説明
persons	JSONArray	検出された各人物を表すオブジェクトの配列です。
persons.name	文字列	認識された人物の名前。
persons.category	文字列	人物のカテゴリ。有効な値は celebrity、politician、sensitive です。
persons.score	double	検出された人物の信頼度スコア。
persons.position	JSONObject	顔の座標。
persons.position.leftTop	int[]	バウンディングボックスの左上隅のx座標とy座標。
persons.position.rightBottom	int[]	バウンディングボックスの右下隅のx座標とy座標。
persons.scene	文字列	ショット。有効な値は、closeUp (クローズアップ)、medium-closeUp (ミディアムクローズアップ)、medium (ミディアムショット)、medium-long (ミディアムロングショット) です。
tags	JSONArray	検出されたオブジェクトとシーンのタグ。詳細については、以下の表の例をご参照ください。
tags.mainTagName	文字列	メインタグ。
tags.subTagName	文字列	サブタグ。
tags.score	double	タグの信頼度スコア。

イメージタグの例

メインタグ	サブタグ
キャラクター	例：医者、看護師、教師
ロケーション	例：天安門広場、自由の女神、楽山大仏、中国、アメリカ合衆国
アクション	例：話す
ロゴ	例：CCTV1、CCTV2、Youku、Dragon TV
アクション	例：踊る、キスする、抱きしめる、会う、歌う、電話をかける、乗馬する、戦う
オブジェクト	例：ピアノ、カップ、テーブル、トマトと卵炒め、車、化粧品
シーン	例：寝室、地下鉄の駅、棚田、ビーチ、砂漠

テキストラベルのデータ構造（ソース： ASR および OCR）

パラメーター	タイプ	説明
tags	JSONArray	リソースのタグのリスト。
tags.name	文字列	タグのキー。
tags.value	文字列	タグの値。複数の値はカンマで区切ります。

イメージタグの例

パラメーター	値
地域	例：東京タワー、自由の女神、富士山、日本、アメリカ合衆国
組織	例：世界自然保護基金、日本放送協会
ロゴ	例：ナイキ、トヨタ
キーワード	例：コアストレングス

CPVLabel データ構造

• cates ：階層カテゴリ (例：レベル 1、レベル 2、レベル 3)。

• entities ：カテゴリ属性 (知識グラフ情報により強化)。

• hotwords ：人気キーワード (ユーザーの関心を反映する用語)。

• freeTags ：自由形式タグ (ユーザー定義キーワード)。

パラメーター	タイプ	サンプル値	説明
type	文字列	hmi	結果タイプです。有効な値： hmi (ヒューマンマシンインタラクションの結果)、 autp (自動タグ付けの結果)。
cates	JSONArray	-	カテゴリ分類の結果です。
cates.labelLevel1	文字列	Travel	レベル 1 ラベルです。
cates.labelLevel2	文字列	Travel Scenery	レベル 2 ラベルです。
cates.label	文字列	""	ラベル名です。アルゴリズムが空の文字列を返す場合があります。
cates.appearanceProbability	double	0.96	出現確率です。
cates.detailInfo	JSONArray	-	カテゴリの詳細情報です。
cates.detailInfo.score	double	0.9	信頼度スコアです。
cates.detailInfo.startTime	double	0.021	開始時刻です。
cates.detailInfo.endTime	double	29.021	終了時刻です。
entities	JSONArray	-	検出されたエンティティです。
entities.labelLevel1	文字列	Region	レベル 1 ラベルです。
entities.labelLevel2	文字列	Landmark	レベル 2 ラベルです。
entities.label	文字列	Huangguoshu Waterfall	ラベル名です。
entities.appearanceProbability	double	0.067	出現確率です。
entities.knowledgeInfo	文字列	{"name": "黄果树瀑布", "nameEn": "Huangguoshu Waterfall", "description": "亚洲四大瀑布之一"}	知識グラフからの情報です。フィールドの完全なリストについては、次の知識グラフタイプの表をご参照ください：映画およびテレビ IP、音楽、人物、ランドマーク、オブジェクト。
entities.detailInfo	JSONArray	-	エンティティの詳細情報です。
entities.detailInfo.score	double	0.33292606472969055	信頼度スコアです。
entities.detailInfo.startTime	double	6.021	開始時刻です。
entities.detailInfo.endTime	double	8.021	終了時刻です。
entities.detailInfo.trackData	JSONArray	-	エンティティラベルの構造化情報です。
entities.detailInfo.trackData.score	double	0.32	信頼度スコアです。
entities.detailInfo.trackData.bbox	integer[]	23, 43, 45, 67	バウンディングボックスの座標です。
entities.detailInfo.trackData.timestamp	double	7.9	タイムスタンプです。
hotwords	JSONArray	-	検出されたホットワードです。
hotwords.labelLevel1	文字列	keyword	レベル 1 ラベルです。
hotwords.labelLevel2	文字列	""	レベル 2 ラベルです。
hotwords.label	文字列	中国气象局	ホットワードの内容です。
hotwords.appearanceProbability	double	0.96	出現確率です。
hotwords.detailInfo	JSONArray	-	ホットワードの詳細情報です。
hotwords.detailInfo.score	double	1.0	信頼度スコアです。
hotwords.detailInfo.startTime	double	0.021	開始時刻です。
hotwords.detailInfo.endTime	double	29.021	終了時刻です。
freeTags	JSONArray	-	フリーフォームタグです。
freeTags.labelLevel1	文字列	keyword	レベル 1 ラベルです。
freeTags.labelLevel2	文字列	""	レベル 2 ラベルです。
freeTags.label	文字列	中央气象台	タグの内容です。
freeTags.appearanceProbability	double	0.96	出現確率です。
freeTags.detailInfo	JSONArray	-	フリーフォームタグの詳細情報です。
freeTags.detailInfo.score	double	0.9	信頼度スコアです。
freeTags.detailInfo.startTime	double	0.021	開始時刻です。
freeTags.detailInfo.endTime	double	29.021	終了時刻です。

ASR 結果

パラメーター	タイプ	説明
details	JSONArray	タスクの詳細な結果。
details.from	double	音声セグメントの開始タイムスタンプ (単位：秒)。
details.to	double	音声セグメントの終了タイムスタンプ (単位：秒)。
details.content	String	音声セグメントの書き起こしテキスト。

OCR 結果

パラメーター	Type	説明
details	JSONArray	タスク詳細を含むオブジェクトの配列。
details.timestamp	double	秒単位のタイムスタンプ。
details.info	JSONArray	対応するタイムスタンプの認識情報をそれぞれ含むオブジェクトの配列。
details.info.score	double	信頼度スコア。
details.info.position	JSONObject	テキストの座標。
details.info.position.leftTop	int[]	左上隅の座標。
details.info.position.rightBottom	int[]	右下隅の座標。
details.info.content	文字列	認識されたテキスト内容。

メタアノテーション結果

パラメーター	タイプ	説明
title	文字列	タイトル。

字幕抽出結果

パラメーター	タイプ	説明
details	Object	タスクの詳細な結果。
details.allResultUrl	文字列	すべての字幕結果の URL。タスク完了後、6か月間有効です。
details.chResultUrl	文字列	中国語字幕結果の URL。タスク完了後、6か月間有効です。
details.engResultUrl	文字列	英語字幕結果の URL。タスク完了後、6か月間有効です。

NLP 結果

パラメーター	タイプ	説明
transcription	object	トランスクリプション。
autoChapters	object	自動生成されたチャプター。
summarization	object	大規模モデルが生成したサマリー。
meetingAssistance	object	インテリジェントな議事録。
translation	object	翻訳されたテキスト。

文字起こし

パラメーター	タイプ	説明
transcription	object	音声文字起こしの結果です。
transcription.paragraphs	list[]	音声文字起こしにおけるパラグラフのリストです。
transcription.paragraphs[i].paragraphId	文字列	パラグラフの ID です。
transcription.paragraphs[i].speakerId	文字列	スピーカー ID です。
transcription.paragraphs[i].words	list[]	パラグラフ内の単語のリストです。
transcription.paragraphs[i].words[i].id	int	単語のシーケンス番号です。通常、このフィールドは無視できます。
transcription.paragraphs[i].words[i].sentenceId	int	文 ID です。同じ sentenceId を持つ単語が 1 つの文を構成します。
transcription.paragraphs[i].words[i].start	long	オーディオの先頭を基準とした、単語の開始時刻です (単位：ミリ秒)。
transcription.paragraphs[i].words[i].end	long	オーディオの先頭を基準とした、単語の終了時刻です (単位：ミリ秒)。
transcription.paragraphs[i].words[i].text	文字列	単語のテキストです。

要約：全文要約、話者要約、質問要約

パラメーター	Type	説明
summarization	object	複数の要約タイプの結果を含むことができる、要約結果のオブジェクトです。
summarization.paragraphSummary	文字列	段落要約の結果です。
summarization.conversationalSummary	list[]	会話要約の結果のリストです。
summarization.conversationalSummary[i].speakerId	文字列	話者の ID です。
summarization.conversationalSummary[i].speakerName	文字列	話者名です。
summarization.conversationalSummary[i].summary	文字列	話者の要約です。
summarization.questionsAnsweringSummary	list[]	質疑応答要約の結果のリストです。
summarization.questionsAnsweringSummary[i].question	文字列	音声書き起こしから抽出された質問です。
summarization.questionsAnsweringSummary[i].sentenceIdsOfQuestion	list[]	質問を構成する、元の音声書き起こしの文の ID のリストです。
summarization.questionsAnsweringSummary[i].answer	文字列	質問への回答です。
summarization.questionsAnsweringSummary[i].sentenceIdsOfAnswer	list[]	回答として要約される、元の音声書き起こしの文の ID のリストです。
summarization.mindMapSummary	list[object]	トピックの要約とその関係を含む場合がある、マインドマップ要約の結果のリストです。
summarization.mindMapSummary[i].title	文字列	マインドマップのタイトルです。
summarization.mindMapSummary[i].topic	list[object]	サブトピックをそれぞれ含むメイントピックのリストです。
summarization.mindMapSummary[i].topic[i].title	文字列	メイントピックのタイトルです。
summarization.mindMapSummary[i].topic[i].topic	list[object]	現在のトピックのサブトピックのリストです。空の場合があります。

全文翻訳

パラメーター	タイプ	説明
translation	オブジェクト	翻訳オブジェクトです。
translation.paragraphs	リスト	音声認識結果に対応する、翻訳された段落のリストです。
translation.paragraphs.paragraphId	文字列	音声認識結果の ParagraphId に対応する段落 ID です。
translation.paragraphs.sentences	リスト	段落を構成する文のリストです。
translation.paragraphs.sentences[i].sentenceId	long	一意な文 ID です。
translation.paragraphs.sentences[i].start	long	音声の先頭を基準とした、文の開始時刻 (ミリ秒単位) です。
translation.paragraphs.sentences[i].end	long	音声の先頭を基準とした、文の終了時刻 (ミリ秒単位) です。
translation.paragraphs.sentences[i].text	文字列	翻訳された文のテキストです。

オートチャプター (チャプター認識)

パラメーター	タイプ	説明
autoChapters	リスト[]	チャプター概要オブジェクトのリストです。
autoChapters[i].id	int	チャプター ID です。
autoChapters[i].start	long	チャプターの開始時間。オーディオの開始からの相対タイムスタンプ (単位：ミリ秒) で表されます。
autoChapters[i].end	long	チャプターの終了時間。オーディオの開始からの相対タイムスタンプ (単位：ミリ秒) で表されます。
autoChapters[i].headline	文字列	チャプターのヘッドラインです。
autoChapters[i].summary	文字列	チャプターの要約です。

ミーティングアシスタンス (要約、キーワード、キーセンテンス、アクションアイテムの抽出)

パラメーター	タイプ	説明
meetingAssistance	オブジェクト	インテリジェント議事録の結果オブジェクトです。さまざまなタイプの結果が 0 個以上含まれる場合があります。
meetingAssistance.keywords	リスト	キーワード抽出の結果です。
meetingAssistance.keySentences	リスト	キーセンテンス抽出の結果です。キーコンテンツとも呼ばれます。
meetingAssistance.keySentences[i].id	長整数	キーセンテンスの ID です。
meetingAssistance.keySentences[i].sentenceId	長整数	元の ASR 文字起こし内の、対応する文の ID です。
meetingAssistance.keySentences[i].start	長整数	オーディオの先頭を基準とした、ミリ秒単位の開始時刻です。
meetingAssistance.keySentences[i].end	長整数	オーディオの先頭を基準とした、ミリ秒単位の終了時刻です。
meetingAssistance.keySentences[i].text	文字列	キーセンテンスのテキストです。
meetingAssistance.actions	リスト	アクションアイテムのリストです。
meetingAssistance.actions[i].id	長整数	アクションアイテムの ID です。
meetingAssistance.actions[i].sentenceId	長整数	元の ASR 文字起こし内の、対応する文の ID です。
meetingAssistance.actions[i].start	長整数	オーディオの先頭を基準とした、ミリ秒単位の開始時刻です。
meetingAssistance.actions[i].end	長整数	オーディオの先頭を基準とした、ミリ秒単位の終了時刻です。
meetingAssistance.actions[i].text	文字列	アクションアイテムのテキストです。
meetingAssistance.classifications	オブジェクト	シーン分類の結果です。現在、3 つのシーンタイプのみをサポートしています。
meetingAssistance.classifications.interview	浮動小数点数	インタビューシーンの信頼度スコアです。
meetingAssistance.classifications.lecture	浮動小数点数	講演シーンの信頼度スコアです。
meetingAssistance.classifications.meeting	浮動小数点数	会議シーンの信頼度スコアです。