Intelligent Media Services：QuerySmarttagJob - 智能標籤任務查詢介面

回調訊息格式定義 當智能標籤任務執行狀態改變時，mps 會發送訊息到使用者指定的 queue 中（如何指定回調 queue 詳見 mps 的更新管道介面）。訊息體是一個 JSON 字串，包含欄位如下：

名稱	類型	描述
Type	String	固定字串“smarttag”，表示智能標籤任務
JobId	String	任務唯一 ID
State	String	任務目前狀態，與 QuerySmarttagJob 中的 JobStatus 一致
State	String	任務目前狀態，與 QuerySmarttagJob 中的 JobStatus 一致
UserData	String	使用者在 SubmitSmarttagJob 中傳入的 UserData
UserData	String	使用者在 SubmitSmarttagJob 中傳入的 UserData

Result 參數說明

VideoLabel 資料結構

名稱	類型	描述
persons	JSONArray	檢測到的人物結果
persons.name	String	識別到的人物名稱
persons.category	String	人物類型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）；unknown（未知人物）；自訂人物庫 ID（識別到的人物為自訂人物時返回）
persons.ratio	double	人物出現率，取值：0~1
persons.occurrences	JSONArray	人物出場詳細資料
persons.occurrences.score	double	信賴度得分
persons.occurrences.from	double	檢測到人物的起始時間，單位（秒）
persons.occurrences.to	double	檢測到人物的結束時間，單位（秒）
persons.occurrences.position	JSONObject	人臉座標
persons.occurrences.position.leftTop	int[]	左上方 x，y 座標
persons.occurrences.position.rightBottom	int[]	右下角 x，y 座標
persons.occurrences.timestamp	double	人臉座標所在的時間戳記，單位為秒
persons.occurrences.scene	String	人物鏡頭，包括：closeUp（特寫）；medium-closeUp（近景）；medium（中景）；medium-long（全景）
tags	JSONArray	檢測到的物體情境等標籤，詳見下表舉例
tags.mainTagName	String	主標籤
tags.subTagName	String	子標籤
tags.ratio	double	出現率，取值：0~1
tags.occurrences	JSONArray	出現詳細資料
tags.occurrences.score	double	信賴度得分
tags.occurrences.from	double	起始時間，單位（秒）
tags.occurrences.to	double	結束時間，單位（秒）
classifications	JSONArray	視頻分類資訊
classifications.score	double	信賴度得分
classifications.category1	String	一級分類，比如：生活、動漫、汽車等等
classifications.category2	String	二級分類，比如生活下面細分為：健康、家居等等

視頻 Tags 標籤舉例說明

mainTagName	subTagName
節目	比如：爸爸去哪兒、歡樂喜劇人等
人物角色	比如：醫生、護士、教師等
物體	比如：鋼琴、水杯、桌子、西紅柿炒雞蛋、小汽車、化妝品等
標識	比如：CCTV1、CCTV2、優酷、東方衛視等
動作事件	比如：跳舞、接吻、擁抱、會晤、唱歌、打電話、騎馬、打鬥等
地區	比如：北京天安門、自由女神像、樂山大佛、中國、美國等
情境	比如：臥室、地鐵站、梯田、海灘、沙漠等

ImageLabel 資料結構

名稱	類型	描述
persons	JSONArray	檢測到的人物結果
persons.name	String	識別到的人物名稱
persons.category	String	人物類型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）
persons.score	double	人物信賴度得分
persons.position	JSONObject	人臉座標
persons.position.leftTop	int[]	左上方 x，y 座標
persons.position.rightBottom	int[]	右下角 x，y 座標
persons.scene	String	人物鏡頭，包括：closeUp（特寫）；medium-closeUp（近景）；medium（中景）；medium-long（全景）
tags	JSONArray	檢測到的物體情境等標籤，詳見下表舉例
tags.mainTagName	String	主標籤
tags.subTagName	String	子標籤
tags.score	double	信賴度得分

圖片 tags 標籤舉例說明

mainTagName	subTagName
人物角色	比如：醫生、護士、教師等
地區	比如：北京天安門、自由女神像、樂山大佛、中國、美國等
動作事件	比如：講話等
標識	比如：CCTV1、CCTV2、優酷、東方衛視等
動作事件	比如：跳舞、接吻、擁抱、會晤、唱歌、打電話、騎馬、打鬥等
物體	比如：鋼琴、水杯、桌子、西紅柿炒雞蛋、小汽車、化妝品等
情境	比如：臥室、地鐵站、梯田、海灘、沙漠等

TextLabel 資料結構（來源於 ASR 和 OCR）

名稱	類型	描述
tags	JSONArray	文字標籤資訊，詳見下表舉例
tags.name	String	標籤類別
tags.value	String	標籤值，可能有多個標籤值，以半形逗號（,）分割

圖片 tags 標籤舉例說明

name	value
地區	比如：北京天安門、自由女神像、樂山大佛、中國、美國等
組織機構	比如：中國生動物保護協會、中央廣播電視台等
標識	比如：耐克、李寧
關鍵詞	比如：中堅力量

CPVLabel 資料結構

• cates：類目（一級類目、二級類目、三級類目）

• entities：類目屬性（帶有知識圖譜資訊）

• hotwords：熱點詞（使用者關注的名單）

• freeTags：自由標籤（關鍵詞）

名稱	類型	樣本值	說明
type	String	hmi	結果類型。取值：hmi（人機協同結果）、autp（機器打標結果）
cates	JSONArray	-	分類類目結果
cates.labelLevel1	String	旅遊	一級標籤
cates.labelLevel2	String	旅遊風光	二級標籤
cates.label	String	""	標籤名稱，演算法可能返回空
cates.appearanceProbability	double	0.96	出現率
cates.detailInfo	JSONArray	-	-
cates.detailInfo.score	double	0.9	信賴度
cates.detailInfo.startTime	double	0.021	開始時間
cates.detailInfo.endTime	double	29.021	結束時間
entities	JSONArray	-	-
entities.labelLevel1	String	地區	一級標籤
entities.labelLevel2	String	地標	二級標籤
entities.label	String	黃果樹瀑布	標籤名稱
entities.appearanceProbability	double	0.067	出現率
entities.knowledgeInfo	String	{"name": "黃果樹瀑布", "nameEn": "Huangguoshu Waterfall", "description": "亞洲四大瀑布之一"}	知識圖譜資訊，全部欄位後附表：影視綜 IP 圖譜、音樂圖譜、人物圖譜、地標圖譜、物體圖譜。
entities.detailInfo	JSONArray	-	-
entities.detailInfo.score	double	0.33292606472969055	信賴度
entities.detailInfo.startTime	double	6.021	開始時間
entities.detailInfo.endTime	double	8.021	結束時間
entities.detailInfo.trackData	JSONArray	-	實體標籤結構化資訊
entities.detailInfo.trackData.score	double	0.32	信賴度
entities.detailInfo.trackData.bbox	integer[]	23，43，45，67	座標框
entities.detailInfo.trackData.timestamp	double	7.9	時間戳記
hotwords	JSONArray	-	-
hotwords.labelLevel1	String	關鍵詞	一級標籤
hotwords.labelLevel1	String	關鍵詞	二級標籤
hotwords.labelLevel2	String	""	二級標籤
hotwords.label	String	中國氣象局	看點詞內容
hotwords.appearanceProbability	double	0.96	出現率
hotwords.detailInfo	JSONArray
hotwords.detailInfo.score	double	1.0	信賴度
hotwords.detailInfo.startTime	double	0.021	開始時間
hotwords.detailInfo.endTime	double	29.021	結束時間
freeTags	JSONArray
freeTags.labelLevel1	String	關鍵詞	一級標籤
freeTags.labelLevel2	String	""	二級標籤
freeTags.label	String	中央氣象台	看點詞內容
freeTags.appearanceProbability	double	0.96	出現率
freeTags.detailInfo	JSONArray
freeTags.detailInfo.score	double	0.9	信賴度
freeTags.detailInfo.startTime	double	0.021	開始時間
freeTags.detailInfo.endTime	double	29.021	結束時間

語音辨識 ASR 結果

名稱	類型	描述
details	JSONArray	任務詳細結果
details.from	double	開始時間戳，單位（秒）
details.to	double	結束時間戳記，單位（秒）
details.content	String	識別出的常值內容

文本識別 OCR 結果

名稱	類型	描述
details	JSONArray	任務詳細結果
details.timestamp	double	時間戳記資訊，單位（秒）
details.info	JSONArray	該時間點識別出的具體資訊
details.info.score	double	信賴度得分
details.info.position	JSONObject	文字座標
details.info.position.leftTop	int[]	左上方 x，y 座標
details.info.position.rightBottom	int[]	右下角 x，y 座標
details.info.content	String	識別出的常值內容

Meta 標註結果

名稱	類型	描述
title	String	標題

字幕提取結果 Subtitle

名稱	類型	描述
details	JSONArray	任務詳細結果
details.allResultUrl	String	全部字幕結果 URL，URL 有效期間為任務完成後半年內可有效訪問
details.chResultUrl	String	中文結果 URL，URL 有效期間為任務完成後半年內可有效訪問
details.engResultUrl	String	英文結果 URL，URL 有效期間為任務完成後半年內可有效訪問

NLP 處理結果

參數名	類型	說明
transcription	object	語音轉寫結果
autoChapters	object	章節預覽結果
summarization	object	大模型摘要結果
meetingAssistance	object	智能紀要結果
translation	object	文本翻譯結果

transcription（語音轉錄）

參數名	類型	說明
transcription	object	語音轉寫結果對象。
transcription.paragraphs	list[]	語音轉寫結構以段落形式組織的集合。
transcription.paragraphs[i].paragraphId	string	段落層級 id。
transcription.paragraphs[i].speakerId	string	發言人 id。
transcription.paragraphs[i].words	list[]	該段落包含的 word 資訊。
transcription.paragraphs[i].words[i].id	int	word 序號，通常無須關注。
transcription.paragraphs[i].words[i].sentenceId	int	句子 id，同屬於一個 SentenceId 的 word 資訊可以組裝成一句話。
transcription.paragraphs[i].words[i].start	long	該 word 相對於音頻起始時間的開始時間，相對時間戳記，單位毫秒。
transcription.paragraphs[i].words[i].end	long	該 word 相對於音頻起始時間的結束時間，相對時間戳記，單位毫秒。
transcription.paragraphs[i].words[i].text	string	word 文本。

summarization（全文摘要、發言人總結、提問摘要）

參數名	類型	說明
summarization	object	摘要結果對象，可能包含 0 個或多個不同摘要類型的結果。
summarization.paragraphSummary	string	全文摘要結果。
summarization.conversationalSummary	list[]	發言總結摘要結果清單。
summarization.conversationalSummary[i].speakerId	string	發言人 id。
summarization.conversationalSummary[i].speakerName	string	發言人名字。
summarization.conversationalSummary[i].summary	string	該發言人對應的總結。
summarization.questionsAnsweringSummary	list[]	問答摘要結果清單。
summarization.questionsAnsweringSummary[i].question	string	問題
summarization.questionsAnsweringSummary[i].sentenceIdsOfQuestion	list[]	提煉出該問題對應的原語音轉寫的 SentenceId 列表。
summarization.questionsAnsweringSummary[i].answer	string	問題對應的答案。
summarization.questionsAnsweringSummary[i].sentenceIdsOfAnswer	list[]	總結出該答案對應的原語音轉寫的 SentenceId 列表。
summarization.mindMapSummary	list[object]	思維導圖摘要結果清單，可能包含各個主題的摘要、主題間的關係等。
summarization.mindMapSummary[i].title	string	主題的標題。
summarization.mindMapSummary[i].topic	list[object]	包含每個主題及其子主題的數組
summarization.mindMapSummary[i].topic[i].title	string	主題的標題。
summarization.mindMapSummary[i].topic[i].topic	list[object]	主題的子主題數組，可以是空數組。

translation（全文翻譯）

參數名	類型	說明
translation	object	翻譯結果對象。
translation.paragraphs	list[]	翻譯結果以段落形式組織的集合，和語音辨識結果報文對應。
translation.paragraphs.paragraphId	string	段落分段 id 標識，和語音辨識結果中的 ParagraphId 對應。
translation.paragraphs.sentences	list[]	翻譯文本集合。
translation.paragraphs.sentences[i].sentenctId	long	句子 id。
translation.paragraphs.sentences[i].start	long	該段相對於音頻起始時間的開始時間，相對時間戳記，單位毫秒。
translation.paragraphs.sentences[i].end	long	該段相對於音頻起始時間的結束時間，相對時間戳記，單位毫秒。
translation.paragraphs.sentences[i].text	string	翻譯文本，和語音辨識結果報文對應。

autoChapters（章節識別）

參數名	類型	說明
autoChapters	list[]	章節預覽集合， 含有 0 個、1 個或多個章節預覽資訊。
autoChapters[i].id	int	該章節序號。
autoChapters[i].start	long	該章節相對於音頻起始時間的開始時間，相對時間戳記，單位毫秒。
autoChapters[i].end	long	該章節相對於音頻起始時間的結束時間，相對時間戳記，單位毫秒。
autoChapters[i].headline	string	該章節的一句話標題。
autoChapters[i].summary	string	章節總結。

meetingAssistance（智能紀要提取，包含關鍵詞、關鍵句、待辦事項提取）

參數名	類型	說明
meetingAssistance	object	智能紀要結果對象，可能包含 0 個或多個不同類型的結果。
meetingAssistance.keywords	list[]	關鍵詞提取結果。
meetingAssistance.keySentences	list[]	關鍵句提取結果，也稱為重點內容。
meetingAssistance.keySentences[i].id	long	關鍵句序號。
meetingAssistance.keySentences[i].sentenceId	long	該關鍵句在原 ASR 轉寫中對應的句子 Id。
meetingAssistance.keySentences[i].start	long	相對於音頻起始時間的開始時間，相對時間戳記，單位毫秒。
meetingAssistance.keySentences[i].end	long	相對於音頻起始時間的結束時間，相對時間戳記，單位毫秒。
meetingAssistance.keySentences[i].text	string	關鍵句資訊。
meetingAssistance.actions	list[]	待辦內容、待辦摘要的集合。
meetingAssistance.actions[i].id	long	待辦序號。
meetingAssistance.actions[i].sentenceId	long	該關鍵句在原 ASR 轉寫中對應的句子 Id。
meetingAssistance.actions[i].start	long	相對於音頻起始時間的開始時間，相對時間戳記，單位毫秒。
meetingAssistance.actions[i].end	long	相對於音頻起始時間的結束時間，相對時間戳記，單位毫秒。
meetingAssistance.actions[i].text	string	待辦內容。
meetingAssistance.classifications	object	情境分類，目前只有 3 中情境分類。
meetingAssistance.classifications.interview	float	面試情境信賴度得分。
meetingAssistance.classifications.lecture	float	演講情境信賴度得分。
meetingAssistance.classifications.meeting	float	會議情境信賴度得分。