L'analyse structurée intelligente analyse, traduit et extrait les informations clés de vidéos longues à forte densité de contenu. Elle vous aide à identifier, baliser et réorganiser le contenu essentiel. Les résultats d'analyse sont stockés sous forme de données structurées dans les ressources multimédias et peuvent être récupérés via des opérations API.
Limites
Cette fonctionnalité est disponible uniquement dans les régions Chine (Pékin), Chine (Shanghai) et Chine (Hangzhou).
Procédure
-
Vous pouvez déclencher une tâche d'analyse structurée de l'une des trois manières suivantes :
Enregistrez une nouvelle ressource multimédia en appelant l'opération RegisterMediaInfo.
Soumettez une tâche pour une ressource multimédia existante en appelant l'opération SubmitMediaAiAnalysisJob.
-
Soumettez une tâche de smart tagging en appelant l'opération SubmitSmarttagJob.
RemarqueSi vous utilisez SubmitMediaAiAnalysisJob pour analyser plusieurs fois la même vidéo, les résultats sont fusionnés. Cette fusion ne se produit pas lorsque vous utilisez RegisterMediaInfo ou SubmitSmarttagJob.
Une fois l'analyse terminée, les résultats sont stockés dans le dossier généré par ICE situé dans le chemin Object Storage Service (OSS) de la ressource multimédia. Vous ne pouvez pas spécifier de chemin personnalisé.
Après le stockage des résultats, le système envoie une notification de rappel (MediaAiAnalysisComplete).
Appelez l'opération GetMediaInfo pour obtenir les smart tags des ressources multimédias.
Prérequis
Vous avez activé les Intelligent Media Services.
Soumettre une tâche de tagging
Enregistrer de nouvelles ressources multimédias pour déclencher une tâche de tagging en appelant l'opération RegisterMediaInfo
Lorsque vous enregistrez de nouvelles ressources multimédias, vous pouvez déclencher une tâche de tagging pour les analyser. Spécifiez un modèle de smart tagging dans le paramètre SmartTagTemplateId ; IMS analyse alors les ressources multimédias sur la base de ce modèle. Pour plus d'informations, consultez la rubrique RegisterMediaInfo.
Vous ne pouvez spécifier un modèle de smart tagging que lors de l'enregistrement des ressources multimédias. Il n'est pas possible de télécharger des modèles de smart tagging via des appels API.
Paramètres de requête (modèles de smart tagging pris en charge)
Nom | Type | Obligatoire | Description | Exemple |
SmartTagTemplateId | string | Non | Modèle de smart tagging
| S00000101-300080 |
Soumettre une tâche d'analyse structurée pour une ressource multimédia existante (SubmitMediaAiAnalysisJob)
Pour effectuer une analyse structurée sur une ressource multimédia existante, fournissez les paramètres de la tâche, tels que le modèle de paramètres, l'adresse webhook et les données personnalisées. Une fois la tâche terminée, un rappel est envoyé à votre serveur et les résultats d'analyse sont stockés dans le dossier généré par ICE situé dans le chemin OSS de la ressource multimédia. Pour plus d'informations, consultez la rubrique SubmitMediaAiAnalysisJob.
Exemple de paramètres d'entrée
{
"AnalysisParams": "{\"NlpParams\":{\"SummarizationEnabled\":true,\"SourceLanguage\":\"cn\",\"AutoChaptersEnabled\":true,\"TargetLanguages\":\"en\",\"MeetingAssistanceEnabled\":true,\"DiarizationEnabled\":true,\"SummarizationTypes\":\"Paragraph,Conversational,QuestionsAnswering,MindMap\",\"TranslationEnabled\":true,\"SpeakerCount\":2}}",
"Input": "{\"Media\": \"****0d30005971efbfc4f7f6c75a6302****\", \"Type\": \"Media\"}"
}Soumettre une tâche d'analyse structurée à l'aide d'une tâche de smart tagging (SubmitSmarttagJob)
Outre les méthodes précédentes, vous pouvez appeler l'opération SubmitSmarttagJob pour effectuer une analyse structurée d'une ressource multimédia. Définissez le paramètre Params.nlpParams pour personnaliser l'analyse structurée.
Une fois la tâche soumise, appelez l'opération QuerySmarttagJob pour interroger les résultats d'analyse. Pour plus d'informations sur les paramètres de réponse, consultez la section Résultats du traitement NLP.
Notifications de rappel système
Configurer les paramètres de rappel
Lorsque vous appelez l'opération SubmitMediaAiAnalysisJob ou RegisterMediaInfo, incluez un paramètre UserData avec une adresse webhook HTTP, HTTPS ou MNS. Une fois la tâche de tagging terminée et les résultats écrits dans la ressource multimédia, le système envoie une notification de rappel.
Après réception de la notification de rappel, appelez l'opération GetMediaInfo avec l'ID de la ressource multimédia pour interroger ses smart tags structurés.
Type d'événement de rappel
Analyse de la ressource multimédia et stockage des résultats (MediaAiAnalysisComplete)
Exemple de corps de message :
{
"EventType": "MediaAiAnalysisComplete",
"UserId": 183320223010****,
"EventTime": "2022-06-23T13:11:33Z",
"MessageBody": {
"Status":"Success", // Indicates whether the AI analysis result is stored in the system. Valid values: Success and Failed.
"JobStatus": "AnalyzeSuccess", // The status of the AI job. Valid values: AnalyzeSuccess and AnalyzeFailed.
"Type": "StandardSmartTag" // The type of the AI job. The value is StandardSmartTag.
"MediaId":"****b391419aj294m83b459f7435****" // The ID of the media asset.
}
}Pour plus d'informations sur les paramètres, consultez la liste des événements.
Obtenir les informations sur une ressource multimédia (GetMediaInfo)
Interrogez les tags intelligents structurés d'une ressource multimédia et spécifiez si vous souhaitez renvoyer les informations détaillées. Pour plus d'informations, consultez la rubrique GetMediaInfo.
Paramètres de requête (vous pouvez spécifier si les informations détaillées doivent être renvoyées)
Nom | Type | Obligatoire | Description | Exemple |
ReturnDetailedInfo | string | Non | Indique s'il faut renvoyer les informations détaillées pour certains champs de la ressource multimédia. Si vous ne configurez pas ce paramètre, la valeur par défaut AiRoughData.StandardSmartTagJob=false est utilisée.
| {"AiRoughData.StandardSmartTagJob": true} |
Exemples de réponses
Champs Type et Data dans les résultats
-
Transcription (reconnaissance de base)
Parameter
Type
Description
transcription
object
Résultat de la reconnaissance vocale.
transcription.paragraphs
list[]
Liste de paragraphes contenant le résultat de la reconnaissance vocale.
transcription.paragraphs[i].paragraphId
string
ID du paragraphe.
transcription.paragraphs[i].speakerId
string
ID de l'interlocuteur.
transcription.paragraphs[i].words
list[]
Mots contenus dans le paragraphe.
transcription.paragraphs[i].words[i].id
int
ID du mot. Vous n'avez pas besoin de tenir compte de cet ID.
transcription.paragraphs[i].words[i].sentenceId
int
ID de la phrase. Les mots partageant le même ID de phrase peuvent être assemblés pour former une phrase.
transcription.paragraphs[i].words[i].start
long
Heure de début du mot. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
transcription.paragraphs[i].words[i].end
long
Heure de fin du mot. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
transcription.paragraphs[i].words[i].text
string
Texte du mot.
-
Résumé (résumé du texte intégral, résumé par interlocuteur, résumé des questions et carte mentale)
Parameter name
Type
Description
summarization
object
Résultats du résumé. Ces résultats peuvent être vides ou correspondre à différents types de résumés.
summarization.paragraphSummary
string
Résumé du texte intégral.
summarization.conversationalSummary
list[]
Liste des résultats de résumé pour une conversation.
summarization.conversationalSummary[i].speakerId
string
ID de l'interlocuteur.
summarization.conversationalSummary[i].speakerName
string
Nom de l'interlocuteur.
summarization.conversationalSummary[i].summary
string
Résumé correspondant à l'interlocuteur.
summarization.questionsAnsweringSummary
list[]
Liste des résultats de résumé pour une session de questions-réponses.
summarization.questionsAnsweringSummary[i].question
string
Question.
summarization.questionsAnsweringSummary[i].sentenceIdsOfQuestion
list[]
Liste des ID des phrases générées à partir du discours original correspondant à la question.
summarization.questionsAnsweringSummary[i].answer
string
Réponse à la question.
summarization.questionsAnsweringSummary[i].sentenceIdsOfAnswer
list[]
Liste des ID des phrases générées à partir du discours original correspondant à la réponse.
summarization.mindMapSummary
list[]
Carte mentale des résultats du résumé. Elle peut inclure le résumé de chaque sujet ainsi que les relations entre les sujets.
summarization.mindMapSummary[i].title
string
Titre du sujet.
summarization.mindMapSummary[i].topic
list[]
Tableau contenant chaque sujet et ses sous-sujets.
summarization.mindMapSummary[i].topic[i].title
string
Titre du sujet.
summarization.mindMapSummary[i].topic[i].topic
list[]
Tableau contenant les sous-sujets du sujet. Ce tableau peut être vide.
-
Traduction (traduction du texte intégral)
Parameter Name
Type
Description
translation
object
Résultat de la traduction.
translation.paragraphs
list[]
Liste de paragraphes contenant le résultat de la traduction, qui correspond au résultat ASR.
translation.paragraphs.paragraphId
string
ID de segmentation du paragraphe, qui correspond au ParagraphId du résultat de reconnaissance vocale.
translation.paragraphs.sentences
list[]
Liste des phrases traduites.
translation.paragraphs.sentences[i].sentenctId
long
ID de la phrase.
translation.paragraphs.sentences[i].start
long
Heure de début de la phrase. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
translation.paragraphs.sentences[i].end
long
Heure de fin de la phrase. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
translation.paragraphs.sentences[i].text
string
Texte traduit, qui correspond au résultat ASR.
-
AutoChapters (reconnaissance des chapitres)
Parameter Name
Type
Description
autoChapters
list[]
Résultat de l'aperçu des chapitres, qui peut contenir l'aperçu de zéro, un ou plusieurs chapitres.
autoChapters[i].id
int
Numéro de série du chapitre.
autoChapters[i].start
long
Heure de début du chapitre. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
autoChapters[i].end
long
Heure de fin du chapitre. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
autoChapters[i].headline
string
Titre du chapitre.
autoChapters[i].summary
string
Aperçu du chapitre.
-
MeetingAssitance (extraction intelligente du compte rendu, incluant l'extraction de mots-clés, de phrases clés et d'actions à effectuer)
Parameter
Type
Description
meetingAssistance
object
Résultat du compte rendu intelligent, qui peut être vide ou correspondre à différents types.
meetingAssistance.keywords
list[]
Liste des mots-clés extraits.
meetingAssistance.keySentences
list[]
Liste des phrases clés extraites.
meetingAssistance.keySentences[i].id
long
Numéro de série de la phrase clé.
meetingAssistance.keySentences[i].sentenceId
long
ID de la phrase clé, qui correspond à l'ID de phrase du résultat ASR original.
meetingAssistance.keySentences[i].start
long
Heure de début de la phrase clé. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
meetingAssistance.keySentences[i].end
long
Heure de fin de la phrase clé. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
meetingAssistance.keySentences[i].text
string
Informations relatives à la phrase clé.
meetingAssistance.actions
list[]
Liste des actions à effectuer.
meetingAssistance.actions[i].id
long
Numéro de série de l'action à effectuer.
meetingAssistance.actions[i].sentenceId
long
ID de la phrase clé, qui correspond à l'ID de phrase du résultat ASR original.
meetingAssistance.actions[i].start
long
Heure de début de la phrase clé. La valeur est un horodatage indiquant le nombre de millisecondes écoulées depuis le début de l'audio.
meetingAssistance.actions[i].end
long
Heure de fin en millisecondes, relative à l'heure de début de l'audio.
meetingAssistance.actions[i].text
string
Contenu de l'action à effectuer.
meetingAssistance.classifications
object
Type de scénario. Seuls trois types de scénarios sont pris en charge.
meetingAssistance.classifications.interview
float
Score du niveau de confiance pour le scénario d'entretien.
meetingAssistance.classifications.lecture
float
Score du niveau de confiance pour le scénario de présentation.
meetingAssistance.classifications.meeting
float
Score du niveau de confiance pour le scénario de réunion.