Smart highlight extraction - Intelligent Media Services - Centre de documentation Alibaba Cloud

Soumettez des tâches d'extraction de moments forts à l'aide de SubmitHighlightExtractionJob et récupérez les résultats avec GetSmartHandleJob.

Important

Dans cette API, la région spécifiée dans l'URL OSS de tous les éléments multimédias doit correspondre au point de terminaison du service OpenAPI.
Régions prises en charge : Chine (Shanghai), Chine (Pékin), Chine (Hangzhou), Chine (Shenzhen), États-Unis (Silicon Valley), Singapour. La fonctionnalité de reconnaissance d'actions (correspondant à Strategy.EnableActionRecog et Strategy.CustomActions) est disponible uniquement dans la région Chine (Shanghai).
Les vidéos doivent contenir soit des sous-titres, soit des voix humaines. Les contenus dépourvus de ces deux éléments ne sont pas pris en charge.

API associées

Pour soumettre une tâche d'extraction de moments forts, consultez SubmitHighlightExtractionJob. Les paramètres clés (InputConfig et OutputConfig) sont décrits ci-dessous.
Pour obtenir les détails d'une tâche d'extraction de moments forts, consultez GetSmartHandleJob. Les paramètres de résultat (AiResult) sont décrits ci-dessous.

InputConfig

Configurez InputConfig pour spécifier les supports vidéo et la stratégie d'extraction des moments forts.

Paramètre	Type	Description	Obligatoire
MediaArray	List<Media>	Les supports vidéo. Spécifiez une liste d'ID d'éléments multimédias ou d'URL OSS. La durée totale des vidéos peut atteindre deux heures, avec un maximum de 30 vidéos. Pour connaître les formats pris en charge, consultez Formats vidéo.	Oui
Strategy	Strategy	La stratégie d'extraction des moments forts.	Non

Strategy

Paramètre	Type	Description	Obligatoire
Count	Integer	Nombre d'extraits de moments forts à extraire d'un seul élément. Valeurs valides : [1, 10]. Valeur par défaut : 5.	Non
ClipDuration	Float	Durée attendue de chaque extrait de moment fort, en secondes. Valeurs valides : [3,60]. Valeur par défaut : 15. La durée réelle de chaque extrait peut varier légèrement par rapport à cette valeur.	Non
EnableActionRecog	Boolean	Indique s'il faut activer la reconnaissance d'actions. Valeur par défaut : false. Remarque La reconnaissance d'actions est prise en charge uniquement dans la région Chine (Shanghai).	Non
CustomActions	List<String>	Libellés d'actions personnalisés, mappés selon les noms de libellés saisis. Par exemple : ["Fight","Cry"]. Le nombre maximal de libellés est de 50, chacun ne devant pas dépasser 5 caractères. Remarque La reconnaissance d'actions est prise en charge uniquement dans la région Chine (Shanghai).	Non
HighlightDescription	String	Description de la stratégie d'extraction des moments forts. Prend effet uniquement lorsque ThemeConfig.ThemeType est défini sur SmoothHighlight. Exemple : Privilégiez les scènes à forte expression émotionnelle, à contraste élevé, aux conflits narratifs concentrés et à la tension dramatique, comme le protagoniste masculin exprimant sa colère par ses actions, créant une tension par le contraste d'identité/comportement, se concentrant sur les conflits centraux et incluant des dialogues bizarres ou des rebondissements scénaristiques pour renforcer l'engagement et générer du buzz.	Non
FaceInfo	FaceInfo	Identifie les personnages par leur visage afin de mettre davantage en avant des personnes spécifiques dans les moments forts.	Non

FaceInfo

Paramètre

Type

Description

Obligatoire

ImageInfoList

List<ImageInfo>

Liste de photos de personnages (visages). Maximum de 200 images.

Non

ImageInfo

Paramètre	Type	Description	Exemple	Obligatoire
Name	String	Nom du personnage (visage).	Daniel	Oui
ImageURL	String	URL de la photo du personnage, qui doit être accessible publiquement. Assurez-vous que chaque image ne contient qu'une seule personne et que le visage est clair, sans occlusion significative ni parties manquantes.	http://[your-cdn-domain]/[your-file-path]/face1.png	Oui (choisissez l'un des deux : ImageURL ou ImageId).
ImageId	String	ID de l'élément d'image.	9d46c886b45481030f6e	Oui (choisissez l'un des deux : ImageURL ou ImageId).

Media

Paramètre	Type	Description	Obligatoire
MediaId	String	ID de l'élément multimédia.	Oui (choisissez l'un des deux : MediaId ou MediaURL). MediaId est prioritaire si les deux sont fournis.
MediaURL	String	URL OSS du fichier multimédia.

Exemple de paramètre

{
  "MediaArray": [
    {
      "MediaId": "1cb94770da*******75e6e6c5486302"
    }
  ],
  "Strategy": {
    "Count": 5,
    "ClipDuration": 15,
    "EnableActionRecog": true,
    "CustomActions":  ["Fight","Cry"],
    "HighlightDescription":"Prioritize scenes with strong emotional expression, high contrast, concentrated plot conflict, and dramatic tension, such as the male lead expressing anger through actions, creating tension through identity/behavior contrast, focusing on core conflicts, and including bizarre dialogue or plot twists to enhance engagement and create buzz.",
    "FaceInfo":{"ImageInfoList":[{"Name":"Daniel","ImageURL":"http://[your-cdn-domain]/[your-file-path]/face1.png"}]}
  }
}

OutputConfig

Configurez OutputConfig pour spécifier les paramètres de sortie, tels que l'emplacement de stockage et le nommage des vidéos de sortie.

Paramètre	Type	Description	Obligatoire	Exemple
NeedExport	Boolean	Indique s'il faut exporter directement les extraits. Valeurs valides : true : renvoie les extraits de moments forts extraits. false (par défaut) : seules les plages horaires des extraits de moments forts sont renvoyées.	Non	false
OutputMediaTarget	String	Obligatoire lorsque NeedExport est défini sur true. Valeur valide : oss-object (par défaut) : enregistre les sorties en tant qu'objets dans des compartiments OSS.	Non.	oss-object
Endpoint	String	Point de terminaison compatible avec le protocole S3. Pour OSS, la région doit correspondre à la région du service. Par défaut, il s'agit du point de terminaison OSS de la même région.	Non	https://oss-cn-shanghai.aliyuncs.com
Bucket	String	Obligatoire lorsque NeedExport est défini sur true. Spécifiez votre compartiment OSS, compatible avec le protocole S3.	Non	your bucket
ObjectKey	String	Obligatoire lorsque NeedExport est défini sur true. Nommage des objets OSS. Espace réservé pris en charge : {index} : doit être inclus dans le chemin de l'objet.	Non	dir/to/testOutput_{index}.mp4
ExportAsNewMedia	Boolean	Facultatif lorsque NeedExport est défini sur true. Indique s'il faut effectuer la sortie sous forme de nouveaux éléments multimédias. Pris en charge uniquement lorsque OutputMediaTarget est défini sur oss-object.	Non. Valeur par défaut : false.	false
Width	Integer	Facultatif lorsque NeedExport est défini sur true. Largeur de la vidéo de sortie en pixels. Si non spécifié, elle sera identique à celle de la vidéo source	Non	1280
Height	Integer	Facultatif lorsque NeedExport est défini sur true. Hauteur de la vidéo de sortie en pixels. Si non spécifié, elle sera identique à celle de la vidéo source	Non	720
Video	JSONObject	Facultatif lorsque NeedExport est défini sur true. Configuration du flux de la vidéo de sortie, telle que CRF et le codec.	Non	{ "Bitrate": 3000 }

Exemple de paramètre

 {
    "NeedExport": true,
    "OutputMediaTarget": "oss-object",
    "Endpoint": "https://oss-cn-shanghai.aliyuncs.com"
    "Bucket": "your-bucket",
    "ObjectKey": "dir/to/testOutput_{index}.mp4",
    "ExportAsNewMedia": false,
    "Width": 1280,
    "Height": 720,
    "Video": {
      "Bitrate": 3000
    }
  }

GetSmartHandleJob

Récupérez les résultats de l'extraction des moments forts avec GetSmartHandleJob. Les paramètres de réponse AiResult sont répertoriés ci-dessous.

AiResult

{
  "HighlightResults": [
    {
      "Media": "MediaId1", //If URL was specified in InputConfig, then URL will be returned here.
      "TimeRanges": [
        {
          "In": 20,
          "Out": 30,
          "Tags": ["Fight","Cry"], // Detected action tags.
          "OutputURL": "http://your bucket.oss-cn-shanghai.aliyuncs.com/output_0.mp4", // Only returned when needExport is set to true.
          "MediaId": "MediaId11", // Only returned when ExportAsNewMedia is set to true.
        }
      ]
    },
    {
      "Media": "MediaId2", //If URL was specified in InputConfig, then URL will be returned here.
      "TimeRanges": [
        {
          "In": 2,
          "Out": 10,
          "Tags": ["Run","Shout"],
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_1.mp4" // Only returned when needExport is set to true.
        },
        {
          "In": 40,
          "Out": 50,
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_2.mp4" // Only returned when needExport is set to true.
        }
      ]
    }
  ]
}