Smart highlight extraction - Intelligent Media Services - Centre de documentation Alibaba Cloud

Soumettez des tâches d'extraction de temps forts avec SubmitHighlightExtractionJob et récupérez les résultats avec GetSmartHandleJob.

Important

Pour cette API, la région spécifiée dans l'URL OSS de toutes les ressources multimédias doit correspondre à l'endpoint du service OpenAPI.
Régions prises en charge : Chine (Shanghai), Chine (Pékin), Chine (Hangzhou), Chine (Shenzhen), États-Unis (Silicon Valley), Singapour. La fonctionnalité de reconnaissance d'actions (correspondant à Strategy.EnableActionRecog et Strategy.CustomActions) est disponible uniquement dans la région Chine (Shanghai).
Les vidéos doivent contenir des sous-titres ou des voix humaines. Les contenus ne comportant ni l'un ni l'autre ne sont pas pris en charge.

API associées

Pour soumettre une tâche d'extraction de temps forts, consultez SubmitHighlightExtractionJob. Les paramètres clés (InputConfig et OutputConfig) sont décrits ci-dessous.
Pour obtenir les détails d'une tâche d'extraction de temps forts, reportez-vous à GetSmartHandleJob. Les paramètres de résultat (AiResult) sont détaillés ci-après.

InputConfig

Configurez InputConfig pour spécifier les sources vidéo et la stratégie d'extraction des temps forts.

Paramètre	Type	Description	Obligatoire
MediaArray	List<Media>	Sources vidéo. Spécifiez une liste d'ID de ressources multimédias ou d'URL OSS. La durée totale des vidéos peut atteindre deux heures, avec un maximum de 30 vidéos. Pour les formats pris en charge, consultez Formats vidéo.	Oui
Strategy	Strategy	Stratégie d'extraction des temps forts.	Non

Strategy

Paramètre	Type	Description	Obligatoire
Count	Integer	Nombre de clips de temps forts à extraire d'une seule ressource. Valeurs valides : [1, 10]. Valeur par défaut : 5.	Non
ClipDuration	Float	Durée attendue de chaque clip de temps fort, en secondes. Valeurs valides : [3, 60]. Valeur par défaut : 15. La durée réelle de chaque temps fort peut varier légèrement par rapport à cette valeur.	Non
EnableActionRecog	Boolean	Indique s'il faut activer la reconnaissance d'actions. Valeur par défaut : false. Remarque La reconnaissance d'actions est prise en charge uniquement dans la région Chine (Shanghai).	Non
CustomActions	List<String>	Tags d'action personnalisés, associés selon les noms de tags fournis en entrée. Exemple : ["Fight","Cry"]. Le nombre maximal de tags est de 50, chacun ne devant pas dépasser 5 caractères. Remarque La reconnaissance d'actions est prise en charge uniquement dans la région Chine (Shanghai).	Non
HighlightDescription	String	Description de la stratégie d'extraction des temps forts. Ce paramètre prend effet uniquement lorsque ThemeConfig.ThemeType est défini sur SmoothHighlight. Exemple : Privilégier les scènes à forte expression émotionnelle, au contraste élevé, aux conflits narratifs concentrés et à la tension dramatique marquée, telles que le protagoniste masculin exprimant sa colère par ses actions, créant une tension par le contraste identité/comportement, se concentrant sur les conflits centraux, et incluant des dialogues insolites ou des rebondissements pour renforcer l'engagement et susciter l'intérêt.	Non
FaceInfo	FaceInfo	Identifie les personnages par reconnaissance faciale afin de mettre en avant certaines personnes dans les temps forts.	Non

FaceInfo

Paramètre

Type

Description

Obligatoire

ImageInfoList

List<ImageInfo>

Liste de photos de personnages (visages). Maximum 200 images.

Non

ImageInfo

Paramètre	Type	Description	Exemple	Obligatoire
Name	String	Nom du personnage (visage).	Daniel	Oui
ImageURL	String	URL de la photo du personnage, qui doit être accessible publiquement. Assurez-vous que chaque image ne contient qu'une seule personne et que le visage est net, sans occlusion significative ni partie manquante.	http://[your-cdn-domain]/[your-file-path]/face1.png	Oui (choisissez l'une des options : ImageURL ou ImageId).
ImageId	String	ID de la ressource image.	9d46c886b45481030f6e	Oui (choisissez l'une des options : ImageURL ou ImageId).

Media

Paramètre	Type	Description	Obligatoire
MediaId	String	ID de la ressource multimédia.	Oui (choisissez l'une des options : MediaId ou MediaURL). MediaId est prioritaire si les deux sont fournis.
MediaURL	String	URL OSS du fichier multimédia.

Exemple de paramètre

{
  "MediaArray": [
    {
      "MediaId": "1cb94770da*******75e6e6c5486302"
    }
  ],
  "Strategy": {
    "Count": 5,
    "ClipDuration": 15,
    "EnableActionRecog": true,
    "CustomActions":  ["Fight","Cry"],
    "HighlightDescription":"Prioritize scenes with strong emotional expression, high contrast, concentrated plot conflict, and dramatic tension, such as the male lead expressing anger through actions, creating tension through identity/behavior contrast, focusing on core conflicts, and including bizarre dialogue or plot twists to enhance engagement and create buzz.",
    "FaceInfo":{"ImageInfoList":[{"Name":"Daniel","ImageURL":"http://[your-cdn-domain]/[your-file-path]/face1.png"}]}
  }
}

OutputConfig

Configurez OutputConfig pour définir les paramètres de sortie, tels que l'emplacement de stockage et le nommage des vidéos générées.

Paramètre	Type	Description	Obligatoire	Exemple
NeedExport	Boolean	Indique s'il faut exporter directement les clips. Valeurs valides : true : renvoie les clips de temps forts extraits. false (par défaut) : seules les plages temporelles des clips de temps forts sont renvoyées.	Non	false
OutputMediaTarget	String	Obligatoire lorsque NeedExport est défini sur true. Valeur valide : oss-object (par défaut) : enregistre les sorties sous forme d'objets dans des buckets OSS.	Non.	oss-object
Endpoint	String	Endpoint compatible avec le protocole S3. Pour OSS, la région doit correspondre à la région du service. Par défaut, l'endpoint OSS de la même région est utilisé.	Non	https://oss-cn-shanghai.aliyuncs.com
Bucket	String	Obligatoire lorsque NeedExport est défini sur true. Spécifiez votre bucket OSS, compatible avec le protocole S3.	Non	your bucket
ObjectKey	String	Obligatoire lorsque NeedExport est défini sur true. Convention de nommage des objets OSS. Espace réservé pris en charge : {index} : doit être inclus dans le chemin de l'objet.	Non	dir/to/testOutput_{index}.mp4
ExportAsNewMedia	Boolean	Facultatif lorsque NeedExport est défini sur true. Indique s'il faut générer de nouvelles ressources multimédias en sortie. Pris en charge uniquement lorsque OutputMediaTarget est défini sur oss-object.	Non. Valeur par défaut : false.	false
Width	Integer	Facultatif lorsque NeedExport est défini sur true. Largeur de la vidéo de sortie en pixels. Si ce paramètre n'est pas spécifié, la largeur sera identique à celle de la vidéo source.	Non	1280
Height	Integer	Facultatif lorsque NeedExport est défini sur true. Hauteur de la vidéo de sortie en pixels. Si ce paramètre n'est pas spécifié, la hauteur sera identique à celle de la vidéo source.	Non	720
Video	JSONObject	Facultatif lorsque NeedExport est défini sur true. Configuration du flux de la vidéo de sortie, telle que le CRF et le codec.	Non	{ "Bitrate": 3000 }

Exemple de paramètre

 {
    "NeedExport": true,
    "OutputMediaTarget": "oss-object",
    "Endpoint": "https://oss-cn-shanghai.aliyuncs.com"
    "Bucket": "your-bucket",
    "ObjectKey": "dir/to/testOutput_{index}.mp4",
    "ExportAsNewMedia": false,
    "Width": 1280,
    "Height": 720,
    "Video": {
      "Bitrate": 3000
    }
  }

GetSmartHandleJob

Récupérez les résultats d'extraction de temps forts avec GetSmartHandleJob. Les paramètres de réponse AiResult sont listés ci-dessous.

AiResult

{
  "HighlightResults": [
    {
      "Media": "MediaId1", //If URL was specified in InputConfig, then URL will be returned here.
      "TimeRanges": [
        {
          "In": 20,
          "Out": 30,
          "Tags": ["Fight","Cry"], // Detected action tags.
          "OutputURL": "http://your bucket.oss-cn-shanghai.aliyuncs.com/output_0.mp4", // Only returned when needExport is set to true.
          "MediaId": "MediaId11", // Only returned when ExportAsNewMedia is set to true.
        }
      ]
    },
    {
      "Media": "MediaId2", //If URL was specified in InputConfig, then URL will be returned here.
      "TimeRanges": [
        {
          "In": 2,
          "Out": 10,
          "Tags": ["Run","Shout"],
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_1.mp4" // Only returned when needExport is set to true.
        },
        {
          "In": 40,
          "Out": 50,
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_2.mp4" // Only returned when needExport is set to true.
        }
      ]
    }
  ]
}