Intelligent Media Services:Cloud Editing × Agent : utilisez le langage naturel pour ajouter des sous-titres et packager les mini-séries

Après la génération vidéo vient l'étape de livraison

L'AIGC accélère la génération des plans, mais transformer les ressources générées en mini-séries livrables nécessite toujours plusieurs tâches de post-production :

• Appliquer des séquences d'ouverture, de fermeture et des incrustations de titre cohérentes sur tous les épisodes ;

• Calibrer la vitesse des dialogues, ainsi que les styles et la mise en page des sous-titres ;

• Sélectionner les récapitulatifs et les bandes-annonces à partir des épisodes adjacents ;

• Régénérer la version correspondante lorsque les ressources ou les textes changent.

Ces tâches ne sont pas entièrement hors de portée de l'automatisation. Le véritable défi consiste à traduire précisément les exigences de montage en règles exécutables tout en garantissant la cohérence des résultats d'une exécution à l'autre. La solution Video Editor Skill d'Alibaba Cloud Intelligent Media Services (IMS) connecte le flux de travail via l'interface Agent : soumettez les exigences et les ressources → l'Agent aide à créer un plan de montage → la Skill orchestre la timeline → le moteur de montage vidéo cloud IMS effectue le rendu du résultat.

Le langage naturel est le point d'entrée ; une timeline structurée constitue la base de l'exécution.

01 | Rôles respectifs de l'Agent, de la Skill et d'IMS

Ce flux de travail comporte trois niveaux de responsabilité :

Agent : Compréhension et planification

Il comprend votre objectif et combine le script avec les résultats d'analyse disponibles pour proposer des plans de packaging, de sous-titrage ou de sélection d'extraits.

Skill : Organisation et contraintes

Elle prépare les paramètres selon le processus convenu, organise la timeline, vérifie les conditions clés et appelle les outils pertinents.

Montage vidéo cloud IMS : Exécution et sortie

Il réalise le montage et le compositing dans le cloud à partir de la timeline soumise pour générer la vidéo cible.

Des tâches telles que la reconnaissance des sous-titres, leur suppression, la traduction, le voiceover et l'inspection multimodale nécessitent des services distincts. Les capacités disponibles dépendent de la version de la Skill installée, de l'environnement de l'Agent, des services activés et de la configuration des autorisations.

02 | Utilisez un ensemble unique de règles pour packager plusieurs épisodes de mini-série

Pour les équipes produisant des mini-séries, les séquences d'ouverture, de fermeture et les incrustations peuvent sembler simples, mais traiter les épisodes un par un peut entraîner des incohérences de style, des éléments manquants et des règles contradictoires.

Par exemple, une même série pourrait nécessiter :

• Une couverture avec titre pour le premier épisode ;

• Un récapitulatif pour les épisodes intermédiaires ;

• Une bande-annonce de l'épisode suivant pour les épisodes qui ne sont pas le final ;

• Un écran de fin pour l'épisode final ;

• Des sous-titres cohérents et une incrustation du titre de la série pour le contenu principal.

Définissez d'abord ces règles, puis laissez l'Agent générer un plan :

Create consistent packaging for these 3 short-drama episodes, which form one complete series.
Add a title cover to the first episode; select a recap from the previous episode for episodes 2 and 3; select a trailer from the next episode for episodes 1 and 2; and add an ending card to episode 3.
Add consistent drama-title overlays and subtitles to the main content. Keep the output dimensions the same as the source videos.
Do not cut off complete dialogue in recaps or trailers. Show the selected clips and packaging plan first, then submit the render after confirmation.

Cela inclut deux types de tâches :

• Exécution des règles : Titres, incrustations, packaging fixe et spécifications de sortie ;

• Création assistée : Sélection des dialogues et des plans à utiliser comme récapitulatifs ou bandes-annonces.

Le premier type convient aux règles stables. Le second requiert un jugement basé sur le contenu, ainsi qu'une révision avant et après le rendu.

Vidéos finales :

1. Premier épisode

2. Épisode intermédiaire

3. Dernier épisode

03 | Faites des sous-titres des ressources maintenables, et non de simples pixels dans l'image

Lorsque les sous-titres sont incrustés dans l'image, corriger les fautes de frappe, modifier les styles ou produire des versions multilingues ultérieurement ajoute des coûts. Approche recommandée : Conservez un master sans sous-titres et maintenez les sous-titres sous forme de structure distincte et modifiable.

Nouveau contenu : Conservez un master sans sous-titres chaque fois que possible. Pour les vidéos sans sous-titres, générez une timeline de sous-titres en alignant précisément le script sur l'audio. Vous pouvez ensuite ajuster indépendamment le contenu, le placement et le style des sous-titres. Lorsque des modifications sont nécessaires, réutilisez les ressources vidéo existantes et la structure des sous-titres pour éliminer le travail redondant.

Contenu existant : Traitez séparément la suppression et la reconstruction. Pour les vidéos avec des sous-titres incrustés, évaluez d'abord si les sous-titres originaux peuvent être supprimés. Reconstruisez ensuite la piste de sous-titres à partir du script ou des résultats de reconnaissance vocale, et vérifiez le texte et la timeline des sous-titres reconstruits. La qualité de la suppression est affectée par des arrière-plans complexes, l'occlusion des sujets et les mouvements rapides.

L'exemple suivant utilise du contenu existant avec des sous-titres incrustés :

• Vidéo originale :

• Vidéo finale :

• Un livrable supplémentaire vous permet de modifier directement le texte des sous-titres dans le fichier délimité en rouge ci-dessous :

La valeur de l'ingénierie des sous-titres ne se limite pas à rendre cette révision possible. Elle laisse une base maintenable pour la prochaine révision.

04 | Utilisez des ressources légères pour tester les histoires et les textes

Avant d'investir dans la production complète d'un drame animé, vous pouvez utiliser une image d'arrière-plan, du texte défilant et une narration pour créer des ressources de test légères.

Par exemple :

Use this background image to turn the provided story excerpt into a vertical image-and-text narration video. Display the text in yellow and scroll it to match the narration pace. Confirm the layout and voiceover plan before generating the final video.

Ces ressources peuvent fournir un retour initial sur les accroches narratives, l'expression textuelle ou différentes approches d'ouverture.

• Vidéo finale

05 | Passez d'une vidéo rendue unique à des modèles réutilisables

Après avoir confirmé le premier lot de vidéos rendues, vous pouvez identifier davantage les règles réutilisables :

• Styles de titre et d'incrustation ;

• Placement, couleur et taille de police des sous-titres ;

• Structures pour les premiers, intermédiaires et derniers épisodes ;

• Points de remplacement des ressources ;

• Spécifications de sortie et exigences de révision.

Les règles réutilisables peuvent être capturées dans des mécanismes de modèle pris en charge pour réduire la configuration répétée.

La réutilisation de modèles ne signifie pas que chaque tâche nécessite uniquement des ressources différentes. Lorsque la durée des ressources ou la longueur du voiceover change, ou lorsque des moments forts doivent être sélectionnés épisode par épisode, une reconstruction reste nécessaire : recalculez les plages horaires, ajustez les mises en page et exécutez l'analyse de contenu. Solution : Mettez en modèle les règles fixes et conservez un processus de confirmation manuelle pour les décisions dynamiques.

L'exemple suivant utilise le scénario Utilisez un ensemble unique de règles pour packager plusieurs épisodes de mini-série :

06 | Étendez le flux de travail avec la production multilingue et la sélection de moments forts

Lorsque les ressources et les conditions de service le permettent, ce flux de travail peut être étendu dans deux directions.

Production multilingue

La réutilisation de sous-titres distincts et de timelines existantes peut réduire le travail répété de reconnaissance, de suppression et d'organisation. Après la traduction, vous devez toujours vérifier la vitesse de lecture des sous-titres, les sauts de ligne, la cohérence terminologique et si la durée du voiceover correspond à la vidéo source.

L'exemple suivant traduit en espagnol et en allemand :

This is the subtitle timeline for episode 1, including the in and out points for each dialogue segment: XXXX. The male lead uses voice ID Voice-xxxx, and the female lead uses voice ID Voice-xxxx.
My video is XXXX and must be translated into Spanish and German. Recalculate line widths and display durations after translation, or subtitles may overflow or flash by too quickly.
Term consistency: Translate personal names, place names, and world-building terms according to the context.
Voiceover duration alignment: Adjust the speaking speed; do not change the video playback speed.
Follow regional subtitle-standard differences for line count, characters per line, and placement.

• Vidéo finale en espagnol :

• Vidéo finale en allemand :

Sélection de moments forts pilotée par le script

Pour les mini-séries disposant de scripts et d'horodatages précis, identifiez d'abord les conflits, les rebondissements et les dialogues clés dans le texte. Mappez-les ensuite sur la vidéo et corrigez les points de coupure en utilisant les limites des plans et de l'audio.

Le script fournit des indices sémantiques, tandis que les signaux audio et vidéo aident à vérifier les limites de montage. Leur combinaison convient mieux à la production réelle que de s'appuyer sur un seul type d'information.

Utilisez l'entrée suivante comme exemple :

I have three short-drama episodes and need their highlights to create a promotional video.
The media asset IDs are: mediaId_xxxxxx, mediaId_xxxxxx, mediaId_xxxxxx
The scripts are: script1.docx, script2.docx, script3.docx

• Format du script d'entrée :

  # "The Cultivation World Corrector", Episode 2 · Shot-by-shot reconstruction script
  Duration 89s | 32 shots | 1280×720 | source file `fantasy-subtitles-2.mp4`
  **Characters**: Lu Chen (a young man in gray robes with his hair tied up, the protagonist, who calls himself "the corrector of this world") | Jiang Wan (a woman in white robes with long hair and a jade hairpin) | Elder (an old man in a blue robe with a white beard, holding a fly whisk) | several gray-robed disciples
  
  ### Shot 1 [00:00.0 - 00:02.6]
  **Visual**: A man in a gray robe and a woman in white stand side by side on a cliff above a sea of clouds, holding long swords. A wide shot shows the steep mountains and scattered pines in an immortal-hero setting.
  **Dialogue** `00:00.7` Those people really could not wait.
  
  ### Shot 2 [00:02.6 – 00:05.6]
  **Visual**: A medium shot shows the man in gray looking sideways at the woman in white. Her hair is piled high and her expression is grave. A misty cliff forms the background, creating a tense confrontation.
  **Dialogue** `00:04.7` Jiang Wan's sword aura seems gentle,
  
  ### Shot 3 [00:05.6 – 00:09.2]
  **Visual**: A close-up shows the man in gray with his long hair tied back and a sharp gaze. The subtitle reads "Jiang Wan's sword aura seems gentle," and blurred mountains fill the background.
  **Dialogue** `00:07.3` but it has blocked every path of retreat.
  
  ### Shot 4 [00:09.2 – 00:12.0]
  **Visual**: A wide shot shows the two figures standing on a mountaintop with their backs to the camera, overlooking a surging sea of clouds and solitary peaks. Their robes move slightly in the wind, conveying detachment and solitude.
  **Dialogue** (none)
  
  ### Shot 5 [00:12.0 – 00:15.6]
  **Visual**: A medium shot shows the man in gray spreading his arms as if casting a spell, while the woman in white stands at his side holding her sword. The subtitle "Lu Chen" identifies him, and the surrounding sea of clouds creates a grand atmosphere.
  **Dialogue** `00:12.5` Lu Chen, do not blame me. Blame the fact that you were born with a body forsaken by heaven,
  
  ### Shot 6 [00:15.6 – 00:19.0]
  **Visual**: An over-the-shoulder shot shows the back of the man in gray while the woman in white speaks softly with her sword in hand. The subtitle reads "Blame the fact that you were born with a body forsaken by heaven," and the emotion is intense.
  **Dialogue** (none)
  
  ....
  

• Vidéo finale :

Commencer

The following are episodes 1, 2, and 3 of the drama "I Can Control the Cultivation World". Add an opening sequence, a closing sequence, and a watermark to each episode. Opening sequence: for episode 1, select one frame from the episode as the cover and place the drama title in quotation marks at the center; for middle episodes, cut a very short recap from the previous episode. Every clip you cut must be complete and must not cut off dialogue, and the drama title must also appear at the upper right. Closing sequence: for the final episode, select one frame from the episode as the cover, display the drama title in quotation marks at the center, and add "The End"; for any episode that is not the final one, cut an attention-grabbing next-episode trailer from the next episode. Every clip you cut must be complete and must not cut off dialogue; show the episode title at the upper right and mark it as a next-episode trailer. Apart from the opening and closing sequences, the episode title must appear as a watermark at the upper right throughout the series. Use yellow for the watermarks in the episodes and in the opening and closing sequences, keep the quotation marks, and make the text a little larger. Finally, add subtitles to my drama. Keep the output dimensions the same as the source videos
Input videos: /Downloads/short_final_1_placeholder.mp4, /Downloads/short_final_2_placeholder.mp4, ~/Downloads/short_final_3_placeholder.mp4.
The scripts for these three episodes are: script1.docx, script2.docx, script3.docx

Conclusion

Tous les exemples de scénarios partagent une caractéristique : organisez d'abord le contenu autour de la timeline, et l'efficacité de chaque étape ultérieure se multiplie.

Video Editor Skill ne prend pas de décisions de montage. Elle convertit les décisions en ressources pouvant être soumises, validées et réutilisées. Les monteurs sont libérés des opérations de timeline et les développeurs n'ont pas besoin d'étudier en profondeur la logique de montage ; les deux pilotent le même pipeline cloud à partir de la même description structurée. Dans un pipeline AIGC de mini-séries, les modèles génèrent des ressources de plans, tandis que Video Editor Skill standardise le packaging multi-épisodes, maintient les sous-titres, prend en charge la réutilisation de modèles et étend le flux de travail aux clips multilingues de moments forts.

Rappel sur les coûts : L'utilisation réelle entraîne des frais de service pour le montage vidéo cloud, le stockage et le transfert réseau, la reconnaissance vocale, la suppression de sous-titres, le voiceover et l'invocation de modèles. Les frais dépendent de votre utilisation réelle et de la tarification officielle.

Rappel de sécurité : Ne saisissez pas de secrets dans la fenêtre de chat et ne permettez pas à l'Agent de sortir des fichiers d'identifiants ou des journaux portant des traces de secrets.