Use Timeline to produce a video after intelligent processing - Intelligent Media Services

Modifiez le paramètre Timeline de l'opération SubmitMediaProducingJob pour générer une vidéo intégrant les résultats du traitement intelligent, tels que la reconnaissance vocale, la synthèse vocale et le détourage d'arrière-plan.

Remarques relatives à l'utilisation

La production intelligente prend en charge le montage, la composition, le rendu des effets ainsi que les modèles pour les flux en direct, les fichiers VOD et les ressources issues d'Object Storage Service (OSS). Pour plus d'informations, consultez la section Présentation de la production intelligente.
Vous pouvez générer une vidéo à partir d'une ou plusieurs vidéos, de fichiers audio, d'images et de sous-titres en configurant les paramètres Timeline et en appelant l'opération SubmitMediaProducingJob.
Une timeline est créée lorsque vous ajoutez des ressources et configurez des effets pour créer une vidéo. Une timeline se compose de pistes, de ressources et d'effets. Pour plus d'informations, consultez la section Configurations de la timeline.
Pour savoir comment utiliser le SDK IMS afin de modifier des fichiers audio et vidéo, consultez la section Premiers pas.

Utiliser AI_ASR pour convertir la parole en texte et fusionner les sous-titres dans une vidéo

Définissez « Type » sur « AI_ASR » pour convertir la parole contenue dans un fichier audio ou vidéo en texte. Vous pouvez également définir le style des sous-titres, notamment la police et la couleur.

Remarque

Le service de reconnaissance vocale est disponible uniquement dans les régions Chine (Shanghai), Chine (Pékin), Chine (Hangzhou) et Chine (Shenzhen).

Effet

Exemple de timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h5.mp4",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 910,
        "Outline": 10,
        "OutlineColour": "#ffffff",
        "FontSize": 60,
        "FontColor": "#000079",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }]
    }]
  }]
}

Utiliser AI_TTS pour convertir du texte en parole et fusionner l'audio dans une vidéo

Définissez « Type » sur « AI_TTS » pour convertir du texte en parole. Vous pouvez combiner cette fonction avec AI_ASR. Le paramètre Content spécifie le texte à convertir et vous pouvez configurer les propriétés vocales telles que Voice, SpeechRate, PitchRate et Format.

Remarque

Les services de synthèse vocale et de reconnaissance vocale sont disponibles uniquement dans les régions Chine (Shanghai), Chine (Pékin) et Chine (Hangzhou).
Par défaut, AI_TTS découpe les phrases en fonction des signes de ponctuation chinois, tels que les virgules et les points. Les développeurs peuvent contrôler le style des sous-titres et le mode de saut de ligne pour chaque segment de phrase.

Effet

Exemple de timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h3.mp4",
      "Effects": [{
        "Type":"Volume",
        "Gain":0
      }]
    }]
  }],
  "AudioTracks": [{
    "AudioTrackClips": [{
      "Type": "AI_TTS",
      "Content": "Do you not see the Yellow River come from the sky, rushing into the sea and never come back? Do you not see the mirrors bright in chambers high, grieve over your snow-white hair though once it was silk-black?",
      "Voice": "sicheng",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 900,
        "FontSize": 80,
        "FontColor": "#ffffff",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      },{
        "Type":"Volume",
        "Gain":2
      }]
    }]
  }]
}

Utiliser AI_TTS pour convertir du texte en parole et contrôler le rythme ou la prononciation avec SSML

Le champ Content de AI_TTS prend en charge le langage de balisage de synthèse vocale (SSML). Utilisez SSML pour corriger la prononciation des termes techniques, ajouter des pauses et inclure divers effets sonores émotionnels .

Effet

Exemple de timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image1.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0,1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0,3
        }
      ]
    }, {
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image2.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0,1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0,3
        }
      ]
    }, {
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image3.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0,1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0,3
        }
      ]
    }]
  }],
  "AudioTracks": [{
    "MainTrack": true,
    "AudioTrackClips": [{
      "Type": "AI_TTS",
      "Voice": "zhichu",
      "Content": "PU line, short for Polyurethane line, is a molding made from synthetic PU materials. PU stands for polyurethane, and the molding is made from rigid PU foam.",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 1000,
        "FontSize": 50,
        "FontColor": "#ffffff",
        "AdaptMode": "AutoWrap",
        "Outline": 1,
        "OutlineColour": "#0e0100",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }, {
        "Type": "Volume",
        "Gain": 1
      }]
    }, {
      "Type": "AI_TTS",
      "Voice": "zhichu",
      "Content": "<speak><sub alias=\"Pee You\">PU</sub> line, short for Polyurethane line, is a molding made from synthetic <sub alias=\"Pee You\">PU</sub> materials. PU stands for polyurethane, and the molding is made from rigid <sub alias=\"Pee You\">PU</sub> foam.</speak>",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 1000,
        "FontSize": 50,
        "FontColor": "#ffffff",
        "AdaptMode": "AutoWrap",
        "Outline": 1,
        "OutlineColour": "#0e0100",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }, {
        "Type": "Volume",
        "Gain": 1
      }]
    }]
  }],
  "SubtitleTracks": [{
    "SubtitleTrackClips": [{
      "Type": "Text",
      "X": 0,
      "Y": 200,
      "Font": "AlibabaPuHuiTi",
      "Content": "Standard AI_TTS: The pronunciation of the technical term \"PU\" is inaccurate.",
      "Alignment": "TopCenter",
      "FontSize": 70,
      "FontColorOpacity": 1,
      "FontColor": "#990000",
      "AaiMotionLoopEffect1": "slingshot_in",
      "Outline": 1,
      "OutlineColour": "#ffffff",
      "TimelineIn": 0,
      "TimelineOut": 13,
      "AdaptMode": "AutoWrap",
      "FontFace": {
        "Bold": true,
        "Italic": false,
        "Underline": false
      }
    }, {
      "Type": "Text",
      "X": 0,
      "Y": 200,
      "Font": "AlibabaPuHuiTi",
      "Content": "AI_TTS with SSML tags: The pronunciation of the technical term \"PU\" is corrected.",
      "Alignment": "TopCenter",
      "FontSize": 70,
      "FontColorOpacity": 1,
      "FontColor": "#006633",
      "Outline": 1,
      "OutlineColour": "#ffffff",
      "TimelineIn": 13,
      "AdaptMode": "AutoWrap",
      "FontFace": {
        "Bold": true,
        "Italic": false,
        "Underline": false
      }
    }]
  }]
}

AI_Matting : Détourage sur fond vert

Définissez « Type » sur « AI_Matting » pour extraire un sujet d'un arrière-plan vert et le superposer sur une vidéo ou une image d'arrière-plan spécifiée.

Remarque

Le service de détourage sur fond vert est disponible uniquement dans les régions Chine (Hangzhou), Chine (Shanghai) et Chine (Pékin).

Effet

Exemple de timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/background_v2.jpg",
      "Type": "GlobalImage",
      "Width": 1,
      "Height": 1,
      "AdaptMode": "Cover"
    }]
  }, {
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/green-matting-1.mp4",
      "Effects": [{
        "Type": "AI_Matting",
        "Color": "green",
        "Auto": 1,
        "Thres": 10
      }]
    }]
  }]
}

AI_RealMatting : Remplacement d'arrière-plan

Définissez « Type » sur « AI_RealMatting » pour extraire une personne de n'importe quel arrière-plan réel et la superposer sur une vidéo ou une image d'arrière-plan spécifiée.

Remarque

Le service de remplacement d'arrière-plan est disponible uniquement dans les régions Chine (Hangzhou), Chine (Shanghai) et Chine (Pékin).

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/image/03.jpg",
          "Type": "GlobalImage",
          "Width": 0,5,
          "Height": 1,
          "X": 0,5,
          "Y": 0,
          "AdaptMode": "Cover"
        }
      ]
    },
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h6.mov",
          "In": 0,
          "Out": 10,
          "Width": 0,5,
          "Height": 1,
          "AdaptMode": "Cover",
          "X": 0,5,
          "Effects": [
            {
              "Type": "AI_RealMatting",
              "Thres": 8
            },
            {
              "Type": "Crop",
              "X": 0,25,
              "Height": 1,
              "Width": 0,5
            },
            {
              "Type": "Text"
            }
          ]
        }
      ]
    },
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h6.mov",
          "In": 0,
          "Out": 10,
          "Width": 0,5,
          "Height": 1,
          "AdaptMode": "Cover",
          "Effects": [
            {
              "Type": "Crop",
              "X": 0,25,
              "Height": 1,
              "Width": 0,5
            },
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ]
}

Mettre automatiquement en évidence le contenu clé des sous-titres avec AI_ASR

Définissez "NeedHighlighting": true dans l'effet AI_ASR et configurez le style de mise en évidence pour mettre automatiquement en valeur le contenu clé des sous-titres reconnus.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "AI_ASR",
              "Font": "AlibabaPuHuiTi",
              "Alignment": "TopCenter",
              "Y": 820,
              "FontSize": 60,
              "FontColor": "#FFFFFF",
              "FontFace": {
                "Bold": true,
                "Italic": false,
                "Underline": false
              },
              "NeedHighlighting": true,
              "HighlightingStyle": {
                "FontColor": "F6DD14",
                "OutlineColour": "873600",
                "Outline": 4
              },
              "SubtitleEffects": [
                {
                  "Type": "Box",
                  "Color": "000000",
                  "Opacity": "0.9",
                  "XBord": 30,
                  "YBord": 20
                }
              ]
            }
          ]
        },
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.png",
          "Type": "Image",
          "Duration": 12,31,
          "ClipId": "image",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Type": "AI_TTS",
          "Content": "Alibaba Cloud Intelligent Media Services (IMS) is a one-stop service for live streaming and video-on-demand scenarios. It provides capabilities for media ingestion, asset management, content production, and distribution.",
          "ReferenceClipId": "image",
          "Voice": "sicheng",
          "Effects": [
            {
              "Type": "AI_ASR",
              "Font": "AlibabaPuHuiTi",
              "Alignment": "TopCenter",
              "Y": 820,
              "FontSize": 80,
              "FontColor": "#ffffff",
              "FontFace": {
                "Bold": true,
                "Italic": false,
                "Underline": false
              },
              "TextWidth": "0.8",
              "AdaptMode": "AutoWrap",
              "NeedHighlighting": true,
              "HighlightingStyle": {
                "FontColor": "F6DD14",
                "OutlineColour": "873600",
                "Outline": 4
              }
            },
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    }
  ]
}

Intelligent Media Services:Produce a video after intelligent data processing

Remarques relatives à l'utilisation

Utiliser AI_ASR pour convertir la parole en texte et fusionner les sous-titres dans une vidéo

Utiliser AI_TTS pour convertir du texte en parole et fusionner l'audio dans une vidéo

Utiliser AI_TTS pour convertir du texte en parole et contrôler le rythme ou la prononciation avec SSML

AI_Matting : Détourage sur fond vert

AI_RealMatting : Remplacement d'arrière-plan

Mettre automatiquement en évidence le contenu clé des sous-titres avec AI_ASR

Références