タイムラインを使用してインテリジェント処理後にビデオを制作する - Intelligent Media Services

このトピックでは、SubmitMediaProducingJob 操作の Timeline パラメーターを変更して、インテリジェント処理を使用してビデオを制作する方法について説明します。

使用上の注意

インテリジェントプロダクションは、Object Storage Service (OSS) のライブストリーム、VOD ファイル、素材ファイルの編集と合成、エフェクトレンダリング、テンプレートをサポートしています。詳細については、「インテリジェントプロダクションの概要」をご参照ください。
Timeline パラメーターを設定し、SubmitMediaProducingJob 操作を呼び出すことで、1 つ以上のビデオ、オーディオファイル、イメージ、字幕素材からビデオを制作できます。
タイムラインは、素材を追加し、エフェクトを設定してビデオを作成するときに作成されます。タイムラインは、トラック、素材、エフェクトで構成されます。詳細については、「タイムライン構成」をご参照ください。
IMS SDK を使用してオーディオファイルとビデオファイルを編集する方法の詳細については、「準備」をご参照ください。

AI_ASR を使用して音声をテキストに変換し、字幕をビデオにマージする

「Type」を「AI_ASR」に設定して、オーディオまたはビデオの音声をテキストに変換します。フォントや色などの字幕スタイルも設定できます。

説明

音声テキスト変換サービスは、中国 (上海) 、中国 (北京) 、中国 (杭州) 、および中国 (深圳) リージョンでのみ利用できます。

効果

タイムラインの例

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h5.mp4",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 910,
        "Outline": 10,
        "OutlineColour": "#ffffff",
        "FontSize": 60,
        "FontColor": "#000079",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }]
    }]
  }]
}

AI_TTS を使用してテキストを音声に変換し、音声をビデオにマージする

「Type」を「AI_TTS」に設定して、テキストを音声に変換します。この機能は AI_ASR 機能と併用できます。 Content パラメーターは、変換するテキストを指定します。 Voice、SpeechRate、PitchRate、Format などの音声プロパティも設定できます。

説明

音声合成および音声テキスト変換サービスは、中国 (上海) 、中国 (北京) 、および中国 (杭州) リージョンでのみ利用できます。
デフォルトでは、AI_TTS はコンマやピリオドなどの中国語の句読点に基づいて文を分割します。開発者は、各文セグメントの字幕スタイルと改行モードを制御できます。

効果

タイムラインの例

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h3.mp4",
      "Effects": [{
        "Type":"Volume",
        "Gain":0
      }]
    }]
  }],
  "AudioTracks": [{
    "AudioTrackClips": [{
      "Type": "AI_TTS",
      "Content": "Do you not see the Yellow River come from the sky, rushing into the sea and never come back? Do you not see the mirrors bright in chambers high, grieve over your snow-white hair though once it was silk-black?",
      "Voice": "sicheng",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 900,
        "FontSize": 80,
        "FontColor": "#ffffff",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      },{
        "Type":"Volume",
        "Gain":2
      }]
    }]
  }]
}

AI_TTS を使用してテキストを音声に変換し、SSML でリズムや発音を制御する

AI_TTS の Content フィールドは、音声合成マークアップ言語 (SSML) をサポートしています。 SSML を使用して、専門用語の発音を修正したり、間を追加したり、さまざまな感情的な効果音を含めたりします」をご参照ください。

効果

タイムラインの例

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image1.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0.1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0.3
        }
      ]
    }, {
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image2.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0.1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0.3
        }
      ]
    }, {
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image3.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0.1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0.3
        }
      ]
    }]
  }],
  "AudioTracks": [{
    "MainTrack": true,
    "AudioTrackClips": [{
      "Type": "AI_TTS",
      "Voice": "zhichu",
      "Content": "PU line, short for Polyurethane line, is a molding made from synthetic PU materials. PU stands for polyurethane, and the molding is made from rigid PU foam.",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 1000,
        "FontSize": 50,
        "FontColor": "#ffffff",
        "AdaptMode": "AutoWrap",
        "Outline": 1,
        "OutlineColour": "#0e0100",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }, {
        "Type": "Volume",
        "Gain": 1
      }]
    }, {
      "Type": "AI_TTS",
      "Voice": "zhichu",
      "Content": "<speak><sub alias=\"Pee You\">PU</sub> line, short for Polyurethane line, is a molding made from synthetic <sub alias=\"Pee You\">PU</sub> materials. PU stands for polyurethane, and the molding is made from rigid <sub alias=\"Pee You\">PU</sub> foam.</speak>",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 1000,
        "FontSize": 50,
        "FontColor": "#ffffff",
        "AdaptMode": "AutoWrap",
        "Outline": 1,
        "OutlineColour": "#0e0100",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }, {
        "Type": "Volume",
        "Gain": 1
      }]
    }]
  }],
  "SubtitleTracks": [{
    "SubtitleTrackClips": [{
      "Type": "Text",
      "X": 0,
      "Y": 200,
      "Font": "AlibabaPuHuiTi",
      "Content": "Standard AI_TTS: The pronunciation of the technical term \"PU\" is inaccurate.",
      "Alignment": "TopCenter",
      "FontSize": 70,
      "FontColorOpacity": 1,
      "FontColor": "#990000",
      "AaiMotionLoopEffect1": "slingshot_in",
      "Outline": 1,
      "OutlineColour": "#ffffff",
      "TimelineIn": 0,
      "TimelineOut": 13,
      "AdaptMode": "AutoWrap",
      "FontFace": {
        "Bold": true,
        "Italic": false,
        "Underline": false
      }
    }, {
      "Type": "Text",
      "X": 0,
      "Y": 200,
      "Font": "AlibabaPuHuiTi",
      "Content": "AI_TTS with SSML tags: The pronunciation of the technical term \"PU\" is corrected.",
      "Alignment": "TopCenter",
      "FontSize": 70,
      "FontColorOpacity": 1,
      "FontColor": "#006633",
      "Outline": 1,
      "OutlineColour": "#ffffff",
      "TimelineIn": 13,
      "AdaptMode": "AutoWrap",
      "FontFace": {
        "Bold": true,
        "Italic": false,
        "Underline": false
      }
    }]
  }]
}

AI_Matting: グリーンバックマット

「Type」を「AI_Matting」に設定して、グリーンバックの背景から主題を抽出し、指定した背景ビデオまたはイメージに重ね合わせます。

説明

グリーンバックマットサービスは、中国 (杭州) 、中国 (上海) 、および中国 (北京) リージョンでのみ利用できます。

効果

タイムラインの例

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/background_v2.jpg",
      "Type": "GlobalImage",
      "Width": 1,
      "Height": 1,
      "AdaptMode": "Cover"
    }]
  }, {
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/green-matting-1.mp4",
      "Effects": [{
        "Type": "AI_Matting",
        "Color": "green",
        "Auto": 1,
        "Thres": 10
      }]
    }]
  }]
}

AI_RealMatting: 背景の置き換え

「Type」を「AI_RealMatting」に設定して、あらゆる実世界の背景から人物を抽出し、指定した背景ビデオまたはイメージに重ね合わせます。

説明

背景置き換えサービスは、中国 (杭州) 、中国 (上海) 、および中国 (北京) リージョンでのみ利用できます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/image/03.jpg",
          "Type": "GlobalImage",
          "Width": 0.5,
          "Height": 1,
          "X": 0.5,
          "Y": 0,
          "AdaptMode": "Cover"
        }
      ]
    },
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h6.mov",
          "In": 0,
          "Out": 10,
          "Width": 0.5,
          "Height": 1,
          "AdaptMode": "Cover",
          "X": 0.5,
          "Effects": [
            {
              "Type": "AI_RealMatting",
              "Thres": 8
            },
            {
              "Type": "Crop",
              "X": 0.25,
              "Height": 1,
              "Width": 0.5
            },
            {
              "Type": "Text"
            }
          ]
        }
      ]
    },
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h6.mov",
          "In": 0,
          "Out": 10,
          "Width": 0.5,
          "Height": 1,
          "AdaptMode": "Cover",
          "Effects": [
            {
              "Type": "Crop",
              "X": 0.25,
              "Height": 1,
              "Width": 0.5
            },
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ]
}

AI_ASR で字幕の主要コンテンツを自動的にハイライトする

AI_ASR の `Effect` で "NeedHighlighting": true を設定し、ハイライトスタイルを設定します。これにより、認識された字幕が自動的にハイライトされ、主要なコンテンツが強調されます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "AI_ASR",
              "Font": "AlibabaPuHuiTi",
              "Alignment": "TopCenter",
              "Y": 820,
              "FontSize": 60,
              "FontColor": "#FFFFFF",
              "FontFace": {
                "Bold": true,
                "Italic": false,
                "Underline": false
              },
              "NeedHighlighting": true,
              "HighlightingStyle": {
                "FontColor": "F6DD14",
                "OutlineColour": "873600",
                "Outline": 4
              },
              "SubtitleEffects": [
                {
                  "Type": "Box",
                  "Color": "000000",
                  "Opacity": "0.9",
                  "XBord": 30,
                  "YBord": 20
                }
              ]
            }
          ]
        },
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.png",
          "Type": "Image",
          "Duration": 12.31,
          "ClipId": "image",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Type": "AI_TTS",
          "Content": "Alibaba Cloud Intelligent Media Services (IMS) is a one-stop service for live streaming and video-on-demand scenarios. It provides capabilities for media ingestion, asset management, content production, and distribution.",
          "ReferenceClipId": "image",
          "Voice": "sicheng",
          "Effects": [
            {
              "Type": "AI_ASR",
              "Font": "AlibabaPuHuiTi",
              "Alignment": "TopCenter",
              "Y": 820,
              "FontSize": 80,
              "FontColor": "#ffffff",
              "FontFace": {
                "Bold": true,
                "Italic": false,
                "Underline": false
              },
              "TextWidth": "0.8",
              "AdaptMode": "AutoWrap",
              "NeedHighlighting": true,
              "HighlightingStyle": {
                "FontColor": "F6DD14",
                "OutlineColour": "873600",
                "Outline": 4
              }
            },
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    }
  ]
}

Intelligent Media Services:インテリジェントデータ処理後のビデオ制作

使用上の注意

AI_ASR を使用して音声をテキストに変換し、字幕をビデオにマージする

AI_TTS を使用してテキストを音声に変換し、音声をビデオにマージする

AI_TTS を使用してテキストを音声に変換し、SSML でリズムや発音を制御する

AI_Matting: グリーンバックマット

AI_RealMatting: 背景の置き換え

AI_ASR で字幕の主要コンテンツを自動的にハイライトする

関連ドキュメント