オーディオ処理 - Intelligent Media Services - Alibaba Cloud ドキュメントセンター

このトピックでは、さまざまなオーディオ処理シナリオで SubmitMediaProducingJob 操作を呼び出すときに、タイムラインパラメーターを構成する方法について説明します。

使用上の注意

インテリジェントプロダクションは、ライブストリーム、VOD ファイル、および Object Storage Service (OSS) の素材ファイルの編集と合成、エフェクトレンダリング、およびテンプレートをサポートしています。詳細については、「インテリジェントプロダクションの概要」をご参照ください。
タイムラインパラメーターを構成し、SubmitMediaProducingJob 操作を呼び出すことで、1 つ以上のビデオ、オーディオファイル、画像、および字幕素材からビデオを生成できます。
タイムラインは、素材を追加し、エフェクトを構成してビデオを作成するときに作成されます。タイムラインは、トラック、素材、およびエフェクトで構成されます。詳細については、「タイムラインの構成」をご参照ください。
IMS SDK を使用してオーディオファイルとビデオファイルを編集する方法の詳細については、「準備」をご参照ください。

ビデオのオーディオ処理

ビデオ全体のミュート

Effects 要素を構成して、ビデオ全体をミュートできます。

説明

Gain フィールドはゲインレベルを指定します。値 0 は、ビデオがミュートされていることを指定します。

効果	タイムラインの例
	`{ "VideoTracks": [ { "VideoTrackClips": [ { "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4", "Effects": [ { "Type": "Volume", "Gain": 0 } ] } ] } ] }`

音量の調整

オーディオクリップとビデオクリップの音量を調整できます。

説明

次のサンプルコードでは、ビデオクリップのゲインレベルを 0.5 に、オーディオクリップのゲインレベルを 2 に設定しています。
Gain フィールドはゲインレベルを指定します。ゲインレベルは、次のいずれかの値に設定できます。
- 0: ミュート。
- 1: 元の音量。
- 0 ～ 1 の値: 元の音量より小さいがミュートされていない。値が小さいほどゲインレベルが小さくなります。
- 1 より大きい値: 元の音量より大きい。値が大きいほどゲインレベルが大きくなります。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0.5
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    }
  ]
}

ビデオ全体をミュートし、オーディオをミキシングする

一般的なオーディオ処理シナリオは、ビデオ全体をミュートしてから、ビデオにオーディオをミキシングすることです。

説明

使用するすべてのオーディオクリップは、AudioTracks 要素内に配置する必要があります。
TimelineIn フィールドが指定されていない場合、オーディオミキシングはビデオクリップの先頭から開始されます。
TimelineOut フィールドが指定されていない場合、オーディオクリップ全体がミキシングに使用されます。オーディオクリップがビデオクリップより長い場合、ビデオにミキシングされるオーディオセクションはビデオクリップと同じ長さになり、後続のオーディオセクションは切り捨てられます。
AudioTrackClips 要素には、オーディオのみのクリップ、またはオーディオを含むビデオクリップを含めることができます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav"
        }
      ]
    }
  ]
}

ビデオ全体をミュートし、複数のオーディオクリップからオーディオをミキシングする

ビデオ全体をミュートし、複数のオーディオクリップからオーディオをミキシングできます。

説明

次のサンプルコードでは、ビデオ全体をミュートし、2 つのオーディオクリップからオーディオをミキシングします。
- m1.wav クリップの 1 秒目から 5 秒目までのオーディオセクションは、ビデオクリップの 2 秒目から 6 秒目までのセクションにミキシングされ、オーディオゲインレベルは 2 に設定されます。
- speech.mp3 クリップの 2 秒目から 10 秒目までのオーディオセクションは、ビデオクリップの 4 秒目から 12 秒目までのセクションにミキシングされ、オーディオゲインレベルは 0.5 に設定されます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 1,
          "Out": 5,
          "TimelineIn": 2,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 2,
          "Out": 10,
          "TimelineIn": 4,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0.5
            }
          ]
        }
      ]
    }
  ]
}

オーディオのループ再生の構成

説明

次のサンプルコードでは、ビデオクリップをミュートし、m2.wav オーディオの 4 秒目から 10 秒目までのセクションを、2 秒目から 14 秒目までのタイムライン部分で繰り返し再生します。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav",
          "LoopMode": true,
          "In": 4,
          "Out": 10,
          "TimelineIn": 2,
          "TimelineOut": 14
        }
      ]
    }
  ]
}

オーディオのフェードインとフェードアウト

オーディオのみのクリップのフェードインとフェードアウトの構成

Type フィールドを AFade に設定して、オーディオのフェードインとフェードアウトを構成できます。

説明

次のサンプルコードでは、3 秒間のフェードイン効果と 4 秒間のフェードアウト効果を設定しています。フェードインは音量を線形に増加させ、フェードアウトは音量を線形に減少させます。
AFade 効果の詳細については、「AFade」をご参照ください。

効果

タイムラインの例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Duration": 3,
              "Curve": "tri"
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

ビデオクリップのオーディオフェードインとフェードアウトの構成

ビデオのオーディオにフェードインとフェードアウトの効果を適用できます。構成は、オーディオのみのクリップのフェードインとフェードアウトと同じです。

説明

次のサンプルコードでは、オーディオトラックの 3 秒間のフェードイン効果と 4 秒間のフェードアウト効果を設定しています。フェードインは音量を線形に増加させ、フェードアウトは音量を線形に減少させます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Curve": "tri",
              "Duration": 3
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

オーディオトラックの特定のセクションをミュートする

ミュートする開始位置と終了位置を指定することで、オーディオトラックの特定のセクションをミュートできます。

説明

次のサンプルコードでは、2 秒目から 5 秒目までのオーディオセクションをミュートします。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,
              "In": 2,
              "Out": 5
            }
          ]
        }
      ]
    }
  ]
}

オーディオミキシングの開始位置を指定する

ビデオをミュートしてビデオにオーディオをミキシングする場合、ミキシングの開始位置と終了位置を指定できます。

説明

次のサンプルコードでは、10 秒目から 19 秒目までのオーディオセクションを、ビデオの 5 秒目からビデオにミキシングします。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In":10,
          "Out":19,
          "TimelineIn":5
        }
      ]
    }
  ]
}

ノイズの低減

オーディオのみのクリップとビデオクリップのノイズを低減できます。

説明

Mode フィールドの値の詳細については、「ADenoise」をご参照ください。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "ADenoise",
              "Mode": 1
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "ADenoise",
              "Mode": 1
            }
          ]
        }
      ]
    }
  ]
}

ビデオでのオーディオのミキシング

複数のオーディオトラックをビデオにミキシングできます。

説明

次の例では、h4.mp4 クリップの 4 秒目から 6 秒目までと 9 秒目から 14 秒目までのセクションのゲインレベルが 0.8 に設定されています。
さらに、2 つのオーディオトラックからのオーディオがビデオにミキシングされます。
- m1.wav クリップの 10 秒目から 17 秒目までのオーディオセクションは、ビデオクリップの 4 秒目から 11 秒目までのセクションにミキシングされ、オーディオゲインレベルは 2 に設定されます。
- speech.mp3 クリップの 15 秒目から 20 秒目までのオーディオセクションは、ビデオクリップの 9 秒目から 14 秒目までのセクションにミキシングされます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,
              "In": 4,
              "Out": 6
            },
            {
              "Type": "Volume",
              "Gain": 0.8,
              "In": 9,
              "Out": 14
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 10,
          "Out": 17,
          "TimelineIn": 4,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 15,
          "Out": 20,
          "TimelineIn": 9,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 1
            }
          ]
        }
      ]
    }
  ]
}

オーディオの正規化

説明

この設定は、オーディオクリップとビデオクリップにのみ適用されます。 ALoudNorm を ADenosie または Volume と一緒に使用すると、設定は ADenoise > Volume > ALoudNorm の順に有効になります。

オーディオの音量を正規化できます。

効果

タイムラインの例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Comment": "オーディオの音量を正規化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        },
        {
          "Comment": "オーディオの音量を正規化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        }
      ]
    }
  ]
}

ビデオのオーディオの音量を正規化できます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "Comment": "ビデオのオーディオの音量を正規化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        },
        {
        "Comment": "ビデオのオーディオの音量を正規化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        }
      ]
    }
  ]
}

音量の均等化

説明

この設定はグローバルに有効になり、単一のクリップに対しては有効になりません。

ビデオのオーディオの音量を均等化できます。

効果

タイムラインの例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "Comment": "ビデオのオーディオの音量を均等化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4"
        },
        {
          "Comment": "ビデオのオーディオの音量を均等化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4"
        }
      ]
    }
  ],
  "EffectTracks": [
    {
			"EffectTrackItems": [
        {
          "Type": "AEqualize",
          "Peak": 0.95,
          "Gain": 10
        }
      ]
    }
  ]
}

オーディオの音量を均等化できます。

効果

タイムラインの例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Comment": "オーディオの音量を均等化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav"
        },
        {
          "Comment": "オーディオの音量を均等化する",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav"
        }
      ]
    }
  ],
  "EffectTracks": [
    {
			"EffectTrackItems": [
        {
          "Type": "AEqualize",
          "Peak": 0.95,
          "Gain": 10
        }
      ]
    }
  ]
}

オーディオのみの出力クリップ

オーディオの抽出

AudioTracks 要素の AudioTrackClips フィールドでビデオクリップを指定することで、ビデオクリップからオーディオを抽出できます。

効果	タイムラインの例
	`{ "AudioTracks": [ { "AudioTrackClips": [ { "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4" } ] } ] }`

オーディオクリップのマージ

2 つのオーディオクリップの指定されたセクションを特定の順序で 1 つのオーディオトラックにマージできます。

効果

タイムラインの例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 0,
          "Out": 12
        },
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 12,
          "Out": 20
        }
      ]
    }
  ]
}

複数のオーディオのみのクリップからのオーディオのミキシング

複数のオーディオのみのクリップからオーディオをミキシングできます。

効果

タイムラインの例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 10,
          "Out": 20,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 5,
          "Out": 15,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 1
            }
          ]
        }
      ]
    }
  ]
}

Intelligent Media Services:オーディオ処理

使用上の注意

ビデオのオーディオ処理

ビデオ全体のミュート

音量の調整

ビデオ全体をミュートし、オーディオをミキシングする

ビデオ全体をミュートし、複数のオーディオクリップからオーディオをミキシングする

オーディオのループ再生の構成

オーディオのフェードインとフェードアウト

オーディオのみのクリップのフェードインとフェードアウトの構成

ビデオクリップのオーディオフェードインとフェードアウトの構成

オーディオトラックの特定のセクションをミュートする

オーディオミキシングの開始位置を指定する

ノイズの低減

ビデオでのオーディオのミキシング

オーディオの正規化

音量の均等化

オーディオのみの出力クリップ

オーディオの抽出

オーディオクリップのマージ

複数のオーディオのみのクリップからのオーディオのミキシング

関連情報