Audio processing - Intelligent Media Services - Centre de documentation Alibaba Cloud

Configurez le paramètre Timeline de l'opération SubmitMediaProducingJob pour des scénarios de traitement audio tels que le réglage du volume, le mixage audio, les fondus enchaînés (fade-in/fade-out), la réduction du bruit et la normalisation audio.

Remarques d'utilisation

La production intelligente prend en charge le montage et le compositing, le rendu des effets ainsi que les modèles pour les flux en direct, les fichiers VOD et les fichiers de ressources issus d'Object Storage Service (OSS). Pour plus d'informations, consultez la rubrique Présentation de la production intelligente.
Produisez une vidéo à partir d'une ou plusieurs vidéos, de fichiers audio, d'images et de sous-titres en configurant les paramètres Timeline et en appelant l'opération SubmitMediaProducingJob.
Une timeline est créée lorsque vous ajoutez des ressources et configurez des effets pour créer une vidéo. Une timeline se compose de pistes, de ressources et d'effets. Pour plus d'informations, consultez les configurations de timeline.
Pour savoir comment utiliser le SDK IMS afin de monter des fichiers audio et vidéo, consultez la section Premiers pas.

Traitement audio pour les vidéos

Couper le son d'une vidéo entière

Configurez l'élément Effects pour couper le son d'une vidéo entière.

Remarque

Le champ Gain spécifie un niveau de gain. La valeur 0 indique que la vidéo est en sourdine.

Effet	Exemple de timeline
	`{ "VideoTracks": [ { "VideoTrackClips": [ { "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4", "Effects": [ { "Type": "Volume", "Gain": 0 } ] } ] } ] }`

Ajuster le volume

Ajustez le volume des clips audio et vidéo.

Remarque

L'exemple de code suivant définit le niveau de gain du clip vidéo sur 0,5 et celui du clip audio sur 2.
Le champ Gain spécifie un niveau de gain. Vous pouvez définir ce niveau sur l'une des valeurs suivantes :
- 0 : sourdine.
- 1 : volume d'origine.
- Une valeur comprise entre 0 et 1 : inférieure au volume d'origine, mais pas en sourdine. Plus la valeur est faible, plus le niveau de gain est bas.
- Une valeur supérieure à 1 : supérieure au volume d'origine. Plus la valeur est élevée, plus le niveau de gain est important.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,5
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    }
  ]
}

Couper le son d'une vidéo entière et mixer de l'audio

Un scénario courant consiste à couper le son d'une vidéo entière, puis à y mixer de l'audio.

Remarque

Placez tous les clips audio à utiliser dans l'élément AudioTracks.
Si le champ TimelineIn n'est pas spécifié, le mixage audio commence au début du clip vidéo.
Si le champ TimelineOut n'est pas spécifié, la totalité du clip audio est utilisée pour le mixage. Si le clip audio est plus long que le clip vidéo, la section audio mixée dans la vidéo aura la même durée que le clip vidéo et la partie audio restante sera tronquée.
L'élément AudioTrackClips peut contenir des clips audio uniquement ou des clips vidéo comportant de l'audio.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav"
        }
      ]
    }
  ]
}

Couper le son d'une vidéo entière et mixer de l'audio provenant de plusieurs clips

Coupez le son d'une vidéo entière et mixez de l'audio provenant de plusieurs clips.

Remarque

L'exemple de code suivant coupe le son de la vidéo entière et mixe l'audio de deux clips :
- La section audio allant de la 1re à la 5e seconde du clip m1.wav est mixée dans la section allant de la 2e à la 6e seconde du clip vidéo, avec un niveau de gain audio défini sur 2.
- La section audio allant de la 2e à la 10e seconde du clip speech.mp3 est mixée dans la section allant de la 4e à la 12e seconde du clip vidéo, avec un niveau de gain audio défini sur 0,5.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 1,
          "Out": 5,
          "TimelineIn": 2,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 2,
          "Out": 10,
          "TimelineIn": 4,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,5
            }
          ]
        }
      ]
    }
  ]
}

Configurer la lecture en boucle de l'audio

Remarque

L'exemple de code suivant coupe le son du clip vidéo et joue en boucle la section du fichier audio m2.wav allant de la 4e à la 10e seconde sur la partie de la timeline située entre la 2e et la 14e seconde.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav",
          "LoopMode": true,
          "In": 4,
          "Out": 10,
          "TimelineIn": 2,
          "TimelineOut": 14
        }
      ]
    }
  ]
}

Fondu en ouverture et en fermeture de l'audio

Configurer le fondu en ouverture et en fermeture pour un clip audio seul

Définissez le champ Type sur AFade pour configurer le fondu en ouverture et en fermeture de l'audio.

Remarque

L'exemple de code suivant définit un effet de fondu en ouverture de 3 secondes et un effet de fondu en fermeture de 4 secondes. Le fondu en ouverture augmente le volume de manière linéaire, tandis que le fondu en fermeture le diminue de manière linéaire.
Pour plus d'informations sur l'effet AFade, consultez la section AFade.

Effet

Exemple de timeline

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Duration": 3,
              "Curve": "tri"
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

Configurer le fondu en ouverture et en fermeture de l'audio pour un clip vidéo

Appliquez des effets de fondu en ouverture et en fermeture à l'audio d'une vidéo. La configuration est identique à celle d'un clip audio seul.

Remarque

L'exemple de code suivant définit un effet de fondu en ouverture de 3 secondes pour la piste audio et un effet de fondu en fermeture de 4 secondes. Le fondu en ouverture augmente le volume de manière linéaire, tandis que le fondu en fermeture le diminue de manière linéaire.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Curve": "tri",
              "Duration": 3
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

Couper le son d'une section spécifique d'une piste audio

Coupez le son d'une section spécifique d'une piste audio en spécifiant les positions de début et de fin.

Remarque

L'exemple de code suivant coupe le son de la section audio allant de la 2e à la 5e seconde.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,
              "In": 2,
              "Out": 5
            }
          ]
        }
      ]
    }
  ]
}

Spécifier la position de départ du mixage audio

Lorsque vous coupez le son d'une vidéo et y mixez de l'audio, vous pouvez spécifier les positions de début et de fin du mixage.

Remarque

L'exemple de code suivant mixe la section audio allant de la 10e à la 19e seconde dans la vidéo, à partir de la 5e seconde de celle-ci.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In":10,
          "Out":19,
          "TimelineIn":5
        }
      ]
    }
  ]
}

Réduire le bruit

Réduisez le bruit dans les clips audio seuls et les clips vidéo.

Remarque

Pour plus d'informations sur les valeurs du champ Mode, consultez la section ADenoise.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "ADenoise",
              "Mode": 1
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "ADenoise",
              "Mode": 1
            }
          ]
        }
      ]
    }
  ]
}

Mixer de l'audio dans une vidéo

Mixez plusieurs pistes audio dans une vidéo.

Remarque

Dans l'exemple suivant, le niveau de gain des sections allant de la 4e à la 6e seconde et de la 9e à la 14e seconde du clip h4.mp4 est défini sur 0,8.
De plus, l'audio de deux pistes est mixé dans la vidéo.
- La section audio allant de la 10e à la 17e seconde du clip m1.wav est mixée dans la section allant de la 4e à la 11e seconde du clip vidéo, avec un niveau de gain audio défini sur 2.
- La section audio allant de la 15e à la 20e seconde du clip speech.mp3 est mixée dans la section allant de la 9e à la 14e seconde du clip vidéo.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,
              "In": 4,
              "Out": 6
            },
            {
              "Type": "Volume",
              "Gain": 0,8,
              "In": 9,
              "Out": 14
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 10,
          "Out": 17,
          "TimelineIn": 4,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 15,
          "Out": 20,
          "TimelineIn": 9,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 1
            }
          ]
        }
      ]
    }
  ]
}

Normaliser l'audio

Remarque

Ce paramètre s'applique uniquement aux clips audio et vidéo. Si ALoudNorm est utilisé conjointement avec ADenoise ou Volume, les paramètres prennent effet dans l'ordre suivant : ADenoise > Volume > ALoudNorm.

Vous pouvez normaliser le volume de l'audio.

Effet

Exemple de timeline

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Comment": "Normalize the volume of the audio",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24,0,
              "TruePeak": -2,0
            }
          ]
        },
        {
          "Comment": "Normalize the volume of the audio",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24,0,
              "TruePeak": -2,0
            }
          ]
        }
      ]
    }
  ]
}

Vous pouvez normaliser le volume de l'audio dans une vidéo.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "Comment": "Normalize the volume of audio in a video",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24,0,
              "TruePeak": -2,0
            }
          ]
        },
        {
          "Comment": "Normalize the volume of audio in a video",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24,0,
              "TruePeak": -2,0
            }
          ]
        }
      ]
    }
  ]
}

Égaliser le volume

Remarque

Ce paramètre prend effet globalement et ne peut pas s'appliquer à un seul clip.

Vous pouvez égaliser le volume de l'audio dans une vidéo.

Effet

Exemple de timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "Comment": "Equalize the volume of audio in a video",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4"
        },
        {
          "Comment": "Equalize the volume of audio in a video",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4"
        }
      ]
    }
  ],
  "EffectTracks": [
    {
			"EffectTrackItems": [
        {
          "Type": "AEqualize",
          "Peak": 0,95,
          "Gain": 10
        }
      ]
    }
  ]
}

Vous pouvez égaliser le volume de l'audio.

Effet

Exemple de timeline

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Comment": "Equalize the volume of audio",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav"
        },
        {
          "Comment": "Equalize the volume of audio",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav"
        }
      ]
    }
  ],
  "EffectTracks": [
    {
			"EffectTrackItems": [
        {
          "Type": "AEqualize",
          "Peak": 0,95,
          "Gain": 10
        }
      ]
    }
  ]
}

Clips de sortie audio uniquement

Extraire l'audio

Extrayez l'audio d'un clip vidéo en spécifiant ce dernier dans le champ AudioTrackClips de l'élément AudioTracks.

Effet	Exemple de timeline
	`{ "AudioTracks": [ { "AudioTrackClips": [ { "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4" } ] } ] }`

Fusionner des clips audio

Fusionnez des sections spécifiées de deux clips audio dans un ordre particulier en une seule piste audio.

Effet

Exemple de timeline

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 0,
          "Out": 12
        },
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 12,
          "Out": 20
        }
      ]
    }
  ]
}

Mixer de l'audio provenant de plusieurs clips audio uniquement

Mixez de l'audio provenant de plusieurs clips audio uniquement.

Effet

Exemple de timeline

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 10,
          "Out": 20,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 5,
          "Out": 15,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 1
            }
          ]
        }
      ]
    }
  ]
}

Intelligent Media Services:Traitement audio

Remarques d'utilisation

Traitement audio pour les vidéos

Couper le son d'une vidéo entière

Ajuster le volume

Couper le son d'une vidéo entière et mixer de l'audio

Couper le son d'une vidéo entière et mixer de l'audio provenant de plusieurs clips

Configurer la lecture en boucle de l'audio

Fondu en ouverture et en fermeture de l'audio

Configurer le fondu en ouverture et en fermeture pour un clip audio seul

Configurer le fondu en ouverture et en fermeture de l'audio pour un clip vidéo

Couper le son d'une section spécifique d'une piste audio

Spécifier la position de départ du mixage audio

Réduire le bruit

Mixer de l'audio dans une vidéo

Normaliser l'audio

Égaliser le volume

Clips de sortie audio uniquement

Extraire l'audio

Fusionner des clips audio

Mixer de l'audio provenant de plusieurs clips audio uniquement

Références