Intelligent Media Services:Doublage avec contrôle du niveau d'émotion

Exemple rapide

Lors de l'appel à l'opération SubmitVideoTranslationJob, définissez le paramètre EditingConfig.SpeechTranslate.EmotionLevel pour spécifier le niveau d'émotion. L'exemple suivant traduit une vidéo chinoise en anglais avec le niveau SlightEmotion :

{
  "InputConfig": {
    "Type": "Video",
    "Video": "1628ae20c36******8f6f7c77a6302"
  },
  "EditingConfig": {
    "SourceLanguage": "zh",
    "TargetLanguage": "en",
    "NeedSpeechTranslate": true,
    "SpeechTranslate": {
      "EmotionLevel": "SlightEmotion"
    }
  },
  "Title": "Emotion level dubbing example",
  "OutputConfig": {
    "MediaURL": "https://****.oss-cn-shanghai.aliyuncs.com/output.mp4"
  }
}

Une fois le paramètre "EmotionLevel": "SlightEmotion" défini, le doublage atténue les schémas intonatifs de la langue source tout en conservant de légères inflexions émotionnelles. Ce niveau convient aux promotions d'entreprise, aux présentations de produits et à des contenus similaires.

Fonctionnement

Le doublage avec contrôle du niveau d'émotion est une configuration améliorée pour la traduction vocale, et non un niveau de traduction indépendant. Par défaut, la traduction vocale utilise le clonage vocal pour préserver le timbre, les émotions et la prosodie du locuteur original dans le doublage de la langue cible. Comme ces caractéristiques sont transférées depuis la langue source, l'audio doublé peut conserver un accent marqué et sembler peu naturel aux locuteurs natifs. Le doublage avec contrôle du niveau d'émotion atténue les schémas intonatifs transférés et propose les deux modes de contrôle émotionnel suivants, ce qui vous permet de choisir le degré d'expression émotionnelle conservé dans l'audio doublé :

Si vous ne définissez pas le paramètre EmotionLevel, le système utilise le mode de clonage vocal par défaut pour le doublage.

Scénarios

Lors du doublage interlangues, le mode de clonage vocal par défaut transfère les habitudes intonatives de la langue source vers la langue cible :

• Du chinois vers l'anglais : Les schémas intonatifs chinois sont transférés dans le doublage anglais. L'anglais sonne alors avec un accent, présentant des inflexions émotionnelles anormales qui ne correspondent pas aux modèles de parole natifs anglais.

• De l'anglais vers le chinois : Les schémas intonatifs anglais sont transférés dans le doublage chinois. Le chinois sonne alors comme s'il était prononcé par un non-natif, avec un rythme et des tons peu naturels.

Le tableau suivant compare les trois modes de doublage :

Si votre contenu requiert une haute fidélité émotionnelle, ne définissez pas le paramètre EmotionLevel afin d'appliquer le mode de clonage vocal par défaut. Pour supprimer autant que possible l'accent de la langue source, définissez EmotionLevel sur NoEmotion ; cette option atténue au maximum les inflexions émotionnelles et intonatives, produisant un doublage totalement stable. Pour réduire l'accent tout en conservant une petite partie de l'intonation originale, définissez EmotionLevel sur SlightEmotion ; le résultat se situe entre le mode de clonage vocal par défaut et NoEmotion.

Périmètre pris en charge

Utilisation de l'API

Le doublage avec contrôle du niveau d'émotion est disponible exclusivement via l'API. La console ne prend pas en charge cette configuration. Appelez l'opération SubmitVideoTranslationJob pour définir le niveau d'émotion.

{
  "InputConfig": {
    "Type": "Video",
    "Video": "a3f9b21d457******c8e2a1b3d4e5f6a7b"
  },
  "EditingConfig": {
    "SourceLanguage": "en",
    "TargetLanguage": "zh",
    "NeedSpeechTranslate": true,
    "SpeechTranslate": {
      "EmotionLevel": "NoEmotion"
    }
  },
  "Title": "No emotion dubbing example",
  "OutputConfig": {
    "MediaURL": "https://****.oss-cn-shanghai.aliyuncs.com/output_noemotion.mp4"
  }
}

Limites

• Méthode de traduction — Le paramètre EmotionLevel s'applique uniquement à la traduction vocale (paramètre NeedSpeechTranslate défini sur true). La traduction de sous-titres n'impliquant pas de doublage, ce paramètre ne s'applique pas.

• Langues et régions — Le paramètre prend effet uniquement pour les paires de langues et les régions prises en charge. Pour plus d'informations, consultez la section Périmètre pris en charge.

• Méthode d'accès — Seuls les appels API sont pris en charge. La console ne propose pas d'entrée de configuration.

• Priorité des paramètres — Si vous définissez à la fois EmotionLevel et VoiceCloneMode, le paramètre EmotionLevel est prioritaire.

FAQ

Références

• SubmitVideoTranslationJob : Définissez le paramètre EmotionLevel dans cette opération pour soumettre une tâche de traduction vidéo.

• Video translation : Découvrez l'intégralité de la capacité de traduction vidéo, incluant la traduction de sous-titres, la traduction vocale et la traduction avec synchronisation labiale.