感情レベル吹き替え (EmotionLevel) は、動画翻訳の吹き替えにおける感情の強さを制御します。この機能は、元の言語から引き継がれるイントネーションパターンを弱めることで、翻訳後の音声がターゲット言語のネイティブスピーカーにとってより自然に聞こえるようにします。この機能は API 経由でのみ利用でき、中国語と英語間の音声翻訳のみをサポートし、サポート対象のリージョンでのみ有効です。
簡単な例
SubmitVideoTranslationJob API を呼び出す際に、EditingConfig.SpeechTranslate.EmotionLevel を設定して感情レベルを指定します。次の例では、中国語の動画を英語に翻訳し、感情レベルを SlightEmotion に設定しています。
{
"InputConfig": {
"Type": "Video",
"Video": "1628ae20c36******8f6f7c77a6302"
},
"EditingConfig": {
"SourceLanguage": "zh",
"TargetLanguage": "en",
"NeedSpeechTranslate": true,
"SpeechTranslate": {
"EmotionLevel": "SlightEmotion"
}
},
"Title": "Emotion level dubbing example",
"OutputConfig": {
"MediaURL": "https://****.oss-cn-shanghai.aliyuncs.com/output.mp4"
}
}"EmotionLevel": "SlightEmotion" を設定すると、吹き替えは元の言語のイントネーションパターンを弱め、わずかな感情の抑揚を保ちます。このレベルは、企業プロモーション、製品紹介、および類似のコンテンツに適しています。
仕組み
感情レベル吹き替えは、音声翻訳の拡張設定であり、独立した翻訳レベルではありません。デフォルトでは、音声翻訳は音声クローニングを使用して、ターゲット言語の吹き替えにおいて元の話者の音色、感情、韻律を保持します。これらの特性は元の言語から引き継がれるため、吹き替え音声には顕著な訛りが残り、ネイティブスピーカーにとって不自然に聞こえることがあります。感情レベル吹き替えは、引き継がれるイントネーションパターンを弱め、吹き替え音声がどの程度の感情表現を保持するかを選択できる次の 2 つの感情制御モードを提供します。
| 感情レベル | 値 | 説明 |
| わずかな感情 | SlightEmotion | 元の音声の基本的なイントネーションを保持します。吹き替えは、わずかな感情の抑揚を伴い、自然に聞こえます。 |
| 感情なし | NoEmotion | 感情の抑揚のない、完全にフラットで安定したトーンで吹き替えを行います。 |
EmotionLevel パラメーターを設定しない場合、システムはデフォルトの音声クローニングモードで吹き替えを行います。
シナリオ
言語間の吹き替えにおいて、デフォルトの音声クローニングモードは、元の言語のイントネーションの特徴をターゲット言語に引き継ぎます。
中国語から英語: 中国語のイントネーションパターンが英語の吹き替えに引き継がれます。その結果、英語は訛りがあり、ネイティブの英語の話し方のパターンと一致しない異常な感情の抑揚があるように聞こえます。
英語から中国語: 英語のイントネーションパターンが中国語の吹き替えに引き継がれます。その結果、中国語はネイティブスピーカーではないような、不自然なリズムと声調に聞こえます。
次の表は、3 つの吹き替えモードを比較したものです。
| 吹き替えモード | 効果 | メリット | デメリット | シナリオ |
| デフォルトの音声クローニングモード | 元の話者のイントネーションと感情を完全に保持 | 豊かな感情表現と独特な元の音声特性 | 言語間の吹き替えにおいて、元の言語の顕著な訛りが残る | 映画の解説や感情豊かなショート動画など、高い感情の忠実度が求められるコンテンツ |
わずかな感情 (SlightEmotion) | 元の言語のイントネーションを弱めながら、わずかな感情の抑揚を保持 | より安定したイントネーションと元の言語の訛りの軽減、一部の感情の色彩を保持 | 感情表現が弱まるため、感情豊かなコンテンツには不向き | 企業プロモーション、製品紹介、オンラインコース、および安定したイントネーションが求められるその他のコンテンツ |
感情なし (NoEmotion) | 感情の抑揚のない、完全にフラットで安定したトーン | 元の言語の訛りを最大限に除去し、最も中立的で安定した吹き替えを生成 | 感情表現が完全に欠如するため、感情的なインパクトが必要なコンテンツには不向き | ニュース放送、技術解説、操作デモンストレーション、およびその他の極めて中立的なコンテンツ |
コンテンツに高い感情の忠実度が必要な場合は、EmotionLevel を設定せず、デフォルトの音声クローニングモードを適用してください。元の言語の訛りを可能な限り除去するには、EmotionLevel を NoEmotion に設定します。これにより、感情とイントネーションの抑揚が最も弱められ、完全に安定した吹き替えが生成されます。訛りを軽減しながら元のイントネーションを一部保持するには、EmotionLevel を SlightEmotion に設定します。結果は、デフォルトの音声クローニングモードと NoEmotion の中間になります。
サポート範囲
サポート対象言語
感情レベル吹き替えは、次の言語ペアのみをサポートしています。
| 元の言語 | ターゲット言語 | サポート |
| 中国語 (zh) | 英語 (en) | はい |
| 英語 (en) | 中国語 (zh) | はい |
| その他の言語の組み合わせ | — | サポート対象外 |
EmotionLevel を設定しない場合、サポート対象のすべてのターゲット言語における音声翻訳は影響を受けず、デフォルトの音声クローニングモードを引き続き使用します。
サポート対象リージョン
| リージョン | サポート |
| China (Shanghai) | はい |
| China (Beijing) | はい |
| China (Shenzhen) | はい |
| China (Hangzhou) | はい |
| Singapore | はい |
APIの使用方法
感情レベル吹き替えは API 経由でのみ利用可能です。コンソールではこの設定はサポートされていません。SubmitVideoTranslationJob API を呼び出して感情レベルを設定します。
パラメーターリファレンス
EditingConfig.SpeechTranslate.EmotionLevel フィールドを使用して感情レベルを設定します。
| パラメーター | タイプ | 必須 | 値 | 説明 |
EmotionLevel | String | いいえ | SlightEmotion | わずかな感情の吹き替え。3 つの吹き替えモードの比較については、「シナリオ」をご参照ください。 |
EmotionLevel | String | いいえ | NoEmotion | 感情なしの吹き替え。3 つの吹き替えモードの比較については、「シナリオ」をご参照ください。 |
このパラメーターを指定しない場合、システムはデフォルトの音声クローニングモードを使用します。
EmotionLevelは、音声翻訳が有効 (NeedSpeechTranslateがtrueに設定) であり、かつ中国語 (zh) と英語 (en) 間の双方向翻訳である場合にのみ有効です。詳細については、「サポート範囲」をご参照ください。VoiceCloneModeパラメーターも設定した場合、EmotionLevelが優先されます。
例
次の例では、英語の動画を中国語に翻訳し、EmotionLevel を NoEmotion に設定しています。
{
"InputConfig": {
"Type": "Video",
"Video": "a3f9b21d457******c8e2a1b3d4e5f6a7b"
},
"EditingConfig": {
"SourceLanguage": "en",
"TargetLanguage": "zh",
"NeedSpeechTranslate": true,
"SpeechTranslate": {
"EmotionLevel": "NoEmotion"
}
},
"Title": "No emotion dubbing example",
"OutputConfig": {
"MediaURL": "https://****.oss-cn-shanghai.aliyuncs.com/output_noemotion.mp4"
}
}制限事項
翻訳方法 —
EmotionLevelは音声翻訳 (NeedSpeechTranslateがtrueに設定) にのみ適用されます。字幕翻訳には吹き替えが含まれないため、このパラメーターは適用されません。言語とリージョン — このパラメーターは、サポート対象の言語ペアとリージョンでのみ有効です。詳細については、「サポート範囲」をご参照ください。
アクセス方法 — API 呼び出しのみをサポートしています。コンソールには設定エントリがありません。
パラメーターの優先順位 —
EmotionLevelとVoiceCloneModeの両方を設定した場合、EmotionLevelが優先されます。
よくある質問
Intelligent Media Services (IMS) の動画翻訳と Machine Translation の違いは何ですか?
Intelligent Media Services (IMS) と Machine Translation は、動画翻訳に類似した基盤ロジックを使用していますが、機能の提供方法が異なります。IMS は動画翻訳 API と SDK を提供しているため、独自の統合を構築できます。Machine Translation の動画翻訳機能は API を提供していません。その API は、テキスト、画像、ドキュメントの翻訳のみをカバーしています。
API 経由で動画翻訳を開発するには、Intelligent Media Services (IMS) を使用してください。
関連ドキュメント
SubmitVideoTranslationJob: この API で
EmotionLevelパラメーターを設定して、動画翻訳ジョブを送信します。動画翻訳: 字幕翻訳、音声翻訳、リップシンク翻訳を含む、完全な動画翻訳機能について説明します。