Génération audio : exemples et guide de prompts - Alibaba Cloud Model Studio

Générer simultanément de la parole, des effets sonores et des sons d'ambiance à partir de descriptions textuelles et d'audios de référence pour créer des scènes audio complètes. Explorer des exemples et des techniques de prompt pour les dialogues et les podcasts.

Cas d'utilisation

La génération audio va au-delà de la conversion texte-parole. Elle peut générer simultanément de la parole, des effets sonores et des sons d'ambiance pour créer des scènes audio complètes :

Parole et dialogue : narration, dialogues à plusieurs orateurs, podcasts, livres audio et dramatiques audio.
Scènes audio : dialogue accompagné de pluie, de vagues ou d'effets sonores de jeu.

Pour convertir un script fixe en parole, vous pouvez également utiliser Synthèse vocale. Utilisez la génération audio lorsque vous devez décrire à la fois les orateurs et d'autres sons dans une scène.

Exemples

Explorer les prompts et les audios générés pour différents scénarios. Les résultats peuvent varier entre les requêtes utilisant le même prompt.

Scénario Prompt Audio

Doublages de jeux vidéo

Scénario	Prompt	Audio
Doublages de jeux vidéo	NPC dialogue for a battle scene in a game. At a temporary aid station on the edge of a battlefield, a medic treats wounded soldiers and calls out over the chaos. Background sounds include distant battle cries, wounded soldiers groaning, and fabric tearing. The medic is a thirty-five-year-old woman with an urgent, resolute voice, full of anxiety and concern, speaking quickly. She shouts in English: "Quick! Get the wounded down here! There's another one! Stay with me. Don't close your eyes! A stretcher! Where's the stretcher? Keep pressure on the wound! A medic is on the way! All of you, hang in there!"
Dialogue de film	An English-language film scene on an almost empty railway platform at night. Rain ticks against a metal roof, and an idling train rumbles in the distance. Owen, a man around thirty with a tired, low voice, speaks to his older sister Ruth, whose voice is firm but trembling underneath. Owen says quietly, "You didn't have to come." Ruth replies, "You left your scarf." A brief rustle of fabric. Owen gives a faint, breathy laugh. "It's summer." Ruth says, "It gets cold where you're going." A departure whistle sounds far away. Owen's voice softens: "I'll call when I get there." Ruth takes a breath and answers, "Call before that." Footsteps move toward the train; keep the rain audible as the dialogue ends. No narrator and no background score.

NPC dialogue for a battle scene in a game. At a temporary aid station on the edge of a battlefield, a medic treats wounded soldiers and calls out over the chaos. Background sounds include distant battle cries, wounded soldiers groaning, and fabric tearing. The medic is a thirty-five-year-old woman with an urgent, resolute voice, full of anxiety and concern, speaking quickly. She shouts in English: "Quick! Get the wounded down here! There's another one! Stay with me. Don't close your eyes! A stretcher! Where's the stretcher? Keep pressure on the wound! A medic is on the way! All of you, hang in there!"

Dialogue de film

An English-language film scene on an almost empty railway platform at night. Rain ticks against a metal roof, and an idling train rumbles in the distance. Owen, a man around thirty with a tired, low voice, speaks to his older sister Ruth, whose voice is firm but trembling underneath. Owen says quietly, "You didn't have to come." Ruth replies, "You left your scarf." A brief rustle of fabric. Owen gives a faint, breathy laugh. "It's summer." Ruth says, "It gets cold where you're going." A departure whistle sounds far away. Owen's voice softens: "I'll call when I get there." Ruth takes a breath and answers, "Call before that." Footsteps move toward the train; keep the rain audible as the dialogue ends. No narrator and no background score.

Rédiger un prompt

Décrire les sons requis dans un seul prompt, en distinguant les dialogues des indications scéniques.

Élément	Exemple
Tâche	« Un échange d'ouverture entre deux animateurs de podcast » ou « Une scène de dramatique audio avec dialogue sous la pluie »
Personnages et voix	« Le personnage A a une voix masculine grave ; le personnage B a une voix féminine claire »
Dialogue	Mettre les répliques entre guillemets et identifier l'orateur
Interprétation	« Chuchoter », « paraître surpris » ou « marquer une courte pause avant de continuer »
Arrière-plan et effets	« Pluie à l'extérieur de la fenêtre avec des bruits discrets de pages tournées à l'intérieur »
Transitions sonores	« Des bruits de pas s'approchent avant que le personnage ne commence à parler »

Commencer par les dialogues et les sons principaux, puis ajouter les instructions de style nécessaires. Utiliser des noms de personnages cohérents et éviter les instructions contradictoires concernant la voix ou l'émotion. Utiliser des instructions de séquençage pour décrire les transitions entre les sons.

Utiliser un audio de référence

Fournir des URL audio accessibles publiquement ou des données audio encodées en Base64. Utiliser @voice1, @voice2 et @voice3 dans le prompt pour faire référence aux extraits dans l'ordre fourni.

Par exemple, avec deux extraits de référence :

@voice1 cheerfully says: "What a lovely day." @voice2 laughs nearby.

qwen-audio-3.1-tts-next accepte jusqu'à trois extraits, chacun ne dépassant pas 30 secondes et 10 Mo. Les formats de référence pris en charge sont WAV, MP3 et OGG Opus ; le PCM brut n'est pas pris en charge. Pour chaque extrait, fournir soit une URL, soit des données Base64. Le service doit pouvoir accéder à toute URL fournie.

Modèles pris en charge

Modèle	Langues	Longueur d'entrée maximale	Durée de sortie maximale par requête
qwen-audio-3.1-tts-next	Chinois et anglais	3,000 caractères	Podcasts : 240 secondes (4 minutes) ; autres scénarios : 120 secondes

Pour les tarifs et les limites, consultez les détails du modèle.

Intégration et facturation

Pour l'authentification, les paramètres et les requêtes d'audio de référence, voir Référence de l'API de génération audio.
La facturation est basée sur la durée originale de l'audio généré. La modification de la vitesse de parole ne change pas la durée facturable. Voir Tarification des modèles.