Alibaba présente un modèle open source pour la génération de vidéos d'humains numériques

Le modèle Speech-to-Video Wan2.2-S2V donne vie aux portraits

Hangzhou, Chine, 27 août 2025 – Alibaba a dévoilé Wan2.2-S2V (Speech-to-Video), son dernier modèle open source conçu pour la création de vidéos d'humains numériques. Cet outil innovant convertit les photos de portrait en avatars de qualité cinématographique capables de parler, chanter et jouer.

Faisant partie de la série de génération vidéo Wan2.2 d'Alibaba, le nouveau modèle peut générer des vidéos animées de haute qualité à partir d'une seule image et d'un clip audio.

Wan2.2-S2V offre des capacités d'animation de personnages polyvalentes, permettant la création de vidéos selon plusieurs options de cadrage, notamment les perspectives portrait, buste et corps entier. Il peut générer dynamiquement les actions des personnages et les facteurs environnementaux en fonction des instructions de prompt, permettant aux créateurs de contenu professionnels de capturer des représentations visuelles précises adaptées à des besoins narratifs et de conception spécifiques.

Alimenté par une technologie d'animation audio avancée, le modèle offre des performances de personnages réalistes, allant du dialogue naturel aux performances musicales, et gère de manière transparente plusieurs personnages au sein d'une scène. Les créateurs peuvent désormais transformer des enregistrements vocaux en mouvements animés réalistes, prenant en charge une gamme variée d'avatars, des dessins animés et animaux aux personnages stylisés.

Pour répondre aux divers besoins des créateurs de contenu professionnels, la technologie propose des résolutions de sortie flexibles de 480P et 720P. Cela garantit une sortie visuelle de haute qualité qui répond aux différentes normes professionnelles et créatives, la rendant adaptée tant aux contenus pour réseaux sociaux qu'aux présentations professionnelles.

Prompt : « Dans la vidéo, un homme marche le long des voies ferrées, chantant pour exprimer ses émotions en chemin. Un train passe lentement devant lui. »

Technologies innovantes

Wan2.2-S2V transcende les animations traditionnelles de type « talking-head » en combinant un contrôle global du mouvement guidé par texte avec des mouvements locaux granulaires pilotés par audio. Cela permet des performances de personnages naturelles et expressives dans des scénarios complexes et exigeants.

Une autre avancée majeure réside dans la technique innovante de traitement des images du modèle. En compressant les images historiques de longueur arbitraire en une seule représentation latente compacte, la technologie réduit considérablement la charge de calcul. Cette approche permet une génération de vidéos longues remarquablement stable, répondant à un défi critique dans la production de contenus animés étendus.

Les capacités avancées du modèle sont encore amplifiées par sa méthodologie d'entraînement exhaustive. L'équipe de recherche d'Alibaba a constitué un jeu de données audiovisuelles à grande échelle spécifiquement adapté aux scénarios de production cinématographique et télévisuelle. Grâce à une approche d'entraînement multi-résolution, Wan2.2-S2V prend en charge la génération flexible de vidéos dans divers formats, des contenus verticaux au format court aux productions cinématographiques et télévisuelles horizontales traditionnelles.

Le modèle Wan2.2-S2V est disponible en téléchargement sur Hugging Face et GitHub, ainsi que sur ModelScope, la communauté open source d'Alibaba Cloud. Contribuant largement à la communauté open source mondiale, Alibaba a ouvert en open source les modèles Wan2.1 en février 2025 et Wan 2.2 en juillet. À ce jour, la série Wan a généré plus de 6,9 millions de téléchargements sur Hugging Face et ModelScope.

À propos d'Alibaba Group

Alibaba Group est une entreprise technologique mondiale spécialisée dans le commerce électronique et l'informatique en nuage. Nous permettons aux marchands, marques et détaillants de commercialiser, vendre et interagir avec les consommateurs en fournissant une infrastructure numérique et logistique, des outils d'efficacité et une vaste portée marketing. Nous donnons aux entreprises les moyens de tirer parti de notre infrastructure cloud leader, de nos services et de nos capacités de collaboration pour faciliter leur transformation numérique et développer leur activité.