Alibaba stellt Open-Source-Modell für die Erzeugung von Digital-Human-Videos vor

Speech-to-Video-Modell Wan2.2-S2V erweckt Porträts zum Leben

Hangzhou, China, 27. August 2025 – Alibaba hat Wan2.2-S2V (Speech-to-Video) vorgestellt, sein neuestes Open-Source-Modell für die Erstellung von Digital-Human-Videos. Dieses innovative Tool verwandelt Porträtfotos in Avatare in Filmqualität, die sprechen, singen und schauspielern können.

Als Teil der Wan2.2-Videogenerierungsserie von Alibaba kann das neue Modell aus einem einzigen Bild und einer Audiodatei hochwertige animierte Videos generieren.

Wan2.2-S2V bietet vielseitige Charakteranimationsfunktionen und ermöglicht die Erstellung von Videos in verschiedenen Bildausschnitten, einschließlich Porträt-, Brust- und Ganzkörperperspektiven. Es kann Charakteraktionen und Umgebungsfaktoren dynamisch basierend auf Prompt-Anweisungen generieren, sodass professionelle Content-Ersteller präzise visuelle Darstellungen erfassen können, die auf spezifische Storytelling- und Designanforderungen zugeschnitten sind.

Angetrieben von fortschrittlicher audiodrivener Animationstechnologie liefert das Modell lebensechte Charakterdarstellungen – von natürlichen Dialogen bis hin zu musikalischen Darbietungen – und verarbeitet nahtlos mehrere Charaktere innerhalb einer Szene. Creator können nun Sprachaufnahmen in lebensechte animierte Bewegungen umwandeln, wobei eine vielfältige Auswahl an Avataren unterstützt wird – von Cartoon- und Tierfiguren bis hin zu stilisierten Charakteren.

Um den unterschiedlichen Anforderungen professioneller Content-Ersteller gerecht zu werden, bietet die Technologie flexible Ausgabeauflösungen von 480P und 720P. Dies gewährleistet eine hochwertige visuelle Ausgabe, die verschiedenen professionellen und kreativen Standards entspricht und sich sowohl für Social-Media-Inhalte als auch für professionelle Präsentationen eignet.

Prompt: „Im Video geht ein Mann entlang der Bahngleise und singt, um seinen Gefühlen Ausdruck zu verleihen. Ein Zug fährt langsam an ihm vorbei.“

Innovative Technologien

Wan2.2-S2V geht über herkömmliche Talking-Head-Animationen hinaus, indem es textgesteuerte globale Bewegungssteuerung mit audiodrivener, fein granularer lokaler Bewegung kombiniert. Dies ermöglicht natürliche und ausdrucksstarke Charakterdarstellungen auch in komplexen und anspruchsvollen Szenarien.

Ein weiterer wichtiger Durchbruch liegt in der innovativen Frame-Verarbeitungstechnik des Modells. Durch die Komprimierung historischer Frames beliebiger Länge in eine einzige, kompakte latente Repräsentation reduziert die Technologie den Rechenaufwand erheblich. Dieser Ansatz ermöglicht eine bemerkenswert stabile Langvideo-Generierung und löst damit eine zentrale Herausforderung bei der Produktion längerer animierter Inhalte.

Die fortschrittlichen Fähigkeiten des Modells werden durch seine umfassende Trainingsmethodik weiter verstärkt. Das Forschungsteam von Alibaba hat einen groß angelegten audiovisuellen Datensatz erstellt, der speziell auf Film- und Fernsehproduktionsszenarien zugeschnitten ist. Mit einem Multi-Resolution-Trainingsansatz unterstützt Wan2.2-S2V die flexible Videogenerierung in verschiedenen Formaten – von vertikalen Kurzformatinhalten bis hin zu traditionellen horizontalen Film- und Fernsehproduktionen.

Das Modell Wan2.2-S2V steht auf Hugging Face und GitHub sowie in der Open-Source-Community von Alibaba Cloud, ModelScope, zum Download bereit. Als wichtiger Beitragender zur globalen Open-Source-Community hat Alibaba die Wan2.1-Modelle im Februar 2025 und die Wan2.2-Modelle im Juli als Open Source veröffentlicht. Bis heute hat die Wan-Serie über 6,9 Millionen Downloads auf Hugging Face und ModelScope verzeichnet.

Über Alibaba Group

Alibaba Group ist ein globales Technologieunternehmen mit Schwerpunkt auf E-Commerce und Cloud Computing. Wir ermöglichen es Händlern, Marken und Einzelhändlern, Verbraucher zu erreichen, an sie zu verkaufen und mit ihnen zu interagieren, indem wir digitale Infrastruktur, Logistiklösungen, Effizienztools und eine breite Marketingreichweite bereitstellen. Wir befähigen Unternehmen mit unserer führenden Cloud-Infrastruktur, unseren Diensten und unseren Funktionen für die Zusammenarbeit, ihre digitale Transformation voranzutreiben und ihr Geschäft auszubauen.