Alibaba Apresenta Modelo de Código Aberto para Geração de Vídeos de Humanos Digitais

Modelo Speech-to-Video, Wan2.2-S2V, dá vida a retratos

Hangzhou, China, 27 de agosto de 2025 – A Alibaba revelou o Wan2.2-S2V (Speech-to-Video), seu mais recente modelo de código aberto projetado para a criação de vídeos de humanos digitais. Esta ferramenta inovadora converte fotos de retratos em avatares com qualidade de cinema capazes de falar, cantar e atuar.

Parte da série de geração de vídeos Wan2.2 da Alibaba, o novo modelo pode gerar vídeos animados de alta qualidade a partir de uma única imagem e um clipe de áudio.

O Wan2.2-S2V oferece recursos versáteis de animação de personagens, permitindo a criação de vídeos em várias opções de enquadramento, incluindo perspectivas de retrato, busto e corpo inteiro. Ele pode gerar ações de personagens e fatores ambientais dinamicamente com base em instruções de prompt, permitindo que criadores de conteúdo profissionais capturem representações visuais precisas adaptadas a requisitos específicos de narrativa e design.

Impulsionado por tecnologia avançada de animação orientada por áudio, o modelo oferece atuações realistas de personagens, que variam de diálogos naturais a apresentações musicais, e lida perfeitamente com vários personagens em uma cena. Os criadores agora podem transformar gravações de voz em movimentos animados realistas, suportando uma gama diversificada de avatares, desde desenhos animados e animais até personagens estilizados.

Para atender às diversas necessidades dos criadores de conteúdo profissionais, a tecnologia oferece resoluções de saída flexíveis de 480P e 720P. Isso garante uma saída de imagens de alta qualidade que atende a vários padrões profissionais e criativos, tornando-a adequada tanto para conteúdo de mídia social quanto para apresentações profissionais.

Prompt : "No vídeo, um homem está caminhando ao longo dos trilhos da ferrovia, cantando para expressar suas emoções enquanto avança. Um trem passa lentamente por ele."

Tecnologias Inovadoras

O Wan2.2-S2V transcende as animações tradicionais de "talking-head" (cabeça falante) ao combinar o controle de movimento global guiado por texto com movimentos locais refinados orientados por áudio. Isso permite atuações de personagens naturais e expressivas em cenários complexos e desafiadores.

Outro avanço importante reside na técnica inovadora de processamento de quadros do modelo. Ao comprimir quadros históricos de comprimento arbitrário em uma única representação latente compacta, a tecnologia reduz significativamente a sobrecarga computacional. Essa abordagem permite a geração de vídeos longos notavelmente estáveis, abordando um desafio crítico na produção de conteúdo animado extenso.

As capacidades avançadas do modelo são ainda mais ampliadas por sua metodologia de treinamento abrangente. A equipe de pesquisa da Alibaba construiu um conjunto de dados audiovisuais em larga escala especificamente adaptado para cenários de produção de cinema e televisão. Utilizando uma abordagem de treinamento multirresolução, o Wan2.2-S2V oferece suporte à geração flexível de vídeos em diversos formatos – desde conteúdo curto vertical até produções tradicionais de cinema e televisão na horizontal.

O modelo Wan2.2-S2V está disponível para download no Hugging Face e no GitHub, bem como na comunidade de código aberto da Alibaba Cloud, o ModelScope. Como um dos principais contribuidores da comunidade global de código aberto, a Alibaba disponibilizou os modelos Wan2.1 em código aberto em fevereiro de 2025 e os modelos Wan 2.2 em julho. Até o momento, a série Wan gerou mais de 6,9 milhões de downloads no Hugging Face e no ModelScope.

Sobre o Alibaba Group

O Alibaba Group é uma empresa global de tecnologia focada em comércio eletrônico e computação em nuvem. Capacitamos comerciantes, marcas e varejistas a comercializar, vender e interagir com os consumidores, fornecendo infraestrutura digital e logística, ferramentas de eficiência e um vasto alcance de marketing. Capacitamos as empresas com nossa infraestrutura de nuvem, serviços e recursos de colaboração de trabalho líderes para facilitar sua transformação digital e expandir seus negócios.