阿里云推出开源视频创作与编辑模型

阿里云 2025年5月15日

全能AI模型Wan2.1-VACE旨在变革视频创作行业



中国杭州,2025年5月15日 — 阿里云发布了Wan2.1-VACE(全能视频创作与编辑模型),这是其最新的开源视频创作与编辑模型。 这一创新工具将多种视频处理功能集成于单一模型中,旨在简化视频创作流程,提升效率与生产力。



作为阿里视频生成大模型Wan2.1系列的一部分,VACE是业界首个为各类视频生成与编辑任务提供统一解决方案的开源模型。

Wan2.1-VACE支持基于文本、图像及视频等多种模态输入进行视频生成,同时为创作者提供全面的视频编辑能力。 这些编辑功能包括图像或帧参考、视频重绘、选定区域修改以及时空延展,均可灵活组合多种任务以激发创意。

借助这一先进工具,用户可根据图像样本生成包含特定交互对象的视频,并可通过添加自然运动效果让静态图像栩栩如生。 用户还可体验高级视频重绘功能,如姿态迁移、运动控制、深度控制及重新着色。

该模型还支持对视频特定选择性区域进行添加、修改或删除而不影响周围内容, 同时支持扩展视频边界并智能填充内容,丰富视觉体验。

作为全能AI模型,Wan2.1-VACE提供了无与伦比的通用性,使用户能够无缝组合多种功能,释放创新潜力。 用户可将静态图像转化为视频,同时通过指定运动轨迹控制物体移动; 可无缝将角色或物体替换为指定参考对象;可为参考角色赋予动画效果并控制姿态;还可将竖向图像横向扩展为水平视频,并通过参考添加新元素。

创新技术



Wan2.1-VACE在构建和设计过程中融合了多项创新技术,充分考虑不同视频编辑任务的需求。 其统一接口名为视频条件单元(VCU),支持文本、图像、视频和掩码等多模态输入的统一处理。

该模型采用上下文适配器结构,通过形式化的时空维度表征注入多种任务概念。 这一创新设计使其能够灵活管理各类视频合成任务。

得益于模型架构的进步,Wan2.1-VACE可广泛应用于社交媒体短视频快速制作、广告营销内容创作、影视后期与特效处理,以及教育培训视频生成。

训练视频基础模型需要海量计算资源和高质量训练数据。 开放获取有助于降低更多企业使用AI的门槛,使其能够以快速且经济高效的方式创建符合自身需求的高质量视觉内容。

阿里云将Wan2.1-VACE模型以两个开源版本提供:140亿参数版本和13亿参数版本。 模型可在Hugging FaceGitHub以及阿里云开源社区ModelScope魔搭社区上免费下载。

作为全球最早开源自研大模型的主要科技公司之一,阿里云于2025年2月开源了四个Wan2.1模型,并于上月开源了支持首尾帧视频生成的视频生成模型。 截至目前,这些模型在Hugging Face和ModelScope魔搭社区上的下载量已超过330万次。

关于阿里巴巴集团

阿里巴巴集团的使命是让天下没有难做的生意。 公司旨在构建商业的未来基础设施。 其愿景是让客户在阿里云会面、工作与生活,并成为一家持续发展102年的优秀企业。 www.alibabagroup.com

phone 联系我们
你好,我是AI助理。
可以解答问题、推荐解决方案等。