英伟达于2025年9月24日正式宣布开源其生成式AI面部动画模型Audio2Face,这一举措被视为实时内容生成领域的重要突破。此次开源内容包括核心模型、软件开发工具包(SDK)以及完整的训练框架,旨在为游戏和3D应用开发者提供更高效的虚拟角色开发工具。
Audio2Face的核心技术在于通过分析音频中的音素、语调等声学特征,实时驱动虚拟角色的面部动作,实现精准的口型同步和自然的情感表达。该技术支持两种运行模式:预录制音频的离线渲染和动态AI角色的实时流式处理,可广泛应用于游戏开发、影视制作和客户服务等领域。
开源组件包括适用于Autodesk Maya 2.0版本的本地执行插件、Unreal Engine 5.5及以上版本的2.5插件,以及回归模型(v2.2)和扩散模型(v3.0)。此外,英伟达还提供了开源训练框架,允许开发者使用自有数据对模型进行微调,以适应特定应用场景。
目前,该技术已获得业界的广泛采用。多家知名游戏开发商和独立软件厂商已在其项目中集成Audio2Face技术,包括Codemasters、GSC Game World、网易、完美世界等游戏开发商,以及Convai、Inworld AI等独立软件厂商。具体应用案例包括《异形:侠盗入侵进化版》和《切尔诺贝利人2:禁区》等游戏作品。
这一开源举措预计将显著降低开发者的技术门槛,加速AI智能虚拟角色的开发进程,并为整个行业带来效率革新。开发者现在可以通过英伟达开发者平台获取相关资源,开始构建更具表现力的3D角色。
© 版权声明
文章版权归作者所有,未经允许请勿转载。