上海交通大学研究团队于2025年8月15日正式发布Gen3DHF数据集,这是目前全球首个专注于评估AI生成3D人脸质量的大规模基准数据集。该数据集包含2000个AI生成的3D人脸视频,并配套4000个从质量与真实感维度采集的平均意见得分(MOS)、2000个失真感知显著图及详细失真描述,为学术界提供了首个系统性评估生成式3D人脸内容的工具平台。
研究团队基于该数据集同步提出LMME3DHF评估框架,创新性地将语言多模态模型(LMM)引入3D内容质量评估领域。通过指令微调与LoRA自适应技术,该框架不仅能输出客观质量评分,还可自动识别失真区域并生成文本诊断报告。实验数据显示,LMME3DHF在质量评分准确性上较传统IQA指标(如BRISQUE、NIQE)提升超过40%,其失真定位精度较现有最优方法提高28.6%,显著解决了AI生成3D人脸评估中可解释性不足的行业痛点。
该研究的突破性在于首次构建了”数据-算法-解释”的完整评估闭环。传统手工特征方法因针对自然图像设计,在AI生成内容场景下泛化能力有限;而纯视觉问答模型虽具备语义理解优势,却难以量化感知质量。Gen3DHF数据集通过融合主观评分与客观标注,为开发兼具量化评估与语义分析能力的混合模型提供了关键基础设施。
目前,该成果已引发计算机视觉领域广泛关注。业界专家指出,随着虚拟现实、数字人等应用爆发式增长,该数据集将加速3D内容生成技术的标准化进程,尤其在医疗仿真、远程会议等对面部真实性要求严苛的场景具有重要应用价值。研究团队表示,后续计划每季度更新数据集版本,持续跟踪生成技术演进带来的新型失真模式。
© 版权声明
文章版权归作者所有,未经允许请勿转载。