
从单图到高保真3D模型:MultiGO团队建模难题
一直以来,将单图转化为高保真3D模型都是计算机视觉领域的一大挑战。而如今,这一难题被港科广团队的最新研究成果所攻克,其提出的MultiGO创新方案借助分层建模的思路,成功将分解为不同精度层级,从基础体型到衣物褶皱逐级细化。
该团队利用创新的三级几何学习框架实现了突破性的技术改进。这个框架包括骨架增强模块、关节增强策略和皱纹优化模块。其中,骨架增强模块通过结合3D傅里叶特征与PL-格,增强了骨架的建模;关节增强策略则在训练过程中对关节点位置进行扰动,提升了模型对深度估计误差的鲁棒性;而皱纹优化模块则采用类似扩散模型去噪的方法,恢复了表面皱纹等高频细节。
MultiGO方法的核心在于通过多层次几何学习框架全面提升单目纹理3D重建的质量。该方法针对几何的不同粒度层级设计了协同优化的三重机制,包括骨骼层级、关节层级和微观几何细节层面。这种分层建模的方式使得模型能够更准确地捕捉的姿态特征和表面细节。
在CustomHuman和THuman3.0两个测试集上,MultiGO实现了最先进的性能表现。相较于其他现有技术,其在几何重建任务中显著优越,倒角距离、法向一致性和f-score等评价指标均有所提升。
MultiGO的分层高斯建模技术还具有多场景应用的优势。在虚拟试衣与时尚电商、游戏与元宇宙角色生成以及影视特效与虚拟制作等领域,该技术的应用将大大提高3D模型的生成效率和真实感。
通过上传全身照片,消费者可以快速生成高保真3D模型,并模拟不同服装的穿着效果。在游戏与元宇宙领域,该技术可以快速创建个性化的3D虚拟形象,并保留皮肤纹理和光影细节。而在影视特效中,仅需演员的单视角照片即可重建高精度3D模型,用于动作捕捉或替身合成。
该研究的相关论文和项目链接已在量子位QbitAI公众号发布,关注即可第一时间获知前沿科技动态。
论文链接:[论文链接地址]
项目链接:[项目链接地址]
MultiGO团队的这项研究成果为计算机视觉领域带来了性的突破,未来的应用前景广阔。
