近年来,3D人脸重建和人脸对齐任务已逐渐组合为同一项技术:3D密集人脸对齐,这是使用姿势信息重建人脸的3D几何结构。在一篇新的论文中,来自中国科学院、中国科学院大学、北大和西湖大学的一组研究人员提出了一种新型的回归框架,以追求“同时实现快速,准确和稳定的3D密集人脸对齐”。

3D密集人脸对齐

3D密集人脸对齐功能可以支持与人脸相关的任务,例如人脸识别,动画,人脸跟踪,属性分类和图像恢复。研究人员说,现有的3D密集人脸对齐方法主要集中在准确性上,例如,这可能会降低系统速度,从而限制了实际应用的范围。


为了在速度,准确性和稳定性之间取得平衡,他们提出了一种元联合优化策略,以动态回归一小组3D Morphable Model(3DMM)参数,从而极大地提高了速度和准确性。然后,他们提出了一种虚拟合成方法,以进一步提高视频的稳定性。

研究人员解释说,最近的研究主要分为两类-3D变形模型(3DMM)参数回归和密集顶点回归。密集顶点回归方法通过完全卷积网络直接回归所有3D点的坐标(通常超过20,000)。但是,重建脸部的分辨率取决于特征图的大小,并且这些方法依赖于速度慢且消耗内存的沉重网络。


与密集顶点相比,3DMM参数具有较低的维数和较低的冗余度,研究人员认为3DMM参数更适合使用轻量级网络回归。但是,由于不同的3DMM参数对重构的3D面部的影响不同,因此回归变得具有挑战性,并且必须在训练过程中根据参数的重要性对参数进行重新加权。

所提出的方法体系结构包括四个部分:用于预测3DMM参数的轻量级类似骨干的MobileNet,fWPDC和VDC的元联合优化,界标回归正则化和用于训练的短视频合成。

为了处理参数回归框架的优化问题,研究人员利用了两个不同的损耗项-顶点距离成本(VDC)和加权参数距离成本(WPDC)-并提出了快速WPDC(fWPDC)和元联合优化结合fWPDC和VDC的优势。

实验结果表明,所提出的短视频合成方法显著提高了视频的稳定性。该模型在单个CPU核心上的运行速度超过50fps,并且在精度和稳定性上优于之前最先进的重模型。

研究人员总结说:“我们希望结果为实际使用中的实时3D密集面部对齐铺平了道路,并且所提出的方法可以通过减少GPU消耗的大量能量释放的二氧化碳量来改善环境。”