编译/VR陀螺

在年度计算机视觉会议CVPR上，Facebook展示了一种算法，该算法可以仅通过一个摄像头为身着衣物的人生成逼真的3D模型。

 

Facebook收购Oculus之后，前者在机器学习的领导地位为推动VR的发展起到关键作用。机器学习（ML）技术是目前已经推出的Oculus Quest和Rift S的核心——这两款头显都具有由内而外的位置跟踪功能，无需外部基站即可达到亚毫米级的精度。在Quest上，甚至不需要控制器就可以使用机器学习来跟踪用户的手。

在一篇名为“PIFuHD：多级像素对齐隐式功能，实现高分辨率，三维人体数字化 ”的论文中，三名Facebook员工和一位南加州大学的研究人员提出了一种机器学习系统，该系统可从单个1K图像生成人及其衣服的高细节3D模型，整个过程不需要深度传感器或运动捕捉装置。事实上，Facebook将展示的这个系统被命名为“PIFuHD”，以去年的PIFu命名，这个项目是由加州多所大学的研究人员完成的。

在今天的硬件上，像PIFu这样的系统只能处理相对低分辨率的输入图像。这限制了输出模型的准确性和细节。PIFuHD采用了一种新的方法，将输入图像向下采样，并将其输入到PIFu中以获得低细节的“course”基础层，然后用一个新的单独的网络利用全分辨率添加精细的表面细节。Facebook声称其结果是最先进的。从提供的与类似系统的比较来看，的确如此。

本文不是采用图像生成人类3D模型的第一篇报道，得益于计算机视觉的最新进展，此类算法于2018年首次出现。事实上，Facebook于2019年3月首次展示了它对数字再造人类的兴趣，并展示了“Codec化身”。这个项目特别关注头部和脸部，特别是头像的生成需要用132个摄像头对用户头部进行昂贵的扫描。2019年5月，在F8年度会议上，该公司展示了以前所未有的逼真度进行的实时无标记人体跟踪，使用的模型参考了人类肌肉和骨骼系统。

“暂时不要太激动，明年这种技术还不会出现。”在展示编解码器形象时，Facebook研究员警告称，这项技术要应用到消费产品上还需要“数年时间”。然而，当它能够实现时，这种技术具有巨大的潜力。对大多数人来说，如今的网真技术仍然局限于2D显示器上的网格网络摄像头。如果有一天人们能够看到真实比例的逼真的其他人的模型，并完全跟踪真实的运动，这可能从根本上改变面对面互动的需要。

来源：uploadvr