编译/VR陀螺

通过展示一种实用的光场视频系统，谷歌正在将沉浸式媒体技术推向新的高度。该系统可以录制和播放宽视野的场景，并具有在捕获视频后在视频中四处移动的能力，从而展示新的视角。由谷歌领先的研究科学家和工程师团队开发的新研究表明，该技术具有录制、重建、压缩和提供高质量沉浸式光场视频的功能，这些视频质量轻巧，可以通过常规Wi-Fi进行流传输，这将推动身临其境的增强现实（AR）和虚拟现实（VR）平台领域迅速发展。

近年来，身临其境的AR / VR领域因其能在模拟环境中为人们带来真实体验而赢得了主流关注。你是否真的想感觉自己正站在风景优美的红杉林中，而不是坐在客厅里？还是看着艺术家像在工作室里一样创作雕塑？身临其境的AR / VR技术可以做到这一点。

尽管该领域仍处于起步阶段，但谷歌团队已解决了重要挑战，使沉浸式光场视频领域取得了重大进展。由谷歌研究科学家Michael Broxton和谷歌高级工程师Paul Debevec领导的研究小组计划在SIGGRAPH 2020上演示该新系统。

该研究主导者Broxton说道：“这是我们在光场上工作的最新成果。我们正在使这项技术变得实用，使我们更接近为更多的消费类设备提供真正的沉浸式体验。照片和视频在我们日常使用的移动设备上发挥着巨大作用，我们希望有一天沉浸式光场图像和视频能在未来的AR和VR平台中扮演同样重要的角色。”

在SIGGRAPH 2018上，谷歌研究人员展示了在沉浸式VR中引入了逼真的光场静态图像。这个新系统为解决沉浸式媒体的难题增加了另一个关键要素：视频。光场视频为用户提供了一个更加动态的虚拟环境，可以看到超过180度的场景全景。它们使用户可以在虚拟世界中偷看各种角落并享受更大的深度感。而且该系统能够捕获对于早期方法（如反射表面）具有挑战性的内容。这转化为更现实的环境；例如，自然反射在海浪上的阳光或反射在汽车光亮的引擎盖上的光，就像在现实生活中一样，随着用户的注视而自然变化。

该团队使用低成本的设备录制沉浸式光场视频，该设备由安装在轻型丙烯酸球上的46个运动摄像机组成。他们使用谷歌研究小组去年开发的机器学习算法DeepView，将来自每台摄像机的视频流组合成所记录场景的单个3D表示。他们的论文介绍了一种新的“分层网格”表示形式，该表示形式由一系列具有半透明纹理的同心层组成。从后到前渲染这些图层，使场景生动逼真，栩栩如生。此方法解决了合成摄像机最初未捕获的视点这一非常困难的问题，使用户在探索光场视频内容时可以体验自然的头部运动范围。

这项工作的另一个突破涉及数据压缩。这个想法不仅是为了开发一种能够重构视频以提供真正身临其境的AR / VR体验的系统，而且是能让消费者通过AR和VR头戴式设备和显示器，甚至在Web浏览器中访问体验。新系统在压缩光场视频的同时仍保持其原始视觉质量，并且使用常规纹理图集和广泛支持的视频编解码器进行压缩。从本质上讲，它们已经成功地从当今的图像和视频压缩技术引导了下一代媒体格式。

Broxton说：“用户将能够通过典型的快速互联网连接流式传输光场视频内容。克服这个问题将使这项技术向更多的受众开放。”

Debevec总结了这项工作，并说：“完成这个项目感觉就像我们克服了在制作虚拟体验时让其更逼真、身临其境、可分配且舒适的主要障碍一样。我迫不及待地想要拥有创意的AR和VR社区使用该技术。”

来源：techxplore