FBEC2019 | 七鑫易维VR/AR业务部总经理路伟成：眼球追踪将成为VR/AR的标配功能
发布时间：2019-12-16 10:48 | 标签：
VR AR 眼球追踪 七鑫易维 路伟
微信扫一扫：分享
微信里点“发现”，扫一下
二维码便可将本文分享至朋友圈
2019年12月5日，由中国通信工业协会虚拟现实专业委员会、由中国通信工业协会区块链专业委员会、广东省游戏产业协会、深圳市互联网文化市场协会指导，行业头部媒体游戏陀螺、VR陀螺、陀螺电竞、陀螺财经、深圳区块链技术与产业创新联盟联合的主办2019未来商业生态链接大会暨第四届金陀螺奖颁奖典礼（简称“FBEC2019”），在深圳市南山区深圳湾1号T7座鹏瑞莱佛士酒店宴会厅开幕。本届大会以“蝶变 · 向上的力量”为主题，将一如既往的关注未来趋势发展、行业创新升级、商业生态新链接等前沿领域。
本次大会邀请到七鑫易维VR/AR业务部总经理路伟成带来主题为“眼球追踪将成为VR/AR的标配功能”精彩分享。
以下为演讲实录：
眼球追踪除了知道在看哪儿，还知道瞳孔的变化，眼皮的变化，虹膜数据，眼睛相关的大部分数据，眼球追踪技术都可以获取到。
1. 注视点渲染
正常视觉人眼分辨最小视觉是60PPD，对于分辨率的要求非常高。但是人眼有一个特点，人眼睛看的地方是非常敏感的，眼睛感官细胞非常多，但是你们要关注点之外的地方是感知能力非常弱，没有必要去渲染的地方，就有了注视点渲染技术，只渲染盯着的这一小块，就把整体的渲染算力的要求给降下来了。
当然，这不光是我们一家企业要完成的事情，像英伟达这种厂家，像移动端的高通，从底层基于注视点进去渲染。现在已经有技术成果了，最新的VRS技术结合我们的注视点，已经实现了注视点渲染。当然，我们最终的目标是让所有内容开发者不需要做任何事情，就可以使用上注视点渲染的技术。
在移动端，高通从845开始，它是支持注视点渲染技术的。我们做过一些demo，我们和英伟达、HTC等一起合作，我们测过，原来算力只能渲染到大概45帧，用了注视点渲染可以提升90帧，渲染的效果非常明显。
2. Cloud XR注视点渲染
延迟大，用起来眩晕感很强，问题在于数据要跑到云端，云端数据再拿回来，整个流程会有很大的延迟。所以，注视点渲染仍然可以在这里面用。我们会有一个预测算法，我们的注视点可以提前30毫秒知道你的运动，把这个数据抛到云端，在云端仍然是基于注视点的一个渲染，缩短了渲染的延迟，甚至往回传的时候也可以基于注视点做一些工作，带宽延迟都会降低。
当然，大家会有一个技术上的疑问，注视点本身这个追踪会不会带来延迟？不会，它和渲染延迟是两个并行的失球。眼球追踪只会缩短延迟，如果我跟着眼睛移过去了，但是没有那么快，会不会造成眼睛感知上的影响？不会的。人眼对于高清区域的移动，是有一个50-70毫秒延迟的允许范围。为什么呢？人眼有一个特征叫扫视意志，你的眼睛在眼跳的时候，眼睛从一个点转移到另一个点的时候，你的视神经是关闭状态，这个时候你看不清东西。落到一个新的点，等看清之后，已经几十毫秒过去了。整体上使延迟降低，帧率提升，这是注视点起到的一个核心作用。
3．ID识别
客户要把虹膜识别加到眼球追踪中去，这是比较特殊的一个点，为什么虹膜识别会放在这儿呢？用的硬件是一样的，我们的硬件设备能够识别虹膜识别。反过来不行，因为眼球追踪需要一些特殊的设计，虹膜识别的硬件不需要考虑这些方面。所以，我们在算法中加入了虹膜识别，它的好处是什么呢？
因为在VR/AR中，眼球追踪需要有一个校准，校准之后有一个用户管理，然后校准你的系数，有的虹膜识别可以自动地实现这一点，戴上之后就是你的系数，不需要手动地选择用户ID。这一点不仅仅在眼球追踪的用户中管理，家里可能好几人用VR/AR，可能有不同的账户使用，家里可能有小孩。就是说，在用户选择的时候还是有一些考虑的。
你自己在玩游戏的时候，自己保存的是自己的进度，这个用户的ID切换可以通过虹膜识别来自动地实现。
未来VR/AR电商会成为一种趋势，你输入密码是不方便的，指纹也不是特别方便，直接用虹膜支付是非常自然的事情。
VR/AR社交身份认证也是广泛的应用，至少能够识别出你的身份，不至于在网上去骗人。假如没有眼球追踪，VR/AR社交追踪中，需要使用眼球追踪复现人眼的状态，这样使Avatar看上去很好看。
4. 多焦距解决VAC
通过眼球追踪技术，你看远处的时候跳到远出，看近处的时候就跳到近处，这需要显示技术一块来改进，多平面技术还不成熟。看远处的时候，视觉线索都是不同的。
5. IPD自动调节
现在IPD都是死的或者做一个比较大的范围，但是对于某些人来说不适应还是感觉不舒服。但是我可以通过眼球追踪技术，实时地告诉你用户现在的IPD是多少，可以通过软件的方式对用户的IPD进行调节，用户使用起来就会非常舒服。
6．动态扫描重定向
这还处于一个实验室阶段理论，自由移动现在在VR中是非常难的难题，很难实现绝对自由的移动。但是在小空间中模拟无限空间的移动。怎么实现呢？用人眼的特征，扫视意志，眼睛从一个点移动到另一个点的时候，视神经关闭，这个时候角度忽然移动5度、10度是不知道的，这个时候可以把小空间模拟成大空间，包括眨眼睛的时候，视神经不那么好使的时候，做一个角度的变化，这样就实现了一个大空间。
1.多模态自然交互
人希望解放双手，未来是一种眼、手、口自然交互。用眼睛去做指向性的很多交互是自然的，当双方被占用的时候，眼睛可以做很多事情，比如眼睛选中激活。
AR中显示了很多信息，容易信息过载，完全是可以吸引你眼睛注意力的，眼睛在哪儿这一块的相关信息展示出来。未来和AR的结合，知道你在想什么，就可以做相关的交互。
2.眼动数据分析
你看哪儿，你看了多长时间，看的顺序，瞳孔的变化等等，眼睛是人心灵的窗口，很多数据可以通过眼睛的数据获取到，拿到这些数据可以知道你的消费偏好，甚至于各方面的偏好，这些信息就可以拿来精准营销，这是商家比较感兴趣的，可以做很多事情，包括和AI的结合，再加上脑电、心电等。
3.专业领域应用：视觉训练、心理康复等
我们可以看小孩儿的康复训练恢复了多少，针对性地做康复性的计划。视觉训练是指对于一些人的弱视、斜视，针对儿童眼部的问题做一些训练。
眼球追踪技术不管是从硬件的角度，还是从内容的角度，都可以提供很多有用的价值。最终是带给终端用户的是提高用户体验，给商家提高价值。我们眼球追踪技术，无论是硬件厂家还是内容厂家，都可以给你们带来更多的钱、更多的价值。
最终，眼球追踪技术会成为VR/AR的标准配置，我希望可以用我们的技术和大家的各个行业、各个产业，能够碰撞出火花，一块来挣钱。谢谢大家。
投稿/爆料：tougao@youxituoluo.com
稿件/商务合作： 六六（微信 13138755620）
加入行业交流群：六六（微信 13138755620）
元宇宙数字产业服务平台
下载「陀螺科技」APP，获取前沿深度元宇宙讯息
