FRL 现在也能与外界进行眼神交流了 即使带着 头盔 VR (现在f1)
FAcebook 现实实验室(FRL)在 VR 头盔的研究上,又有了一个创新。
本周早些时候,FRL 发布了一篇关于“反向透传 VR(reverse passthrough VR)”的论文,这是一种可以将你的面部呈现在头盔前端显示屏的功能。
具体来看,“反向透传 VR”指的是一种通过头戴式设备摄像头,让用户在戴着 VR 设备的情况下,也能直接看到外面的真实世界的功能。
例如,当用户退出 VR 游戏或视频时,facebook 的 Oculus Quest 平台就会向他们发出一个“切换到现实世界画面”的提示,对于想快速退出 VR 的用户来说非常有用。
得益于该方案,用户还可以将虚拟对象添加到相机源,从而启用 AR。
不过 FRL 指出,尽管戴着这种 VR 头盔的用户,可以看到真实世界,但是身边的人却无法与他们进行眼神交流。
第一代眼神透传 VR 头盔诞生
基于前面论文中提到的“交流缺陷”,FRL 科学家内森·松田(Nathan Matsuda) 开始了他的研究。
一篇博客文章显示,内森·松田从 2019 年开始在 Oculus Rift S 头盔上安装 3D 显示器,头盔的屏幕可以显示松田上半张脸的虚拟图像,定制的眼球追踪传感器可以捕捉到了松田的视线,这样屏幕内外的眼睛就可以朝向同一个方向,以此来实现眼神交流。
不过,这样造成的结果是,内森·松田基本上是戴着一个大型平板电脑进行娱乐。外界看来,在头盔上面显示的人脸非常尴尬。
对此,FRL 首席科学家迈克尔·阿布拉什(Michael Abrash)表示,这个想法并不实用。
二代眼神透传 VR 头盔,更苗条了
即使如此,内森·松田还是坚持他的想法。在接下来的两年时间里,他带领团队开发了一种更“苗条”的设计。
该团队在下周的 SIGGRAPH 会议前发布了这款 VR头盔 ,它在一般标准的 VR 头盔上添加了一堆镜头和传感器。
其中立体相机可以捕捉头盔内脸部和眼睛的图像,它们的动作会被映射到一个数字模型上,然后,图像会被投射到一个面向外部的显示器上。
FRL 使用了一个虚拟人脸的简单渲染,为观众创造了一种透过厚厚的护目镜看到一双眼睛的错觉,但实际上,外界看到的使用者的眼睛仅仅是“动作投影”。
当然,如果佩戴者选择跳回全虚拟现实,那么这块屏幕就会变成空白。
值得一提的是,FRL 承认该 VR 透传系统,并不是全新且具有革命性意义的。
因为在这之前,HTC 已经在 vive pro 头盔中添加了面部追踪的插件,它能将用户的移动的动作映射到虚拟现实中的角色上,这和 FRL 实现“透传”的原理是相似的。
这次 FRL 的论文重点在于 VR 外部显示屏的潜力,以及在 VR 头盔下如何更好地与外界沟通交流。
从理论上讲,全息透镜式的 VR 头盔比一块靠间接投影的显示屏效果更好,它能让你的面部更清晰地呈现。但正如 Road to VR 所指出的那样,投射在透明镜片上的光线也会扰乱你的视线,不便于 VR 的使用。
虽然,FRL 已经实现了 VR 头盔的透传设计,不过官方强调该方案为实验使用,暂未进行商用推广。
相关媒体透露,苹果等公司也在试验透传设计。
本文由雷锋网编译,原文链接:
原创文章,未经授权禁止转载。详情见 转载须知 。