更是魔法之跃 Leap光场技术 是技术之跃 Magic (更是魔法之跃的上一句)

文章编号:43465 资讯动态 2024-12-09 光学显示LeapARMagic

Magic Leap技术:是技术之跃,更是魔法之跃

Magic Leap One“创造者版本”一出就立马成为媒体焦点。滚石记者的体验报告称ML One现实的虚拟物体不透明,能遮挡物体,还没有颗粒感,这些效果可以说碾压HoloLens。

ML One是如何利用其光学显示技术做到这一点的?这个问题成为业内人士讨论的焦点。不少光学界专家也都出面解读。

但是,除了看到产品图之外,目前ML One并没有就显示技术给出更清晰的信息。雷锋网发现上海科技大学曹煊博士的一篇旧文《Magic Leap光场技术:是技术之跃,更是魔法之跃》对光学显示技术的研究状况,Magic Leap的技术都做了逻辑清晰的解释。其原文于2016年12月发表于《中国电子报》,雷锋网获授权转载。

作者简介:曹煊,上海科技大学虚拟现实与视觉计算中心(VRVC)博士。实验室由虞晶怡教授领导组建,致力于光场虚拟现实平台的研究和应用,以实现人眼无法分辨的虚拟现实为目标,从光场的捕获、压缩、处理、渲染和显示等方面开展基础理论研究与核心技术攻关。

原文如下:

Magic Leap从诞生之初就万众瞩目,凭借其三大核心技术(SLAM、CG、Light Filed)获得了巨额融资,尤其是其号称的“光场(Light Field)”技术更是被奉为黑科技。但由于迟迟没有推出商业化产品,外界对其质疑不断增加。

近日,随着外媒《The Information》公然“叫板”Magic Leap,国内声音也出现一边倒的趋势。Magic Leap的前两项核心技术SLAM和CG发展已经比较成熟,微软HoloLens已经侧面验证了这两项技术是可以商业化的。外界对其最大质疑集中在第三项核心技术——光场。Magic Leap号称的光场技术真的能如其名一样实现魔法之跃吗?该技术到底能不能改变VR/AR未来的技术路线和商业格局?

光场并非水中月

首先可以明确的是,光场并不是Magic Leap凭空构造出来的新概念,光场技术的理论研究已经持续三十多年,光场技术涉及多个交叉学科,技术难度高,但也不至于像超越光速那么遥不可及,国外多个研究机构都曾公开展示过光场样机(MIT、Stanford 、USC等)。

光场技术从1981年开始受到世界顶级科研机构的关注,并展开了持续的研究。类似电磁场的概念,光场是分布于空间中所有光线的集合。简单来说,光场技术的终极目标就是采集空间中所有的光线并投射出来,实现图1中类似《星球大战》中的数字全息显示。而Magic Leap之前公开的视频中也展示了类似的场景,如图 2所示。

Magic Leap技术:是技术之跃,更是魔法之跃

图 1 电影《星球大战》中的全息投影

Magic Leap技术:是技术之跃,更是魔法之跃

图 2 Magic Leap 展示类似《星球大战》中的全息显示

Magic Leap号称的光场技术并非水中月镜中花,该技术有足够理论研究支撑,至少实验室级的光场样机早已得到验证。

Magic Leap的虚与实

在2014年的CES大会上,英特尔就展示过类似的效果(Intel CES 2014 flying whale),它本质上是一种Video-Based AR技术,将鲸鱼的动态图像叠加在现场拍摄的视频上。

Magic Leap技术:是技术之跃,更是魔法之跃 图 3 Magic Leap展示的体育馆的鲸鱼

Magic Leap技术:是技术之跃,更是魔法之跃

国内普遍误解Magic Leap已经实现了裸眼空中悬浮成像技术,对其期望值甚高。裸眼空中悬浮成像技术目前进展缓慢,该技术在未来10年都难以实现。然而Magic Leap的研发目标并不是这样的技术,也没有表明不需要佩戴眼镜,而且其CEO Rony Abovitz曾展示过一块透明的镜片,可见Magic Leap仍然是需要佩戴眼镜设备的。

该镜片看似普通透明的玻璃片,Magic Leap称之为硅光电技术(Silicon Photonics),极有可能是Silicon Waveguides技术,光学顶级期刊OE上有大量文章研究过该技术。以色列Lumus以及微软HoloLens采用的是光波导技术(Light Waveguides),可以使显示器件更轻更薄,但只能为单眼投射单幅图像。而Magic Leap却称其采用的技术不仅能轻薄化,还能为单眼提供多幅不同聚焦的图片,从而实现光场显示。

Magic Leap技术:是技术之跃,更是魔法之跃

图 5 Magic Leap展示的硅光波导镜片

Magic Leap曾公开过三段Demo视频,都标注“直接拍摄、无后期特效”,而Demo视频中体现的光场显示技术,可以依靠多种技术方案实现。例如Lanman 在NVIDIA展示过Near-eye Light Field Display的VR头盔样机,虽然分辨率比较低,但确实实现了光场显示。另一种光场显示方案是多投影阵列技术,这也正是Magic Leap所采用的技术,美国南加州大学在2016年CVPR上展示过可实现1:1真人秀的裸眼光场显示,如图6所示,而该系统包括了216个投影仪、6台PC主机,占地一个房间大小。裸眼光场不需要用户佩戴特殊眼镜且能满足多人同时从不同角度观看,因此需要更多的投影仪来增加可视FOV 。Magic Leap需要佩戴眼镜,因此需要的投影仪数量和计算量都更少,但仍然是传统2D图像处理的好几倍。

Magic Leap技术:是技术之跃,更是魔法之跃

图 6 美国南加州大学基于多投影的Life-Size光场显示

Magic Leap的光场显示也采用多投影阵列的技术方案,并声称采用了光纤投影,如图7所示。如果该光纤投影能像普通投影仪一样稳定输出彩色图像,那么光场显示系统的体积可大大减小,但目前该光纤投影的性能是否达到光场显示要求并没有得到佐证。即使光纤投影达到要求,但光场显示的计算量仍然非常巨大,目前的移动端处理器都难以实现实时的交互式光场显示,仍然需要依赖电脑。

Magic Leap技术:是技术之跃,更是魔法之跃

图 7 华盛顿大学模拟的光纤投影

为了减少光场计算量,Magic Leap极有可能采用了眼球追踪技术。如图8所示,RGB光纤输入待显示的图像,I光纤输入红外光并进入人眼,根据红外相机捕获眼球反射的红外光可以分析出当前人眼的注视方向,通过追踪人眼注视方向来对感兴趣区域(ROI)图像进行聚焦处理。

Magic Leap技术:是技术之跃,更是魔法之跃

光场显示商业化的拦路虎

总体来说,Magic Leap声称的光场显示在技术原理上是可行的,且多个研究机构都展示过光场显示样机。但Magic Leap要商业化却面临着下列三大挑战:

第一,光场数据量太大,数据存储和传输都将面临问题。未来的AR/MR必然存在内容的分享,就像手机分享2D图片一样,但是现有的网络带宽还无法实现流畅的光场内容分享。近几年,压缩光场技术被提出,利用光场数据的冗余性可大大降低数据存储量。不过,随着5G网络和LiFi技术的发展,这个问题会迎刃而解。

第二,光场计算量大。要实现逼真的光场显示,其计算量是传统2D图像的好几倍,现有的移动端通用处理器难以负担如此大的计算量。微软HoloLens设计了全息处理单元(HPU),成功克服了通用移动处理器性能不足的问题。Magic Leap曾提及光场芯片(Light-Field Chip),该芯片能否实现实时的交互式光场处理,只能留给时间来验证了。现阶段的光场处理仍然依赖电脑。

第三,小型化、便携性。从图 6中可以看出,要实现逼真的裸眼(Glass-Free)光场显示所需要的设备的总体积约占一个房间。当然,Magic Leap通过佩戴眼镜降低了对投影数量和计算量的要求,不至于像图6中那么大。第一台计算机诞生时也占据了整个房间,发展到现在的笔记本电脑历经了六十多年。便携式的高性能光场显示样机在十年内是难以实现的,因此Magic Leap必须在设备体积和光场显示效果之间寻找平衡点,才能在短时间内实现小型化。虽然牺牲了光场性能,但相比其他AR产品仍然迈出了重大的第一步。

光场采集更接地气

光场可以分为“光场显示”和“光场采集”,两方面技术的理论研究都已经比较成熟。Magic Leap属于前者,现有的显示器件(LCD、OLED等)在每个像素点发出的光学是各项同性的,简单来说就是,当你从不同角度去看电脑屏幕时,看到的图像是一样的。而光场显示要求每个像素点在不同方向上发出不同的光线,现有显示器件都无法满足。光场显示现在面临的最大困难就是显示器件的革新,这需要材料学、光学、半导体等多个基础学科的共同努力。近几年,这方面的研究不断取得突破,如图9所示,这是David Fattal等人在《Nature》上展示的用于裸眼3D显示的多方向性背光,相信不久的未来光场显示器件会大量普及。

Magic Leap技术:是技术之跃,更是魔法之跃

图 9 David Fattal等人在《Nature》上展示的用于裸眼3D显示的多方向性背光

相比于光场显示,光场采集技术更接地气。因为光场采集不依赖于特殊的光学器件,用传统的单反相机组成阵列即可采集光场,而算法才是光场采集的核心。换句话说,光场显示更依赖于特殊的显示器件(硬件),而光场采集更依赖于算法(软件)。Magic Leap展示的所有Demo中,无论是机器人、太阳系、办公室的邮件等都是计算机渲染的光场,而没有采集真实场景的光场,可见Magic Leap现在还无暇顾及光场采集技术,亦或等待与其他光场采集技术团队合作。光场采集在洛杉矶的好莱坞已经被大量使用,包括《阿凡达》等经典3D电影都采用了光场采集技术,以达到逼真的3D显示效果。电影《黑客帝国》中躲避子弹的镜头也采用了基于相机整列的光场采集技术。相关技术在国内刚刚兴起,上海大剧院与叠镜科技合作拍摄了360°动静态结合的3D话剧,实现了逼真的虚拟现实体验。

Magic Leap技术:是技术之跃,更是魔法之跃

图 10 电影《黑客帝国》中采用的基于相机阵列的光场采集技术

Magic Leap提出的光场显示技术是一种终极显示方式,是一场伟大的、革新的技术突破。虽然投入巨大,商业化还面临困难,但仍然值得投入。面对当前产品商业化的困难,Magic Leap不仅需要研究上的技术之跃,还需要工程上的魔法之跃。

雷锋网后记:此文为一篇旧文,待Magic Leap公布更多信息,雷锋网还会邀请曹煊博士以及其他光学界人士对Magic Leap进行深入解读。

解读 Magic Leap One:除了娱乐,AR 眼镜还能怎么用? (二)

多个娱乐消费应用,Magic Leap One和其他AR眼镜有什么不同

解读 Magic Leap One:光学成像是怎么做的?(一)

关于 Magic Leap One,行业人士和读者们都是怎么看的?

Magic Leap 终于揭开神秘面纱!产品将于 2018 年发货

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
加盟连锁,养生保健加盟,中医加盟,腰椎间盘突出压迫神经怎么治,肺癌能治好吗

加盟连锁,养生保健加盟,中医加盟,腰椎间盘突出压迫神经怎么治,肺癌能治好吗是山东金铠甲医药科技有限公司的五大核心业务,欢迎社会各界人事光临考察。

长亮科技

深圳市长亮科技股份有限公司(股票代码300348),专注金融科技创新、坚持科技自立自强,致力于以创新产品和解决方案,为金融行业数字化转型及安全发展提供强大动能,并将智慧金融能力输出海外,志在让中国金融科技具有世界影响力。

威海通佳电器有限公司

威海通佳电器有限公司位于美丽的胶东半岛威海市,本公司从事建筑工地用成套设备,高低压配电柜,照明配电箱及电缆桥架的设计和生产。自公司成立以来,不断加大投入,数控等大型设备齐全,不断提高产品工艺,定期举办培训,提高员工素质,保证了产品的质量。

VAISITE威思特锁业不锈钢门锁

浙江安毅建筑五金有限公司旗下品牌VAISITE威思特锁业是一家专业生产及销售太空铝门锁、锌合金门锁、极简门锁、不锈钢门锁、三维可调合页的厂家,产品型号齐全,质量保证,欢迎来电咨询。

神州数码集团

作为领先的数字化转型合作伙伴,神州数码围绕企业数字化转型的关键要素,开创性的提出“数云融合”战略和技术体系框架,着力在云原生、数字原生、数云融合关键技术和信创产业上架构产品和服务能力

一站式貂皮大衣修补

修复你的貂皮大衣是我们的责任和乐趣,无论是貂皮大衣裂口,脱线,破洞修补,貂皮衣服染色还是缩水发硬的救治,或者貂皮改款式改样子,我们都会用最好的技术好最优的方案为你提供专业的服务。尤巧守匠三十年已经为超过十万客户服务,得到了大家一致的认可和好评。

脱皮芝麻

专业脱皮芝麻、白芝麻仁、炒芝麻、色选芝麻、水洗芝麻、芝麻仁、芝麻油厂家,脱皮芝麻、炒芝麻批发热线:脱皮芝麻厂家脱皮芝麻技术、芝麻王、芝麻官。电话:4000221993

建筑工程机械

新吴区词铭工程机械租赁经营部经营范围:建筑工程机械、钢板租赁(不含融资性租赁);土石方工程、市政工程的施工;绿化养护服务。(依法须经批准的项目,经相关部门批准后方可开展经营活动)

泗水县元昊石材厂(普通合伙)

泗水县元昊石材厂(普通合伙)专业从事鲁灰石材,鲁灰板材,泗水鲁灰石,黄锈石,白锈石以及山东灰麻的生产和销售。是中国鲁灰石材进出口基地企业,闻名中外石材经营门户,地理位置较好,矿资源丰富,通讯水路交通方便,联系电话:15254778777

金久装饰设计有限公司

广州金久装饰设计有限公司专注广州办公室装修设计、写字楼装修、办公楼设计为企业量身定制一站式办公空间设计、施工等整体解决方案,创意设计,品质装修。欢迎致电:13710059809。

游戏熊

游戏熊提供最全面的游戏排行榜,包括热门游戏推荐和最新游戏下载,旨在为玩家提供最新的游戏新闻、攻略、技巧、秘籍、汉化资源、补丁等,经过多年努力已成为游戏玩家首要选择的游戏平台。

柏高体育

柏高体育是您在追求足球和篮球运动的理想之地。除了提供多样化的产品外,我们还提供最新的足球和篮球新闻资 讯,让您时刻了解行业动态。

全局底部横幅