厉害了!Adobe新技术可将全景视频变成6自由度视频 (厉害了阿大)

厉害了!Adobe新技术可将全景变成6自由度

很早大家就发现,360 度视频和真正的 VR 相比差一些,于是就有很文章站出来说这些都是“伪 VR”。

他们给出的理由是,绝大部分的 360 度视频都不是 3D 拍摄的,更不用说 6 自由度移动。

也正是看出了这一点,包括 Facebook、索尼、英特尔在内在 VR 领先公司都在尝试 6 自由度 VR 视频。但他们通常需要用到好几个高端相机组合拍摄,产生巨大的数据量,并由于运算量太大还得在云端剪辑。

不过 Adobe 或许可以改变这一点,他们刚刚展示了一项新技术,可以将平面的 360 度视频变成 6 自由度视频。如此,“伪 VR”也可以变“真 VR”了。

Adobe 的这项研究由该公司的首席研究员在本周的National AssoCIAtion of BRoadcastersShow(国家广播协会展)上发布。最初由国外媒体独家报道。

所谓的 360 度视频变 6 自由度视频,从用户体验上来看,是指之前用户只能在 360 度视频里转动头部看四周,6 自由度则可以让用户不仅能转动头,还能在视频里上下前后左右地移动头部,就像是在真实世界里看东西一样。

那么 Adobe 是怎么做到的呢?

据该公司的研究员介绍,他们使用了一种新的扭曲算法(warping algorithm),这种算法可以在固定视点的视频里模拟出新的视点,同时保持 120 fps的帧率。

简单来说就是,普通的 360 度视频只有一个视点,就是相机的位置,而要想变 6 自由度,就得在这个位置周围创造新的视点,这样你才能前后左右移动,而周围的画面不动。

实际上,这一新算法不仅可以用在创造 6 自由度体验上,还能用于视频防抖,让一些手持拍摄时抖动造成的动态模糊画面更平滑。

不过,实现这些功能有一个条件,那就是相机必须得动,毕竟只在一个点拍摄是算不出精确深度的。

在 Adobe 发布的 研究论文 [1] 里,研究员介绍了这项功能实现的基本流程:

首先他们采用了一个运动恢复结构(structure-from-motion,SfM)算法来计算相机的运动并创造一个基本的三维重建架构。(雷锋网注:运动恢复结构是基于计算机视觉的三维重建方法之一)

用这个方法推测出三维几何值后,他们把视频的每一帧都映射(map)到一个六面的球体上,然后针对每个面运行标准的计算机视觉追踪算法。

对于将画面映射到六面体时不可避免会产生的失真情况,他们使用大于 45 度的视场角(FOV)产生画面重叠区域来解决。下面这个视频展示了算法实际运行的情况。

虽然很厉害,但这技术也不是万能的。除了要求相机要动外,三维重建的质量也取决于合成视点的位置与初始视点位置的距离。就是说,虽然能产生 6 自由度的体验,但如果你移动得太快太远,效果就会打比较大的折扣。

此外,有些自然现象也会带来问题,比如画面中遇到一大片没什么纹理的区域,遮挡情况以及光照的改变,它们可能会在重建点的画面中造成严重的噪点,以及在 3D 效果里带来“黑洞”(holes)效果。

在固定点的画面中,也会看到一些非静态物体的扭曲,这是由于算法试图将合成的帧和初始帧融合在一起。

俗话说,后期再厉害,不如把素材拍得好一点。所以很多公司直接用光场相机来拍摄 6 自由度视频,比如 HypeVR 带激光雷达(LiDAR)的 6K/60 FPS 相机,还有雷锋网之前报道过的 Lytro 那巨型的 Immerge 相机 。使用这些相机显然可以拍出更高质量的 3D 效果。

不过,话又说回来,这些相机全都是又大又贵的定制化产品,普通人一般用不起。所以,雷锋网认为,Adobe 的这套技术就算不完美,也给了普通用户做出 6 自由度视频的希望。

[1] Huang J, Chen Z, Ceylan D, et al. 6-DOF VR videos with a single 360-camera [C]//Virtual Reality (VR), 2017 IEEE. IEEE, 2017: 37-44.

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
“jia.com”的百度权重查询结果

查询百度权重和百度的关键字排名,查询360权重和360的关键字排名

NATIVE/ASCII编码互转

主要用于各类代码中各类本地字符的Unicode转换。\\u开头+数字的编码是叫Unicode编码,原理:获得输入框里的值,然后逐个转换为unicode编码(这个返回值是0–65535之间的整数),unicode转化为16进制,再添加上”\\u”前缀。

异次元软件世界

优秀软件改变你的生活!

媒介易

媒介易是一家拥有10万+媒体资源的全媒体供应链平台,媒体资源包括新闻/软文发稿、媒体邀约、明星代言、口碑营销、短视频营销、自媒体推广等数国内媒体资源,24小时自助投放,大平台安全保障,服务电话:4000-113-968。

桔多多

桔多多于2014年9月正式上线,创新“场景导购+品牌入驻+爆款特卖+店长模式+会员权益”的运营模式,为23-50岁用户提供3C数码、中高端腕表、轻奢箱包、品牌服饰及大牌美妆等商品消费服务。

首页

政府组织保密机要信息。

郑州玉都环保设备有限公司

郑州玉都环保设备有限公司坐落于中国的交通枢纽中心郑州,是中原地区一家大规模的塑料容器生产厂家销售企业。 公司主要产品有:塑料水箱、PE水箱、加药箱、化工防腐储罐、塑胶水塔、周转箱、食品级储罐、塑料桶、腌制桶、锥形储罐、塑料水塔、酸洗槽、大型立式储罐、加药装置、外加剂复配设备、聚羧酸合成设备、酸碱化工储罐、PP焊接储罐、PE储罐、搅拌罐等塑料防腐容器;酸雾吸收塔、pp反应釜,真空罐,缓冲罐等塑料化工环保设备。另承接大型塑料定制产品。 郑州玉都环保设备有限公司产品严格选用优质进口塑料颗粒为原料并按照“中华人民共和国GB9687-88质量标准”为准制造。 郑州玉都环保设备有限公司拥有技术研发中心,具备丰富的研发能力可按不同用途进行各种设计和制造。近年来,为南水北调工程、河南城际高铁高速等国内大型工程配套提供了各种不同规格的塑料储罐产品及相关设备,为甲方基础建设做出贡献。另为多家化工企业提供环保治理产品及方案!欢迎新老用户咨询! 郑州玉都环保设备有限公司本着“创新科技、真情服务”的企业经营理念,倡导

化工网

中华化工网致力于提供化学试剂,通用试剂,分析试剂,有机试剂,无机试剂,精细化工,化工机械,化工设备,石油,化工,塑料,橡胶,煤化工等产品的网上交易服务,化工新闻栏目包括化工供求信息,塑料供求,煤化工供求信息,化肥供求,石油供求,化工海运空运信息等。

安恒信息

安恒信息,数字安全领军企业,以DAS(数据安全、AI、安全运营服务)为核心战略,涵盖网络安全、数据安全、云安全、信创安全、密码安全、安全服务等数字安全能力,服务10万+政企单位客户。

经济财融网

经济财融网作为财经网站平台,为各位经济财融信息需求者提供不间断的全新财经信息。由热点,财经,理财,快讯,滚动,消费,产业,股票,企业,银行,行情,互联,市场,资讯等栏目构成。

品牌档案

品牌档案栏目是中央电视台开创的一档企业纪实类节目,栏目在CCTV-9和CCTV老故事频道播出。品牌档案栏目一经播出,便受到国内外企业家的广泛好评

全局底部横幅