用一张单色图像生成高质量3D几何结构 (怎么用单色)

文章编号:43891 资讯动态 2024-12-09 体素3D几何结构层进表面预测

雷锋网AI科技评论按:用图像来重建3D数字几何结构是计算机视觉领域一个非常核心的问题。这种技术在许多领域都有广泛的应用,例如电影制作、视频游戏的内容生成、虚拟现实和增强现实、3D打印等等。伯克利人工智能研究中心的Christian Häne等人近日发表一篇论文《 Hierarchical Surface Prediction for 3D Object Reconstruction 》,论文中他们讨论如何从单张色彩图像重建出高质量的3D几何结构,就像下面这幅图所显示的。雷锋网编译如下。

用一张单色图像生成高质量3D几何结构

对于我们人类来说,即使只看到一张图像,我们也能毫不费力地对物体和场景的形状进行理解。请注意,我们眼睛的双目效果允许我们感知深度,我们不需要了解物体3D几何结构。所以即使我们只是看到一个实体的照片,我们也能对它的形状有很好的感知。不仅如此,我们还能理解物体看不见的部分(例如背面),这对抓取物体这样的动作来说是非常重要的。于是问题就来了,我们人类是如何从单张图像推出物体的几何结构的呢?在人工智能这个方面,我们怎么才能教会机器掌握这个能力呢?

一、形状空间

由任意的输入图像来重建其3D几何结构,基本的原理就是: 物体形状不是任意的,因此有些形状是可能的,而有些是不可能的。 一般来说,物体的表面往往是光滑的,尤其是人造物体,常常就是由几个分段的平面构成。对于预测物体,我们可以使用同样的规则。例如,飞机通常具有机身,两侧附接两个主翼,后侧会安装有垂直稳定翼。人类能通过眼睛观察世界,并用手来与世界进行互动,然后获得这样的知识。在计算机视觉中,“形状不是任意的”这个事实允许我们通过收集大量的示例形状,来将一个对象类或者多个对象类的所有可能形状描述成低维形状空间。 使用CNN来预测体素(Voxel Prediction)

最近,等人发表了他们关于3D重建的论文,在他们的工作中他们的“输出”是一个3D体积空间,这个3D体积被细分成体积元素(称为体素,voxel),每个体素会有一个分配(被占据或自由空间),而物体形状的预测则表示为由体素组成的3D占据体积。在他们的模型中“输入”通常为一个描述物体的单色图像,然后他们用卷积网络神经(CNN)的上卷积解码器架构来预测这个占据体积。该网络由端对端进行训练,并且由已知的ground truth占据体积(通过合成CAD模型数据集获得)来进行监督学习。通过这种3D表示(体素)以及CNN,这种模型就可以学习,且能够适应各种对象类。

用一张单色图像生成高质量3D几何结构

二、层进表面预测

上述方法(使用CNN预测占据体积)有一个很大的缺点,由于其输出空间是三维的,于是相对增加的分辨率就会以立方的形式增长。这个问题使得这种方法难以预测高质量的几何形状,且限于比较粗糙的分辨率体素网格,例如上面32^3的结果。在Christian Häne等人的工作中,他们认为这是一个不必要的限制,因为表面实际上只是二维的。于是他们通过层进的方式利用表面的二维性质来预测精细分辨率体素,此时只需要对表面进行高分辨率的预测即可。其基本思想和八叉树表示的思想关系很近,八叉树表示通常是用于多视图立体声和深度图融合等领域来表示高分辨率的几何结构。

方法

在这个3D预测模型(称为层进表面预测(Hierarchical Surface Prediction, HSP))中,首先我们输入一张单色图像,用卷积编码器将其编码为低维表示。然后,将该低维表示解码成3D占用体积。其主要思想是通过预测低分辨率体素开始解码。关键之处在于,不同于标准的方法将体素分为占据/自由空间,HSP会将体素分为三类: 自由空间 占据空间 边界 。使用这种方法,“输出”的分辨率可以很低,只要保证在那些有迹象表明它包含“边界”的部分有较高的分辨率即可。通过迭代,我们可以层进地预测出高分辨率的体素网格。模型更多的细节可以参看论文,这里就不再详解。

用一张单色图像生成高质量3D几何结构

实验

模型的实验主要利用了合成的ShapeNet数据集进行训练。作者将结果与两个基线模型——硬低分辨率模型(low resolution hard,LR hard)和软低分辨率模型(low resolution soft,LR soft))——进行了对比。这两个基线模型都是以32^3粗分辨率进行预测,只是训练数据的生成方式不同。LR hard对体素使用双分法进行分配,即如果在相应的高分辨率体素中至少一个被占用,则所有体素将被标记为被占用。LR soft则使用分数法进行分配,每一个体素将反映出在相关的高分辨率体素中占有的百分比。HSP方法则以256^3的分辨率进行预测。下面的结果显示,HSP方法与基线方法相比,在表面质量和高分辨率预测的完整性方面表现更好。

用一张单色图像生成高质量3D几何结构

用一张单色图像生成高质量3D几何结构

雷锋网注——

本文参考了: High Quality 3D Object Reconstruction from a Single Color Image

相关论文连接:

1、 Hierarchical Surface Prediction for 3D Object Reconstruction (Christian Häne等)

2、 3D-R2N2: A Unified approach for Single and Multi-view 3D Object Reconstruction (Choy等)

3、 Learning a Predictable and Generative Vector Representation for Objects (Girdhar等)

4、 ShapeNet: An Information-Rich 3D Model Repository (关于ShapeNet数据集的论文)

原创文章,未经授权禁止转载。详情见 转载须知 。

用一张单色图像生成高质量3D几何结构

全局中部横幅
金山词霸

爱词霸英语翻译器为广大英文学习爱好者提供即时的在线翻译、在线词典、英文写作校对、汉译英、英译汉、图片、文档翻译、汉语查词等服务,金山词霸在线查词翻译频道致力于提供优质的在线翻译、查词服务

吾爱破解

吾爱破解论坛致力于软件安全与病毒分析的前沿,丰富的技术版块交相辉映,由无数热衷于软件加密解密及反病毒爱好者共同维护

漳州市龙文区泰信花卉店,仍炸网

仍炸网提供最新行业信息,信息大全等资讯。

沧州佳源建筑器材有限公司

沧州佳源建筑机械设备有限公司是一家生产销售电动吊篮,建筑吊篮,高空吊篮,外墙施工吊篮等产品的厂家,经过多年的不懈努力,电动吊篮厂家培养了一批设计人员,工程技术人员,质检管理人员及售后服务队伍,使电动吊篮生产厂家的产品及工程的质量得到了更好的保证,外墙施工吊篮厂家从事吊篮的生产与销售,欢迎来电咨询.

激光全息防伪标签

河南省卫群科技发展有限公司是专业从事二维码防伪标签印刷,二维码追溯标签,激光全息防伪标签,定位烫印标识,可变二维码防伪标签等高新防伪标识设计印刷,在动态可变二维码,质量追溯,溯源防伪管理系统等方面具有很强实力。

青岛诺安百特生物技术有限公司

青岛诺安百特生物技术有限公司成立于2017年,提供细菌性疾病解决方案。目前服务项目已经涵盖家禽、家畜、宠物、毛皮动物、水产、蔬菜、水果以及人类健康领域。

北京网站建设

北京易势科技有限公司是覆盖全国地区从事网站建设、网站制作、网页设计、网站策划、网络营销、SEO的网络策划公司。近千个网站案例。网站建设咨询电话:010-83659766

广州云柱科技有限公司,原珠海云柱,云柱科技,服务项目有珠海品牌设计,珠海设计公司,珠海标志设计,珠海VI设计,珠海网店设计,珠海包装设计,珠海画册设计

云柱品牌设计机构,品牌整合设计革新力量。为合作伙伴提供全方位的品牌咨询,品牌设计,品牌管理服务,O2O电商品牌线上线下一体化设计,联系电话:15989798935 广州云柱科技有限公司,原珠海云柱,云柱科技,服务项目有珠海品牌设计,珠海设计公司,珠海标志设计,珠海VI设计,珠海网店设计,珠海包装设计,珠海画册设计

视频格式转换器

专业稳定的音视频格式转换器,全能的音视频格式转换软件。

真石漆,山东真石漆,真石漆厂家,真石漆价格

山东新佳涂料(400-699-0737)是主营真石漆,质感涂料,内外墙乳胶漆,水包水多彩漆,是山东真石漆大型生产厂家,了解真石漆、质感涂料施工工艺、质量、价格,欢迎来电咨询。

桂林精睿信息科技有限公司

桂林精睿信息科技有限公司,主营:办公设备、显示器维修、主板维修、数据恢复、电脑维修、手机维修、网络维护、网络布线U盘数据恢复raid重组,移动硬盘数据恢复,PC3000数据恢复,手机数据恢复,相机数据恢复,硬盘录像机恢复,针对于硬盘,u盘和手机卡的误删除,误格式化,误GHOST,误分区,分区丢失,分区无法打开,分区提示格式化,重装系统覆盖,病毒破坏,开机分区异常,黑客攻击等逻辑故障,解决磁头烧坏,磁头老化,磁头芯片损坏,磁头偏移,盘片划伤,磁组变形,电机损坏,提供硬盘坏道,固件损坏,电路板烧毁,芯片烧毁,硬盘不识别,硬盘容量变小,硬盘modle乱码,硬盘运行速度慢,时常蓝屏,文件无法拷贝,提示I/O错误等硬件数据恢复的服务

全局底部横幅