德国学者用AI合成一亿像素逼真3D图像 可任意旋转 真实在右 虚拟在左 (德国 学者)
近日，来自德国埃尔兰根-纽伦堡大学的学者提出了一种新颖的神经网络方法，用于3D图像的场景细化和新视图合成。
只需要输入点云和相机参数的初始估计，就可以输出由任意相机角度合成的图像，360度旋转都不是问题。
研究人员表示，高效的单像素点光栅化让他们能够实时显示超过 1 亿个像素点的点云场景。
一亿个像素点是什么概念？说白了，这些3D图像太逼真了。
再看看合成图和原图的对比，简直和拍照没啥区别。
这项研究最近在推特上收到了很大的关注，网友纷纷回应：impressive！
同时，也有网友表示，这项研究确实利用了大规模动态输入点云的优势，而这原本是“超级难”的问题。
如下图所示，给定一组RGB图像和初始3D重建（图左），该渲染方法能够合成新的帧，并优化场景参数（图右）。
用神经网络自动学习合成高清3D图像已有成效，但之前还难以做到大动态的视角变换，他们是怎么实现的呢？
合成逼真的虚拟环境是计算机图形学和计算机视觉研究的热门领域之一。
其中，3D 形状的编码形式是非常关键的部分，人们通常会考虑三角形网格、体素网格、隐函数和点云，每种表示法都有各自的优缺点。
从左到右，分别是点云、体素、三角网格形式的兔子3D图像。
为了有效渲染不透明表面，人们通常选择三角形网格。
体素网格常用于容量表示，而隐函数适用于精确描述非线性分析表面（比如a^2+b^2+c^2=1，就是一个单位球面）。
另一方面，点云具有易于使用的优点，因为不必考虑拓扑性质，非常便于作为3D图像合成的中间输出阶段。不必考虑拓扑性质是指，无论是圆环还是球体，其表示形式都是一样的。
在2000年左右，点云渲染，尤其是点散布，已在计算机图形学中得到广泛研究。
与此同时，人们越来越关注基于图像的渲染技术。也就是基于粗略的、重建的3D模型以及已有的一组物体图像，来合成新的视图。
这些方法存在输入不精确的问题，例如，如果几何图形包含孔或输入图像没有完全对齐，则会出现伪影。
而基于神经图像的渲染方法使用神经网络来去除这些伪影，可以生成前所未有的如照片般逼真的高质量新视图。
Aliev等人则表明，将传统的点光栅化器与深度神经网络配对也是可行的。
这一发现对3D重建尤其有益，因为其通常使用密集点云作为初始输出。因此，我们可以跳过不必要的、可能出现错误的三角测量，直接可视化重建的场景。
在本文中，研究人员的方法建立在 Aliev 等人的管道之上，并以多种方法对其进行改进。
图2：基于点的HDR神经渲染管道概览。
如上图所示，由纹理点云和环境图组成的场景被光栅化为一组具有多种分辨率的稀疏神经图像。
深度神经网络重建HDR图像。
然后通过一个基于物理的可微色调映射器将其转换为给定新视点场景的 LDR图像。
在训练阶段，可以同时优化矩形框中的所有参数以及神经网络。
在整个管道中，他们特别添加了一个物理的、可微分的相机模型和一个可微分的色调映射器，并提出了一个公式，以更好地近似单像素点光栅化的空间梯度。
可微分的好处是，不仅可以优化神经点特征，还可以在训练阶段校正不精确的输入。
因此，系统可以根据神经渲染网络的视觉损失来调整这些参数：
得益于此，图像的渲染质量得到了显著提升。
此外，该方法能够合成任意的高动态范围成像（HDR，即大幅度的曝光变化）和LDR（低动态范围成像，容易缺失图像细节）设置，并校正曝光不足或过度曝光的视图（如下图所示）。
同时，深度神经网络内部的参数数量也显著减少，因为亮度和颜色变化由物理上正确的传感器模型单独处理。
如下表所示，与其他可微渲染器相比，本文的方法效率高出大约两个数量级。
表I：RTX 2080 Ti上1920×1080图像的正向和反向渲染时间（以毫秒为单位）。
因此，渲染性能提高了，过拟合伪影也减少了。
总而言之，这篇论文的研究成果如下：
• 用于场景细化和可视化的端到端可训练的基于点的神经渲染管道。
• 使用伪影几何概念的单像素点碎片的可微分光栅化器。
• 可模拟数码摄影镜头和传感器效果的基于物理的可微分色调映射器。
• 用于大型点云的高效多层渲染的随机点丢弃技术。
图11：在罗马船只数据集上合成的新视图。使用与参考照片相同的曝光值对图像进行渲染。在右列中，每个像素的误差都是可视化的。
我们再详细介绍一下模型管道。
管道的第一步是可微分光栅化器（图2左）。
它通过使用相机参数将每个点投影到图像空间，将其呈现为单个像素大小的碎片。
如果该像素点通过一个测试，它就会在神经网络输出图像中占据一个描述符。所有未被点着色的像素都由从背景颜色填充。
由于我们将点渲染为单个像素大小的碎片，输出的图像可能会非常稀疏，这取决于点云的空间分辨率和相机距离。
因此，以不同的比例渲染多个图层，使输出图像密集化，并处理遮挡和照明问题。
神经渲染器（图2中间）采用多分辨率神经图像生成单个HDR输出图像。
它由一个四层全卷积U-Net和跳跃连接组成，其中较低分辨率的输入图像连接到中间特征张量。使用平均池化执行下采样，并通过双线性插值对图像进行上采样。
研究人员主要使用门控卷积，它最初是为填孔任务而开发的，因此非常适合稀疏点输入。
总体而言，该网络架构类似于 Aliev等人提出的架构，只减少了一层，并进行了一些修改，以支持HDR成像。
首先，去掉批归一化层，因为它们将中间图像的均值和标准差归一化为固定值。这会使得总传感器辐照度（类似光强概念）丢失，并且无法从3D点传播到最终图像。
此外，如果场景的亮度范围相当大（大于 1 : 400），会以对数方式存储神经点描述符。否则，神经描述符将线性存储。对于对数描述符，在光栅化过程中将其转换为线性空间，以便卷积操作仅使用线性亮度值。
管道中的最后一步（图2右侧）是可学习的色调映射操作符，它将渲染的HDR图像转换为 LDR。
该色调映射器模拟数码相机的物理镜头和传感器特性。因此，它最适合捕捉智能手机、数码单反相机和摄像机的LDR图像。
尽管合成效果如此惊艳，在实验中，研究人员也发现了一些局限性。
其中一个限制是，由于不同参数的数量巨大，不容易寻找合适的超参数。必须平衡纹理颜色、结构参数、色调映射设置和神经网络权重的学习速率。为了找到适合所有场景的可行设置，需要进行广泛的网格搜索。
另一个限制是，点位置的优化对于中到大的学习率是不稳定的。因此，该管道需要合理的初始点云，例如，通过多视图立体系统或 LiDaR 扫描仪。
研究人员认为这个问题是由光栅化过程中的梯度逼近引起的。它适用于相机模型和相机角度优化，因为数千个点的空间梯度在一个优化器步骤中得到平均。然而，对于位置点梯度，仅使用单个近似梯度来更新其坐标。因此需要非常低的学习率来平均点梯度随时间的变化。
最后，由于是单像素点渲染，当相机离物体太近或点云非常稀疏时，可能会出现孔。这是因为神经网络结构只能填补一定大小阈值的洞。在实验中，研究人员通过人为地增加点密度来减少这个问题。然而，这并不是一个普遍可行的解决方案，因为在自由视图环境中，用户仍然可以任意移动相机以靠近物体表面。研究人员表示，他们未来的工作应该会从这里开始，例如，可以尝试在放大过程中动态生成具有内插神经描述符的新点。
版权文章，未经授权禁止转载。详情见 转载须知 。
【豌豆荚】为你提供酷狗音乐APP安卓版下载，历史版本、旧版下载，查看2023最新酷狗音乐手机版介绍、应用截图、网友评论，方便快捷的将安卓版酷狗音乐应用免费下载到手机。
4399闯关小游戏大全收录了国内外4399双人闯关小游戏,单人闯关小游戏,三人闯关小游戏,闯关类小游戏,双人闯关冒险小游戏,好玩就拉朋友们一起来玩吧！
新浪网博客频道是全中国最主流，最具人气的博客频道。拥有最耀眼的娱乐明星博客、最知性的名人博客、最动人的情感博客，最自我的草根博客!
深圳市百顺兴新材料有限公司：我们诚信持证经营各种危险化学品和非危险化学品等工业与试剂产品。
广安市武胜嘉陵职业技术学校是经广安市教育局批准成立的一所全日制中等学历教育学校，创建于一九八七年八月，经过多年的持续发展，现已成为广安市重点中等职业技术学校。
企业库免费B2B网站商业搜索平台www.qiyeku.com，致力打造全球企业网上贸易网络宣传电子商务的交流平台，本免费B2B平台集合了国外B2B网站,为中国中小企业提供网上推广、网络营销、网上贸易、b2b网站大全即b2b免费商务平台结合了：超级官网、企业级商城、营销型网站、企业免费网站、免费网站模板、b2b网站排名等功能。聪明的老板要建企业官网请选中国企业库https://www.qiyeku.com
深圳市亿杰仪表有限公司(www.acez.net.cn)是DAVIS气象站,Kestrel气象风速仪,YOUNG风速仪供应商,Druck代理商,公司1985年创立于新加坡,并于2003年进入中国深圳,欢迎来电洽谈
Rokid是一家专注于人机交互技术的产品平台公司，目前致力于AR眼镜等软硬件产品的研发及以YodaOS操作系统为载体的生态构建。公司通过语音识别、自然语言处理、计算机视觉、光学显示、芯片平台、硬件设计等多领域研究，将前沿的Al和AR技术与行业应用相结合，为不同垂直领域的客户提供全栈式解决方案。
南京乐游星空信息科技有限公司是江苏省内最大的游戏及应用内分发渠道商之一。专注于游戏发行和运营。优质的APP分享服务，以及线下销售服务.
用户可通过多终端设备快速开启远程视频会议，并借助产品与会议平板的完美结合，实现屏幕间互动协作，提升会议效率，从而降低企业会议成本，达到降本增效的目的。
济南恒鼎升降机械有限公司是一家集设计、研发、生产、销售、安装、服务于一体的升降机械生产服务商。现有产品：全自行升降机,铝合金升降机,移动剪叉升降机,曲臂升降机,移动登车桥,固定登车桥,装卸平台,固定式升降平台,导轨式升降平台,车载升降平台,液压登车桥,曲臂式高空作业平台,升降舞台,自行走曲臂升降车,自行走直臂升降车,自行走伸缩臂升降车等产品，还可为客户设计合理的各规格型号的特殊产品。
时间戳(Unixtimestamp)转换工具-在线工具
近日，来自德国埃尔兰根，纽伦堡大学的学者提出了一种新颖的神经网络方法，用于3D图像的场景细化和新视图合成，只需要输入点云和相机参数的初始估计，就可以输出由任意相机角度合成的图像，360度旋转都不是问题，研究人员表示，高效的单像素点光栅化让他们能够实时显示超过1亿个像素点的点云场景，一亿个像素点是什么概念，说白了，这些3D图像太逼真了，...。
2021刚刚开启，OpenAI又来放大招了！能写小说、哲学语录的GPT，3已经不足为奇，那就来一个多模态，图像版GPT，3，今天，OpenAI重磅推出了最新语言模型—，它是GPT，3的120亿参数版本，可以魔法一般按照自然语言文字描述直接生成对应图片！比如，在DALL·E模型中输入，穿芭蕾舞短裙、正在遛狗的萝卜宝宝，，它就可以生成这...。
ImageMagick(图片处理软件)是一个简易实用，功能强大的创建、编辑、合成图片的软件。它可以读取、转换、写入多种格式的图片。图片切割、颜色替换、各种效果的应用，图片的旋转、组合，文本，直线，多边
吃喝毕竟是人生大事，所以餐饮行业的发展基本没有衰落过，对于现在的消费者来说，他们注重的不仅是吃饱，还有吃好，吃得有特色，因此现在的餐饮行业变得越发繁荣起来了，投身于餐饮市场的创业者越多，该行业的竞争也越激烈，所以每一家餐饮店在开业时都会举办活动，吸引客源，那么餐饮店开业营销方案有哪些呢，1、发传单说到发传单，大家脑子里肯定会浮现这么个...。
注，本文选自，中国图象图形学报，2022年第3期医学图像及临床应用专刊，点击，阅读原文，，查看、下载此专刊论文，过去20年里，医学影像技术、人工智能技术以及这两项技术相结合的临床应用在全世界范围内得到了快速长足的发展，随着医学影像数据的扩增、人工智能算法模型的改进优化以及软硬件设备的提升，越来越多的人工智能技术开始应用并落地于临床医学...。
骁龙8Gen4要10月21日才发布，所以大家还以为一加13要等到11月，但9月4日，在京东方的全球创新伙伴大会中，一加官宣，一加将首发第二代东方屏，，暗示一加13或在10月发布，同日，闲聊站表示一加13会首发京东方X2基材，而，华为MateXT、vivoX200系列、OPPOFindX8系列、iQOO13、一加13、真我GT7Pro、...。
雷锋网消息，近日，雷锋网，医健AI掘金志，邀请众安保险智能中心负责人孙谷飞，以，数据中台赋能未来保险生态，为题，对险企内部数据管理、流通、价值挖掘技术逻辑进行了解析，过去，由于技术手段和数据安全的限制，保险公司的各个系统间无法完成高效的数据交换和沟通，系统间就像一个个孤岛，由于担心部门内部信息共享不当，即便是大型保险公司，内部很多部门...。
如果要问当今世上谁的钱好赚，商人会告诉你，学生的钱好赚，学生虽然没有经济来源，但有宠爱他们的父母，所以他们花起钱来没有概念，学校是学生的聚集地，也就是说，如果能在这个地方开店，想要更好肯定很简单，既然地点是学校，店铺的经营项目肯定要贴近学生群体，那么学校开店适合做什么呢，学校开店适合做什么，做文具生意，各种各样的笔和各式各样的本子代表...。
