英伟达发布新算法 可以重建缺失像素 (英伟达发布新版NVIDIAApp)

文章编号:44684 资讯动态 2024-12-09 深度学习英伟达

雷锋网按:本文由雷锋字幕组编译,原标题New AI Imaging Technique Reconstructs Photos with Realistic Results,作者为Nvidia Developer News Center。

翻译 | 李诚 孙启超 整理 | 凡江

日前,英伟达公司由 Guilin Liu 领导的研发团队发布了一种最先进的深度学习算法,可以编辑图像或复原那些像素有缺失的图像。

该方法还可以通过删除图像的部分内容再进行填充的方式,来重新编辑图像。

英伟达发布新算法,可以重建缺失像素

这种“图像修复”功能应用在照片编辑软件中,先抠掉图像中不需要的内容,同时用算法生成的真实数据来填充。

论文中写道:“以前类似的深度学习方法重点放在位于图像中心的矩形区域,并且经常依赖于复杂的后处理操作,而我们的新模型有更好的效果。它可以鲁棒地处理任何形状、位置的马赛克遮挡。 并且未来可以更平滑地处理更大的区域。”

在着手训练神经网络之前,首先生成了 55,116 个具有随机纹理和任意形状、大小的马赛克形状作为训练集。他们还生成了近 25,000 个马赛克图形作为测试数据集。 为了提高图像重建的准确度,根据马赛克形状的相对大小把这些图像进一步分成了六类。

英伟达发布新算法,可以重建缺失像素 为了训练生成的马赛克例子

团队通过将生成的马赛克图案覆盖在 ImageNet,Places2 和 CelebA-HQ 数据集的图像上,使用 NVIDIA TeSLA V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经网络。

在训练阶段,将空白或缺失部分引入上述数据集完整的训练集中,使神经网络能够学习复原缺失的像素。在测试阶段,将与训练阶段不同形状的马赛克图案应用于测试集的图像中,从而提高复原精度的范化能力。

现有的基于深度学习的图像修复方法效果受限,是因为受损像素的输出一定依赖于这些像素提供给神经网络的输入。这导致图像中产生了颜色偏差和模糊的伪信息。

为了解决这个问题,研究团队开发了一种方法,确保受损像素的输出不依赖于因这些像素产生的输入值。这个方法是使用“部分卷积”层,根据其感受野的有效性对每个输出进行重新归一化 。这种重新归一化的方法可确保输出值与每个感受野中受损像素的值相互独立无关。该模型由UNet架构实现的部分卷积功能。使用一组损失函数来训练模型,匹配VGG模型的特征损失和风格损失以产生逼真的输出。

研发人员也在论文中引用到,相同的网络框架可以来完成高分辨率图像的处理任务。

论文参考:

博客原址

英伟达发布新算法,可以重建缺失像素

原创文章,未经授权禁止转载。详情见 转载须知 。

英伟达发布新算法,可以重建缺失像素

全局中部横幅
xiachufang.com

站长之家Alexa排名查询工具提供xiachufang.com网站alexa排名查询,特别是能够对网站预估收入以及网站价值进行评估的功能,帮助用户更好的提升alexa排名。

中国吉林森工集团

中国吉林森林工业集团有限责任公司是我国四大森工集团、全国制造业500强及吉林省十大企业集团之一,辖区位于吉林省长白山林区,素有“长白林海”的美誉,是国家重要的生态屏障和木材生产基地。中国吉林森工集团前身为1950年成立的东北采伐公司,1994年经国家三部委批准成为全国首批大型试点企业集团,2006年改制为有限责任公司。集团总部位于吉林省长春市。

西安板式换热机组,西安集中监控展示,西安球墨铸铁管,西安空调源热泵,西安水处理系统设备,西安无负压供水设备,西安高效管壳式换热器,西安冷却塔,西安落地式膨胀定压机组,西安换热机组配件,西安水地源热泵,西安冷凝水回收装置

西安鸿瑞机电工程设备有限公司专业从事暖通空调设备、冷却设备、水处理系统设备、效管壳式换热器、工业自控、无负压供水设备、机械加工自动生产线的集成、销售、技术服务与施工为一体的综合性公司。

城市生活网

地球城网是全国最大的城市连锁门户,它以各个城市统一标准化的页面和功能为网民提供城市论坛、城市活动、城市分类信息和城市企业黄页等网民生活和商务信息的发布和查询服务,为人们提供了一个多种类信息“一站式”发布的平台;同时它也是一个“城市分众媒体”,它借助大众服务内容的广泛性为地方城市中小企业提供了一个展示推广产品、宣传企业品牌的舞台。

中国国际科技促进会全生命周期绿色科技分会

中国国际科技促进会全生命周期绿色科技分会(简称科促会),英文名称:ChinaInternationalAssociationforPromotionofScienceandTechnology(CIAPST)。1988年经中华人民共和国国务院科技领导小组批准而成立的国家一级社团,在民政部注册(社证字3477号,代码50001765-0)主管单位为中华人民共和国科学技术部。

宁波东力股份有限公司

东力,为世界传递不竭动力,用专注、专业打造成为世界传动领域知名品牌!

卫生杀虫剂,卫生杀虫剂厂家,卫生防蛀剂品牌,气雾杀虫剂厂,气体杀虫剂,中山市金鸟化工有限公司

中山市金鸟化工有限公司一直致力于提供各种优质的卫生杀虫剂,卫生防蛀剂,杀虫气雾剂,在卫生杀虫剂研究领域始终走在世界前列,致力于创建健康、清洁的卫生环境。产品质量保证,欢迎咨询。

首页

苏州市东吴厨房设备有限公司

上海易旅实业有限公司

上海易旅实业有限公司2010年在全国提倡节能环保,保护地球的大背景下成立,坐落于上海西部以轿车工业和轿车生产配套工业为主的现代化综合性的中心城镇--嘉定区安亭镇。

电磁阀,电动阀,气动阀,安全阀,调节阀,球阀,蝶阀,止回阀

上海北四特阀门|阀门厂家|电磁阀|电动阀|电动球阀|电动蝶阀|气动阀|气动角座阀|气动球阀|气动蝶阀|调节阀|薄膜|隔膜|单座调节阀|安全阀|普通阀门|球阀|蝶阀|闸阀|止回阀|

全局底部横幅