研究院王超岳 优必选悉尼 AI 基于生成对抗网络的图像编辑方法 (中科院王越超)
雷锋网 AI科技评论按，近些年来，生成对抗网络在许多图像生成和图像编辑任务上都获得了很大的成功，并受到越来越多的关注。对于图像编辑任务，现在面临的两个重要的挑战分别是：如何指导网络向目标图像学习（以提升图像编辑的效果）和如何感知输入图像内容（以提升图像编辑的精度）。
悉尼科技大学 FEIT 三年级博士生，优必选悉尼AI研究院访问学生，陶大程教授学生王超岳在雷锋网 AI研习社主办的学术青年分享会上结合他的两篇论文 Tag DisentangLED Generative Adversarial Networks for Object Image Re-rendering （IJCAI 2017 Best student paper）和 Perceptual Adversarial Networks for Image-to-Image Transformation （arXiv 2017），分享了对图像编辑做出的相应探索。
分享内容如下：
常见的图像编辑有图像去雨（雪）、图像填充、素描到照片、风格转换、图像超分辨率、图像上色、图像旋转、时间变换等，抽象来说就是给定一张图像以及要求，来生成新的图像。即让机器理解图像和生成图像。
生成对抗网络是由Goodfellow在2014年提出的，算是一种新的网络架构，可以做有监督或无监督的学习。
基于GANs的图像编辑框架如下所示：
接下来介绍第一篇论文，用于图像转换任务的感知对抗网络（Perceptual Adversarial Network，PAN）。
近两年基于GANs的框架，有很多不同的优化，下图是对Pixel-wise loss、GANs loss和Perceptual loss的对比工作。
Pixel loss优点是使用简单、训练速度快、稳定，缺点是输出图像模糊，质量低。
GAN loss优点是能提升生成图像质量，更加真实，锐利，缺点是学习整体生成分布，无法单独使用。
Perceptualloss优点是注重图像包含的高维特征，感知效果，缺点是受限于预训练的其他网络。
下面是对提升生成图像质量做出的一些研究，引入不同的loss来生成不同的输出图像。
他们希望有新的loss函数来弥补现有的问题，持续缩小生成图像和真实图像的差距。基于这样的想法提出了感知对抗损失。
使用感知对抗损失的理由如下：
感知：衡量生成图像和真实图像的高维特征的差异，并致力于缩小他们。
对抗：当现有高维特征的差异小于一定数值m ，D网络被更新以寻找新的高维空间，以进一步缩小仍存在的不同。
统一：所有训练统一在一个GAN框架中，无需引入其他预训练网络，且不受任务限制。
他们引入感知对抗loss加GAN loss的结构，在这里引入GAN loss来让生成图像的整体分布符合真实图像的整体分布。
下面是针对于这个网络的相关实验，主要有图像的去雨、从分割后的label的图像到街景的重现、卫星图到谷歌地图的转换、图像补全、素描生成真实图像的任务。
下面是对比图像去雨雪的任务，他们的模型在色差的控制等方面都有所提升。
下面是图像补全任务，对比CVPR 2016的Context Encoder，PAN能得到更加优化的效果。
进行Pixel2pixel实验时与pix2pix做了对比，也可以看到明显提升。
解决图像生成的质量之后，还有一个问题：interpretable。也就是如何解开神经网络的黑箱，并帮助计算机进一步理解图像。
针对于如何在图像转换过程中理解整个网络，并控制中间层信息的表征，他们提出标签分解生成对抗网络(Tag Disentangled Generative Adversarial Networks, TDGAN)，用于进行目标图像的再次渲染(Re-rendering)。
给定输入图像，里面会包含一系列的输入信息，人脑看到之后很容易分理出这些信息，但之前的网络很难理解这些信息，因此很难对输入图像进行精细编辑，现在他们想要让网络能更进一步理解这些信息。
他们提出分解表征法。
解决方案:标签。只要简单的改变标签，就能很容易生成微笑的图像。
基于此，他们提出TDGAN，包括下图四个子网络。
网络的框架图如下：
主要有f1、f2、f3、f4四个约束项：
这四个子网络采用如下交替训练的形式：
下面是工作相应的实验结果，给定单张椅子，给定一些想要的角度，可以生成不同角度的效果，另外可以生成人在不同光线及表情下的效果。
下图是他们在两个数据集下做的一些任务。可以通过给定单张椅子照片，生成不同角度的椅子；也可以控制输入人脸图像的多种性质，如改变其角度，光照，表情等。
总结如下：现有的很多方法都是在GANs的框架下，希望提升现有的图像编辑效果和提升图像编辑的精度，他们做了以下尝试，去让任务表现更好。
第一是从学习的层面，不再只是从像素层面或固定高维空间上去缩小真实图像和转换图像之间的不同，而是利用对抗学习的思想去持续寻找并缩小真实图像和转换图像之间尚存的差异。另一方面，他们希望算法可以更深入的理解图像，并帮助计算机能更加智能，通过提取和分解图像中包含的各种信息，让算法可以更精确的编辑图像，从而得到想要的结果。
Perceptual Adversarial Networks for Image-to-Image Transformation
论文地址：
Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering
论文地址：
本次分享的视频如下：
雷锋网 AI科技评论整理编辑。
原创文章，未经授权禁止转载。详情见 转载须知 。
宝贝命名坊是一个致力于为宝宝提供个性化、创意性中文名字的在线平台。我们结合家长的需求和孩子的特点，量身定制专属的名字方案，让每一个名字都充满爱与期待。在这里，您可以找到最适合您宝宝的名字，让爱从名字开始传递。
北京市怀柔区人民政府网站
中国医药创新促进会（简称“中国药促会”），原名“中国医药工业科研开发促进会”，2014年10月23日经国家民政部批准更名。中国药促会秉承“创新、产业化、国际化”的宗旨，以临床需求为导向，长期致力于“产学研用”紧密结合，促进医药行业创新发展。
QQ互联官网首页
PChome电脑之家下载中心提供安全无毒的电脑软件下载、手机软件下载、手机游戏下载、电脑游戏下载、驱动下载等，下载软件和游戏就到电脑之家下载中心！
武汉中普瑞特工业有限公司产品:武汉输送机、武汉滚筒输送机、武汉食品输送机、武汉皮带输送机、武汉提升机、武汉升降输送机、武汉带式输送机、链板输送机、移动式输送机、滚筒线、皮带滚筒线、滚筒运输线、动力滚筒线、滚筒线链条等，输送设备行业从业多年。
千鹿AI提供AI生图,AI抠图,AI扩图,AI模特,AI商品图,模型训练等图像处理功能。每日免费生成300张图,服务跨境电商主图、AI商拍、素材管理、小红书种草文案等场景,实现一键换装,一键去水印,一键消除,一键高清修复。
江门市蓬江区畅洋卫浴有限公司是一家专业致力于SUS304不锈钢产品研发、生产、销售、推广、服务为一体的综合现代化企业。电话：0750-3661818
国风网络-20年专注于内蒙古网站建设,呼和浩特网站建设,服务众多客户.主要业务:可信网站验证,域名注册,企业邮局,企业QQ,400电话,通用网址.免费热线:400-9999-919,致力于发展内蒙古网站手机建设,呼和浩特网站建设,内蒙古网站制作,微信小程序开发,内蒙古考试系统
一九文学网提供2024精选散文、感人的爱情故事、伤感个性签名、QQ空间日志、名人故事、祝福语短信、心情随笔等文章免费在线阅读,!
天猫优惠券,淘宝优惠券！纯人工筛选,全国包邮！
人们在生活中难免会出现生病的情况，需要借助药物的作用才能快速地恢复到健康的状态，由于去大医院排队挂号、等待看诊需要很长的时间，于是人们选择到药店自行购买药物，一方面可以节省不少的看病费用，同时花费的时间也比较少，每个地方都可以看到有各种大大小小的药店，每天进店购买药物的人群都非常地多，收效空间大，是比较诱人的创业项目，下面来具体的了解...。
饮品行业的发展想必大家都是了解的，因此不少创业者看到了这当中的商机，纷纷想要加盟一个饮品品牌，但是不知道选择什么品牌加盟是比较好的，下面小编就为大家介绍一下加盟饮品饮品排行榜的大致情况介绍，一起跟随小编往下看看吧，1、放牛斑奶茶在行业里有一定的名气，放牛斑奶茶为了确保产品的质量，因此严格甄选原料，为消费者提供健康营养的好奶茶，如今，品...。
现在生活越来越好了，大家吃的美食也更多，其中汉堡、炸鸡等各种西式快餐是很受大家欢迎的，不管是小孩子还是老年人都很爱吃，称得上是老少皆宜，所以从事快餐行业也是很有前景的，现在不少创业者也看中了其中的商机，想要加盟开店，在小编看来，卡乐滋汉堡就是一个不错的选择，它是一个连锁的西式快餐，产品口味好，带来新鲜美味，大家的评价也很不错，快餐经营...。
想好吗，想创业吗，是不是只是有想法却苦于没有一个好的机会，现在机会来了，就看你是不是能把握住了，如今石锅拌饭成为人们追捧的美食，市场需求巨大，一时之间引起创业者的关注，在多方面的了解后就能知道这是一个值得智慧之选的行业，但是美石记石锅拌饭却更是值得加盟，那美石记石锅拌饭加盟费多少美石记石锅拌饭怎么样，现在就让我们一起来了解一下，美石记...。
愿者上钩，，连锁餐饮品牌，多年来专注于纸包鱼，选材新鲜，制作精良，滋味鲜美，营养健康，价格也比较实惠，因而吸引了大批的食客，现在，愿者上钩不仅在消费者中很有人气，同时也赢得了颇多加盟商的关注，大家都比较好奇，愿者上钩品牌费用加盟需要多少，一起看看下面的回答，据小编了解，想要开一家愿者上钩加盟店，你需要承担的费用包括加盟费，门店租金，...。
女士提供的服务主要有，皮肤护理、按摩、卵巢保养、香薰耳烛等，美容院是销售专业化妆品的终端机构，女士美容院加盟品牌有，克丽缇娜美容院、自然美美容院、唯美度美容院、百莲凯美容院、沙曼莎莉美容院、奈瑞尔美容院、姚大夫美容院、蕊丽思等，这些都是比较知名的美容院品牌，...。
一个行业的发展，一般情况下也能够带动另外一个行业的发展，如今汽车是比较普遍的一种交通工具，那么与之对应的就是有关汽车相关的服务行业，比如说洗车行业，一元自助洗车作为在这一行业中比较受关注的品牌，也是创业人员不能够错过的一个项目，所以想要加盟的话应该要认识到一元自助洗车怎么加盟，一元自助洗车怎么加盟，1、对一元自助洗车品牌进行加盟，应该...。
绘画可以让每个孩子富有更多的想象力，尤其是现在的父母们都会希望自己的孩子有更好的学习空间，让他们快快乐乐的就能够学习更多的知识，萌卡纳儿童绘本教育馆自从与更多的小朋友们进行接触之后，让许多家长们对这里也是充满了信赖，但是还不太了解又想要进行创业的人员，在加盟之前当然也就会想要详细的了解，萌卡纳儿童绘本教育馆加盟怎么样，值得加盟吗，现如...。
川菜市场，品牌为王，备受市场关注的当下，急剧扩大的市场需求也是吸引了不少创业者的加盟关注，就川菜加盟店10大品牌川菜店怎么加盟，感兴趣的朋友不妨跟着小编一起去了解一下，1、港剪鲍汁脱骨鸡港剪鲍汁脱骨鸡，研发了脱骨鸡美食的口感和外观，让港剪美食不仅仅受到食客青睐，更赢得市场认可，也是创业者们想要加盟的项目，2、湘炉小馆湘炉小馆是安徽湘炉...。
在快节奏、高压力的当下，快餐无疑是一个有前景的智慧之选项目，而在众多的快餐模式中，石锅饭，无疑是一个特殊的存在，中西合璧，集西式的简便和中式的营养于一身，颇受欢迎，在智慧之选领域，也是备受青睐，今天，小编将针对大家普遍关心的石锅饭加盟流程及加盟前景进行具体介绍，以飨众位有心人士，一、石锅饭加盟流程，时下，由于石锅饭是个炙手可热的智慧之...。
现在有许多的智慧之选人都想进军幼教，奈何找不到合适的幼儿园加盟品牌大都无疾而终，那么，是真的没有加盟品牌可以选择还是智慧之选不知道怎么选择呢，小编认为，智慧之选人应该是面对众多的加盟品牌而徘徊不定吧！为了帮助智慧之选人们能够选择到合适并且靠谱的幼儿园加盟品牌，小编推荐香港跨世纪国际教育集团，之所以推荐跨世纪，是因为跨世纪的这五个理由，...。
的茶是具有悠久的历史，茶也是人喜爱的一种饮品，奶茶就是采用的茶叶，混混合一些水果、牛奶等原料制作的奶茶饮品，奶茶是大家都喜爱的一种饮品，而且在市面上研发出了众多的奶茶品牌，市场的认可度较高，市面上就研发出了风的茶饮品牌，茶海棠奶茶饮品就是一款有风的感觉的茶饮品牌，一些创业者也看中该商机，想要了解茶海棠奶茶饮品的加盟详情如何，下面就为大...。
这周两家互联网公司的两个事件掀起了铺天盖地的声讨，一个是携程的机票，还有一个就是百度的贴吧，关于这两个事件，如果你还有更多想要了解的，推荐读读雷锋网的这两个报道，你为什么会买到假机票，作恶，不是创新乏力的解药当然，除了它们，科技圈这周依然有不少值得关注的新动作，15日晚间，青岛海尔发布正式公告，与通用电气，GE，签署了，股权与...。
数据，是驱动自动驾驶向前发展的重要，燃料，在数据的连通之下，汽车已经不再是一座信息孤岛，而是一个集车、路、云端信息于一体的智能移动终端；同时，通过5G、人工智能等新兴技术，为智慧交通的构建穿针引线，眼下，自动驾驶商业化落地的路线众多，各路玩家都在寻觅最适合自己的方式，其中，觉非科技的方式是以智能数据运营为落脚点，以车路协同的路径为突...。
ChatGPT在产业界掀起商业化与资本狂潮的同时，也给自然语言处理，NLP，研究界抛出了许多问题，NLP正在重新成为最热的研究领域之一，但也在面临以ChatGPT为代表的大规模预训练语言模型带来的冲击，ChatGPT将如何重塑NLP技术，NLP的下一步要如何走，在2月24日深圳人才研修院由鹏城实验室主办的第四届OpenI，O启智开发者...。
1月16日，颇受业界关注的，比亚迪梦想日，拉开帷幕，和外界所猜测的一样，本次的主题围绕着，整车智能，展开，过去的很长一段时间里，汽车智能化被等同于智舱、智驾，导致概念被片面化，整个行业也因此陷入智能座舱和智能驾驶的深度内卷，同时，多数智能汽车的各个系统是由不同供应商采购组装而成，导致各系统之间无法联动融合，不仅不能满足多样化需求，反而...。
小吃对市场的发展前景是很广阔的，因为大多数的人都是抵挡不了美食的诱惑的，尤其是像米线这样的小吃，不仅味道鲜美而且还可以作为一顿正餐来食用，在市场上是非常的受到广大的消费者欢迎的，一般米线店的智慧之选成本小，可经营，而且不需要太多的员工，是很适合小本智慧之选的一个项目，云知缘过桥米线在市场是备受喜爱的，那么，开家云知缘过桥米线加盟店需要...。
