不仅有Facebook参与 也果然被 ICML 还记得Wasserstein 接收 GAN吗 (不仅有发现美的眼睛,更有创造美的)

文章编号:45564 资讯动态 2024-12-09 ICMLGANFacebook2017机器学习

雷锋网 AI 科技评论按:Facebook列出了自己的9篇 ICML 2017论文,Wasserstein GAN 赫然位列其中。

还记得Wasser 吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

ICML 2017 仍然在悉尼火热进行中,Facebook 研究院今天也发文介绍了自己的 ICML 论文。Facebook有9篇论文被 ICML 2017接收,这些论文的主题包括语言建模、优化和图像的无监督学习;另外 Facebook 还会共同参与组织Video Games and Machine Learning Workshop。

在9篇接收论文中,Facebook 自己最喜欢的是「 Wasserstein Generative Adversarial Networks 」(WGAN)这一篇,它也确实对整个机器学习界有巨大的影响力,今年也掀起过一阵 WGAN 的热潮。

Ian Goodfellow 提出的原始的 GAN 大家都非常熟悉了,利用对抗性的训练过程给生成式问题提供了很棒的解决方案,应用空间也非常广泛,从此之后基于GAN 框架做应用的论文层出不穷,但是 GAN 的训练困难、训练进程难以判断、生成样本缺乏多样性(mode collapse)等问题一直没有得到完善解决。 这篇 Facebook 和纽约大学库朗数学科学研究所的研究员们合作完成的 WGAN 论文就是众多尝试改进 GAN、解决它的问题的论文中具有里程碑意义的一篇。

WGAN 的作者们其实花了整整两篇论文才完全表达了自己的想法。在第一篇「Towards Principled Methods for Training Generative Adversarial Networks」里面推了一堆公式定理,从理论上分析了原始GAN的问题所在,从而针对性地给出了改进要点;在这第二篇「Wasserstein Generative Adversarial Networks」里面,又再从这个改进点出发推了一堆公式定理,最终给出了改进的算法实现流程

还记得Wasser 吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

WGAN 成功地做到了以下爆炸性的几点:

而改进后相比原始GAN的算法实现流程却只改了四点:

所以数学学得好真的很重要,正是靠着对 GAN 的原理和问题的深入分析,才能够找到针对性的方法改进问题,而且最终的呈现也这么简单。( WGAN详解参见雷锋网 AI 科技评论文章 令人拍案叫绝的Wasserstein GAN )

WGAN 论文今年1月公布后马上引起了轰动,Ian Goodfellow 也在 reddit 上和网友们展开了热烈的讨论。不过在讨论中,还是有人反映 WGAN 存在训练困难、收敛速度慢等问题,WGAN 论文一作Martin Arjovsky也在 reddit 上表示自己意识到了,然后对 WGAN 做了进一步的改进。

改进后的论文为「 Improved Training of Wasserstein GANs 」。原来的 WGAN 中采用的 Lipschitz 限制的实现方法需要把判别器参数的绝对值截断到不超过固定常数 c,问题也就来自这里,作者的本意是避免判别器给出的分值区别太大,用较小的梯度配合生成器的学习;但是判别器还是会追求尽量大的分值区别,最后就导致参数的取值总是最大值或者最小值,浪费了网络优秀的拟合能力。改进后的 WGAN-GP 中更换为了梯度惩罚gradient penalty,判别器参数就能够学到合理的参数取值,从而显著提高训练速度,解决了原始WGAN收敛缓慢的问题,在实验中还第一次成功做到了“纯粹的”的文本GAN训练。(WGAN-GP详解参见雷锋网 AI 科技评论文章 掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展? )

Facebook 此次被 ICML 2017 接收的9篇论文里的另外8篇如下,欢迎感兴趣的读者下载阅读。

雷锋网 AI 科技评论会继续带来更多精彩论文和现场演讲报道,请继续关注。

掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展?

令人拍案叫绝的Wasserstein GAN

原创文章,未经授权禁止转载。详情见 转载须知 。

还记得Wasser 吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

全局中部横幅
广东省教育考试院

提供网站重要信息公开栏目及热门办事服务事项入口

数据

中国金融信息网数据频道提供全面,细致的全球财经日历、最新的全球宏观数据和世界经济事件,帮助用户及时了解全球经济动态。

长沙活动策划公司

湖南八喜广告制作有限公司是长沙集活动策划,广告设计制作、标识标牌、活动展览于一体的广告公司。公司主要经营范围为:长沙活动设计执行,庆典活动策划,团建活动执行,喷绘写真制作,形象墙制作,科室牌制作,舞台音响租赁,led显示屏租赁,招牌制作,发光字制作等,公司团队有多年实践经验,以高效的执行力,卓越的服务,帮助企业实现线上线下的营销目的。

验发票

验发票,专为企业内部财务人员使用的发票查询平台,关注“验发票”微信,即可集中扫描查验发票全量信息、提供发票查询、发票验证、发票验真、发票真伪查询、电子发票查重等服务。

摆摆塘

摆摆塘汇集了宝宝取名,男孩女孩名字,店铺名字,公司名称和网名大全为一体的网站。

广东昌福半导体有限公司

广东昌福半导体有限公司是一家从事半导体分立器件研发生产,销售和技术服务的专业制造商,工厂位于经贸发达的江苏连云港,我公司主要销售经营晶粒式、桥式整流器、硅整流二极管、快恢复二极管、肖特基二极管、避雷二极管、TVS管、贴片二极管、管芯及系列产品。

杭州中央空调

杭州实诺暖通工程有限公司,专业从事中央空调设计、销售、安装、维修、保养、移机、改造服务,为您提供一站式暖通解决方案,免费提供现场勘查、方案设计和报价,欢迎致电0571-82535674或18067936162添加微信snnt-zmx。主要代理销售格力、美的、天加中央空调,专注于中央空调暖通机电领域,为您的办公室、酒店、商铺、厂房车间等场所提供专业、优质、快捷的暖通安装、改造服务。

首页

首页中山市澳通农业发展有限公司

上海物流运输公司

上海普畅物流有限公司是行业具有实力的物流运输,货物运输,大件运输公司.我司配有齐全的运输车队,收费合理,全程提供透明化物流运输服务,按时送达,物流效率高,值得托付.如有货运,大件输运需求,请您来电咨询:16601900888.

日本AIPHONE爱峰代理商

AIPHONE爱峰代理商——深圳前景智能代理销售维护日本AIPHONE爱峰别墅型可视对讲,AIPHONE爱峰多栋楼宇可视对讲,AIPHONE爱峰商用办公大楼安保和通讯,AIPHONE爱峰医院呼叫系统,IP对讲,IP网络对讲

网龙网络控股有限公司

网龙网络控股有限公司(代码:00777.HK),中国网络游戏、移动互联网应用行业的领军者,也是中国在线教育、企业信息化行业的领先力量。网龙已跻身福布斯全球企业2000强,是国家规划布局的重点软件企业、国家文化产业示范基地、国家文化出口重点企业,“第六届全国文化企业30强”。两次荣膺《财富》杂志中国版卓越雇主――中国最适宜工作的公司,三次荣登《福布斯》“中国上市潜力企业榜100强”,其中2015年跃居第三。

全局底部横幅