不仅有Facebook参与 也果然被 ICML 还记得Wasserstein 接收 GAN吗 (不仅有发现美的眼睛,更有创造美的)

文章编号:45564 资讯动态 2024-12-09 ICMLGANFacebook2017机器学习

雷锋网 AI 科技评论按:FAcebook列出了自己的9篇 ICML 2017论文,Wasserstein GAN 赫然位列其中。

还记得Wasserstein GAN吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

ICML 2017 仍然在悉尼火热进行中,Facebook 研究院今天也发文介绍了自己的 ICML 论文。Facebook有9篇论文被 ICML 2017接收,这些论文的主题包括语言建模、优化和图像的无监督学习;另外 Facebook 还会共同参与组织Video Games and Machine Learning WorkShop

在9篇接收论文中,Facebook 自己最喜欢的是「 Wasserstein Generative Adversarial Networks 」(WGAN)这一篇,它也确实对整个机器学习界有巨大的影响力,今年也掀起过一阵 WGAN 的热潮。

Ian Goodfellow 提出的原始的 GAN 大家都非常熟悉了,利用对抗性的训练过程给生成式问题提供了很棒的解决方案,应用空间也非常广泛,从此之后基于GAN 框架做应用的论文层出不穷,但是 GAN 的训练困难、训练进程难以判断、生成样本缺乏多样性(mode collapse)等问题一直没有得到完善解决。 这篇 Facebook 和纽约大学库朗数学科学研究所的研究员们合作完成的 WGAN 论文就是众多尝试改进 GAN、解决它的问题的论文中具有里程碑意义的一篇。

WGAN 的作者们其实花了整整两篇论文才完全表达了自己的想法。在第一篇「Towards Principled Methods for Training Generative Adversarial Networks」里面推了一堆公式定理,从理论上分析了原始GAN的问题所在,从而针对性地给出了改进要点;在这第二篇「Wasserstein Generative Adversarial Networks」里面,又再从这个改进点出发推了一堆公式定理,最终给出了改进的算法实现流程。

还记得Wasserstein GAN吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

WGAN 成功地做到了以下爆炸性的几点:

而改进后相比原始GAN的算法实现流程却只改了四点:

所以数学学得好真的很重要,正是靠着对 GAN 的原理和问题的深入分析,才能够找到针对性的方法改进问题,而且最终的呈现也这么简单。( WGAN详解参见雷锋网 AI 科技评论文章 令人拍案叫绝的Wasserstein GAN )

WGAN 论文今年1月公布后马上引起了轰动,Ian Goodfellow 也在 reddit 上和网友们展开了热烈的讨论。不过在讨论中,还是有人反映 WGAN 存在训练困难、收敛速度慢等问题,WGAN 论文一作Martin Arjovsky也在 reddit 上表示自己意识到了,然后对 WGAN 做了进一步的改进。

改进后的论文为「 Improved Training of Wasserstein GANs 」。原来的 WGAN 中采用的 Lipschitz 限制的实现方法需要把判别器参数的绝对值截断到不超过固定常数 c,问题也就来自这里,作者的本意是避免判别器给出的分值区别太大,用较小的梯度配合生成器的学习;但是判别器还是会追求尽量大的分值区别,最后就导致参数的取值总是最大值或者最小值,浪费了网络优秀的拟合能力。改进后的 WGAN-GP 中更换为了梯度惩罚gradient penalty,判别器参数就能够学到合理的参数取值,从而显著提高训练速度,解决了原始WGAN收敛缓慢的问题,在实验中还第一次成功做到了“纯粹的”的文本GAN训练。(WGAN-GP详解参见雷锋网 AI 科技评论文章 掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展? )

Facebook 此次被 ICML 2017 接收的9篇论文里的另外8篇如下,欢迎感兴趣的读者下载阅读。

雷锋网 AI 科技评论会继续带来更多精彩论文和现场演讲报道,请继续关注

掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展?

令人拍案叫绝的Wasserstein GAN

原创文章,未经授权禁止转载。详情见 转载须知 。

还记得Wasserstein GAN吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

全局中部横幅
语音识别

百度语音识别,提供业界领先的技术,让您的应用长上耳朵.支持车载导航、智能家居、社交聊天、应用助手、娱乐游戏等,助力企业实现多场景智能语音交互.

快站

搜狐快站是一款可视化建站工具,包括拖拽生成页面,强大的内容管理,丰富美观的模板,适配所有移动设备,一键生成App等功能。我们还提供公众号管理、小程序制作等功能,满足电商、餐饮、娱乐、旅游、教育等多个行业的应用场景,是企业营销必备的强大工具类产品。

学习中的南桅

超级外链发布工具收集了几千个网址,其中包括IP查询、SEO综合信息查询、Alexa排名查询以及PR值查询等等网站,由于这些网站大多有查询记录显示功能,SEO外链工具利用各种查询网站留下你的链接,达到自动发外链的效果,可以被百度、谷歌、搜狗等搜索引擎快速收录,本站共为你推广9603条外链。

南京红森林食品有限公司

红森林创建于1993年,是集聚国内外资深糕点研发团队,致力于通过现烤烘焙馆和南京红森林食品有限公司、宣城市红森林食品有限责任公司、南京牧龙食品有限公司三大食品企业,打造烘焙梦工厂。

锅盖头软件

一个完全免费分享精品软件的网站,希望您分享给更多的人

环氧胶配方

禾川化学专业从事胶粘剂配方分析,成分分析,配方开发,提供环氧胶,丙烯酸胶,环氧AB胶,聚氨酯胶,热熔胶,有机硅胶,灌封胶,密封胶,导电胶等配方分析、成分分析、配方开发,为胶粘剂相关企业提供一站式技术服务。

机械5

机械5,机械图纸三维模型下载分享中心,专注机械工业设计,主要提供机械cad图纸、SolidWorks、Catia、Creo、Pro/E、UG/NX三维模型等技术资料的下载及浏览服务。

沧州振荣科技有限公司

公司主要从事保温隔热材料供应及保温设备隔热的定制开发。涉及到销售的主要隔热保温材质有玻璃纤维类、陶瓷纤维类等。以上纤维材质均可制造成纱线、布、带、编绳、扭绳、纸、板、毯等形式。在这些产品的基础上,我们还对产品进行再次加工使得更满足客户的需求,如烧结布、铝箔布、硅胶布、蛭石布等。联系电话:15010684699,徐经理。

义乌市正磊广告有限公司

正磊广告有限公司成立于2017年6月,喷绘写真加工部(广友喷绘写真加工部)成立于2004年5月,服务经验众多通过不断的技术创新,不断更新引进最先的设备,以始终保持在同行内的领先地位。

呆猫传奇

呆猫传奇自从2009年9月开始运营,坚持公正、稳定、信誉为本发展,打造经典传奇,树立形象品牌,得到了众多玩家的青睐.敬请关注更多官方动态。官方网站:www.daimao.cc

玖一视界网

玖一视界网是一个综合性新闻平台,致力于提供最新的新闻热点和要闻。我们覆盖财经、科技、经济等多个领域,为用户提供全面、深入的报道。无论是生活健康、体育赛事还是实时新闻,玖一视界网都能迅速更新,确保信息的时效性和准确性。我们的目标是成为您获取高质量新闻的首选来源,让您随时随地掌握世界动态。

全局底部横幅