必读 AI专家们推荐的 Part 论文 2 (ai 专家)

文章编号:36865 资讯动态 2024-11-30 论文推荐

译者:AI研习社( 季一帆 )

双语原文链接: ‘Must-Read’ AI Papers Suggested by Experts - Pt 2


AI专家们推荐的“必读”论文 【Part 2】

我们之前写了一篇文章,向大家推荐了一些AI必读论文,引起很好的反响。现在,我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满,各位推荐者都认为自己推荐的论文是AI人员必读的经典之作,不知各位读者怎么看。现在,我们来看看这次入选的是哪些论文吧!

不过在这之前,我还是向您推荐 我们之前的那一篇文章 ,那篇文章也绝对值得一读。

推荐人:MILA博士研究员,Alexia Jolicoeur-Martineau

f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization f-GAN: 使用变分散度最小化训练生成神经采样器

Alexia提出可以将若干分类器视为估计f散度,于是,GAN可以被解释为最小化估计和散度。在论文中,Microsoft Research的研究人员详细介绍了相关工作、论文方法和实验验证。 阅读原文 获取更多信息。

Sobolev GAN

本文将WGAN-GP中的梯度范数惩罚视为约束鉴别器,从而使其unit-ball具有梯度。论文的数学论证极其复杂,但我们只要记住,关键在于可以对鉴别器添加各种各样的约束。这些限制条件可以防止鉴别器过分严格。论文中的Table1非常重要,我曾数次翻阅该论文,只为查看Table1,该表显示了可用的各种不同约束。 阅读原文 获取更多信息。

推荐人:DeepMind高级研究员,Jane Wang

老实说,我并不会觉得有哪篇论文要比其他论文更重要,因为我认为所有论文都是相互依存的,而科学是协作的成果。但还是要说,就我个人而言,还是会更加偏爱一些论文的,从这些论文中我受益匪浅,但这并不是说其他论文不好。这只意味着,我个人比较喜欢以下两篇论文。

Where Do Rewards Come From?

本文提出了一种通用的奖励计算框架,在给定适应度函数和环境分布的情况下,该框架给出了最优奖励函数的概念。实验结果表明,在此最佳奖励函数中,传统的外在和内在行为概念均有体现。 阅读原文 了解更多信息。

推荐论文2: Building machines that learn and think like people (让机器向人类一样学习与思考)- Brenden Lake et al

本文回顾了认知科学的进展,表明要想实现真正像人类一样学习和思考的机器,需要当前研究的创新性改进。具体来说,我们认为这样的机器应具有以下能力:1)建立可解释的、可理解的世界因果模型,而不仅仅是解决模式识别问题;2)在物理学和心理学层面进行学习,以支持和丰富机器所学知识;3)利用相关性以及学会学习使机器快速获取知识,并扩展到新的任务和情况。 阅读原文 了解更多信息。

推荐人:WinterLight Labs机器学习负责人,Jekaterina Novikova

推荐论文1: Attention Is All You Need (“笨蛋”,根本问题是注意力)- Ashish Vaswani et al.

在NLP科学家于2017年提出" Attention is All You Need "之后,BERT或GPT-2 / 3等大型预训练语言模型如雨后春笋般出现。这些模型令人称奇的结果不仅引起了ML / NLP研究人员的强烈关注,在公众中也引起波澜。例如,2019年,OpenAI宣称GPT-2“太过危险而不能公开”,这说法简直让人抓狂,但事实是,GPT-2确实能够生成与真实新闻无法区分的假新闻。几周前发布的GPT-3甚至被称为“自比特币以来最大的新闻”。 阅读原文 了解更多信息。

推荐论文2: Climbing towards NLU: On Meaning, Form, and Understanding in the Age of>)- Emily M. Bender et al.

AI大热,但我希望向你泼点冷水,冷静下来好好看看2020年7月ACL会议的最佳主题论文-“迈向NLU:关于数据时代的意义,形式和理解”。作者认为,尽管现有模型(例如BERT或GPT)成果丰硕,但与人类相比,很难说它们是理解了语言及其含义。作者解释道,理解是人们在交流中,根据所说话语明白对话意图时发生的。这样,如果仅仅是语言文字,没有现实生活中的交互作用,则不可能学习和理解语言。换句话说,“从一定形式中是学习不到意义的”,这就是为什么即使巨大且复杂的语言模型也只是学习意义的“映射”,而不能了解意义本身。 阅读原文 了解更多信息。

推荐人:加拿大国家银行,AI科学首席顾问,Eric Charton

推荐论文1: The Computational Limits of Deep Learning (中的计算极限)- Johnson et al

麻省理工学院和IBM Watson Lab发表的这篇论文对DL出版文献进行汇总分析,介绍了DL模型训练计算量的增加与其性能表现间的相关性。同时论文指出,随着计算能力的提高,模型性能改善呈放缓趋势。 阅读原文 了解更多信息。

推荐论文2: Survey on deep learning with class imbalance(关于类别不平衡的DL综述). Journal of Big>

该论文汇总介绍了不同DL是如何处理类别不平衡问题,该问题存在于信用建模、欺诈检测或医学检测/癌症检测等各种工业应用中。论文对不同方法进行比较分析,并着重介绍了各种方法处理类别不平衡数据的差异,为进一步的研究指明方向, 阅读原文 了解更多信息。

推荐人:NASA,机器学习主管,Anirudh Koul

也许几年后回头看,人们会发现2020年似乎是自我监督元年。自监督学习就是用非标注数据进行预训练,然后在有限标注的下游任务进行微调。仅在2020年6月之前,众多SOTA被先后打破,包括但不限于PIRL,SimCLR,InfoMin,MOCO,MOCOv2,BYOL,SwAV,SimCLRv2等众多自监督学习方法引起广泛关注。通过以下这个例子来感受一下这些方法究竟多么让人称奇吧。仅仅使用不带标签的ImageNet,然后用1%的标签进行微调,SimCLRv2模型就可以在ImageNet数据集上实现92.3%的Top-5准确性。很神奇吧,仅仅1%的标注就可以取得这样令人满意的结果。对于缺少标注数据的领域如医学、卫星等来说,自监督学习就是这些领域应用的福音。

推荐论文: A Simple Framework for Contrastive Learning of Visual Representations (一个简单的图像表示对比学习框架)- Ting Chen et al

优秀的论文不仅实验严密、结果出色,而且还能简介明了的向读者清晰的表达自己的关键思想。SimCLR就是如此,简洁明了,效果出色,这使其成为对比学习领域最值得阅读论文之一。研究表明,在特定数据集中,通过数据增强策略获得更好的图像表示,对于对比学习至关重要。希望更多研究者关注到SimCLR,在X射线、MRI、音频、卫星图等领域推动该方法进一步的研究与发展。

推荐人:摩根士丹利副总裁,NLP/ML研究员,Oana Frunza

Revealing the Dark Secrets of BERT (BERT探秘)- Olga Kovaleva et al.

BERT Transformer结构极大推进了机器对文本数据的表示和理解能力,对于NLP的研究发展具有革命性的意义,可以说这就是NLP的“ImageNet”。Transformer架构的关键在于自我注意机制,“BERT揭秘”一文便对注意力的背后原理进行了探讨。

更准确地说,这项研究量化了注意力头捕获的语言信息,包括句法和语义关系等。此外,论文还进一步研究了自我注意模式的多样性及其对各种任务的影响。

该论文的研究聚焦于深层次理解强大的transformer架构,不仅利于推动该领域的进一步发展,而且有利于研究人员做出更明智的决策。也就是说,如果知道某些精简的小型体系结构会产生相似的性能,这就意味着在架构设计和空间占用方面有了更好的选择。

阅读原文 了解更多信息。

推荐人:捷豹路虎,高级数据科学家,Tamanna Haque

推荐书籍: Deep Learning with R (R语言)- François Chollet et al.

本文从概念到实践对深度学习进行详细介绍,对于理解深度学习具有重要帮助。由于黑匣子性质,神经网络不仅训练成本高昂,而且不具可解释性。同时,最近数据保护法规的更改将推动可解释AI的研究,神经网络受到挑战。

尽管如此,在某些商业应用中,只有神经网络才能有效地完成工作,因此掌握神经网络技术依然至关重要。在我使用R语言进行一年左右的深度学习研究与实践中,本书是我的良师益友,指导我熟练地使用神经网络并完成图像识别项目。

推荐人:伯克利数据科学学院,首席ML科学家兼ML/AI负责人,Mike Tamir

推荐论文1: Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference (错误的真正原因:自然语言推理中的启发式句法诊断)

我推荐的第一篇论文是MaCoy,Pavlick和Linzen的“错误的真正原因:自然语言推理中的启发式句法诊断”,论文表明transformer架构显著推动了自然语言推理等NLU任务的进步。在技术研究之外,“错误的真正原因”强调了基于当前数据集的系统缺陷,这在NLU任务中是致命漏洞。本论文将提醒AI从业者和研究人员保持清醒与理智。 阅读原文 了解更多信息。

推荐论文2: Emergence of Invariance and Disentanglement in Deep Representations (深度表示中的不变和解耦)

我推荐的第二篇论文是关于DL信息瓶颈分析的,也就是Achille和Soatto的研究成果“深度表示中的不变和解耦”, 阅读博客 了解详细信息。

推荐人:蒙特利尔AI伦理研究所,创始人,Abhishek Gupta

The State of AI Ethics Report

在蒙特利尔AI伦理研究所,我们一直在关注一些最具影响力的论文,这些论文不仅关注AI伦理的常见问题,而且基于经验科学并能指导实践。为此,我们将过去一个季度的工作整理成《 AI伦理道德报告,2020年6月 》,用于指导该领域的研究人员和从业人员在实践过程中遵守AI伦理责任。该报告的内容包括但不限于,NLP模型中对残疾人的社会偏见,YouTube反馈回路的潜在缺陷,AI治理,即在AI中实施道德规范的整体方法以及对抗性机器学习-行业观点。 阅读原文 了解更多信息。

AI系统与策略实验室,首席AI科学家,Jack Brzezinski

推荐论文:The Discipline of Machine Learning(机器学习学科建设)

~tom/pubs/MachineLearning.pdf

本文简要介绍了机器学习学科建设纲要,机器学习要解决的基本问题和与其他科学和社会的关系,以及进一步的发展方向。 阅读原文 了解更多信息。

AIRAmed,机器学习工程师,Diego Fioravanti

推荐论文: Overfitting (过拟合)

Diego认为AI人员要对“过拟合”有清晰完整的了解。本文涉及内容涵盖统计推断,回归等。 阅读原文 了解更多内容。


AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作,通过提供学习、实战和求职服务,为AI学术青年和开发者的交流互助和职业发展打造一站式平台,致力成为中国最大的科技创新人才聚集地。

如果,你也是位热爱分享的AI爱好者。欢迎与译站一起,学习新知,分享成长。

AI专家们推荐的“必读”论文 【Part 2】

版权文章,未经授权禁止转载。详情见 转载须知 。

AI专家们推荐的“必读”论文 【Part 2】

全局中部横幅
驾校学车网站

驾校学车网站排名,根据网站的综合值按照不同的驾校学车网站进行筛选排名结果,通过筛选驾校学车网站可以看到每个驾校学车网站里面的网站排名优质的网站是哪些

成都梦工厂网络信息有限公司

成都梦工厂网络信息有限公司(简称:成都梦工厂)成立于2002年12月,西南地区最大的游戏研发与运营企业。2009年6月,博瑞传播出资4.41亿元成功入主成都梦工厂,成都梦工厂成为多种盈利模式并存的互联网娱乐文化公司,倾力打造各类优秀的网游产品,并进一步为用户提供细致入微的娱乐体验。

正品云台「数字化引擎」

正品云台「数字化引擎」,是正品集团旗下广东正品信息科技有限公司推出的,企业一物一码数字化整体解决方案提供商(电话:400-7500-888)。提供从产线赋码、防伪、溯源、质保、渠道管控、私域运营、精准营销、智慧门店数字化营销管理服务。

百度安全服务平台

百度安全服务平台基于百度二十年安全实战经验,依托人工智能和大数据,面向企业及个人用户提供安全解决方案。替身式防御、管家式服务,让您的业务安全无忧。

阅读库365

阅读库365为你分享各种优质的文字内容。

沭阳中奥木业有限公司

江苏沭阳县中奥木业有限公司是沭阳县的专业生产高档覆膜建筑模板、全酚胶镜面建筑模板为主的企业。主营业务:建筑模板,工程模板,建筑木模板等。公司创立于2011年,坐落于沭阳县桑墟镇老庄经济开发区,位于京沪高速沭阳北出口20公里处,距连云港港口80公里,距连云港机场30公里、淮安机场60公里。咨询热线:13774273333

苏州芯特微电子科技有限公司

苏州芯特微电子科技有限公司,成立于2013年,是国内知名的电子器件集成供应链服务商。公司专注于电子器件行业,专业代理全球各大优秀品牌的全系列产品。

杭州破碎机

杭州费勒韦尔机械有限公司是一家专业从事破碎机,锤式破碎机,圆锥破碎机,反击式破碎机,鄂式破碎机,对辊破碎机等矿山成套设备制造的直销厂家,其破碎机生产线工艺完善,规格型号全,产品品质优良,售后服务良好,经济实惠,欢迎前来选购,咨询热线:13819157013

棉花糖直播

棉花糖直播致力于全民娱乐的互动直播平台,以同城的美女直播、情感陪伴、活动直播等,提供同城交友、陌生交友的互动体验。

南浔教育信息网

南浔区教育信息中心(南浔区电化教育馆)

全局底部横幅