必读 AI专家们推荐的 Part 论文 2 (ai 专家)

文章编号:36865 资讯动态 2024-11-30 论文推荐

译者:AI研习社( 季一帆 )

双语原文链接: ‘Must-Read’ AI Papers Suggested by Experts - Pt 2


AI专家们推荐的“必读”论文 【Part 2】

我们之前写了一篇文章,向大家推荐了一些AI必读论文,引起很好的反响。现在,我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满,各位推荐者都认为自己推荐的论文是AI人员必读的经典之作,不知各位读者怎么看。现在,我们来看看这次入选的是哪些论文吧!

不过在这之前,我还是向您推荐 我们之前的那一篇文章 ,那篇文章也绝对值得一读。

推荐人:MILA博士研究员,Alexia Jolicoeur-Martineau

f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization f-GAN: 使用变分散度最小化训练生成神经采样器

Alexia提出可以将若干分类器视为估计f散度,于是,GAN可以被解释为最小化估计和散度。在论文中,Microsoft Research的研究人员详细介绍了相关工作、论文方法和实验验证。 阅读原文 获取更多信息

Sobolev GAN

本文将WGAN-GP中的梯度范数惩罚视为约束鉴别器,从而使其unit-ball具有梯度。论文的数学论证极其复杂,但我们只要记住,关键在于可以对鉴别器添加各种各样的约束。这些限制条件可以防止鉴别器过分严格。论文中的Table1非常重要,我曾数次翻阅该论文,只为查看Table1,该表显示了可用的各种不同约束。 阅读原文 获取更多信息。

推荐人:DeepMind高级研究员,Jane WANg

老实说,我并不会觉得有哪篇论文要比其他论文更重要,因为我认为所有论文都是相互依存的,而科学是协作的成果。但还是要说,就我个人而言,还是会更加偏爱一些论文的,从这些论文中我受益匪浅,但这并不是说其他论文不好。这只意味着,我个人比较喜欢以下两篇论文。

Where Do Rewards Come From?

本文提出了一种通用的奖励计算框架,在给定适应度函数和环境分布的情况下,该框架给出了最优奖励函数的概念。实验结果表明,在此最佳奖励函数中,传统的外在和内在行为概念均有体现。 阅读原文 了解更多信息。

推荐论文2: Building Machines that learn and think like people (让机器向人类一样学习与思考)- Brenden Lake et al

本文回顾了认知科学的进展,表明要想实现真正像人类一样学习和思考的机器,需要当前研究的创新性改进。具体来说,我们认为这样的机器应具有以下能力:1)建立可解释的、可理解的世界因果模型,而不仅仅是解决模式识别问题;2)在物理学和心理学层面进行学习,以支持和丰富机器所学知识;3)利用相关性以及学会学习使机器快速获取知识,并扩展到新的任务和情况。 阅读原文 了解更多信息。

推荐人:WinterLight labs机器学习负责人,Jekaterina Novikova

推荐论文1: Attention Is All You Need (“笨蛋”,根本问题是注意力)- Ashish Vaswani et al.

在NLP科学家于2017年提出" Attention is All You Need "之后,BERT或GPT-2 / 3等大型预训练语言模型如雨后春笋般出现。这些模型令人称奇的结果不仅引起了ML / NLP研究人员的强烈关注,在公众中也引起波澜。例如,2019年,OpenAI宣称GPT-2“太过危险而不能公开”,这说法简直让人抓狂,但事实是,GPT-2确实能够生成与真实新闻无法区分的假新闻。几周前发布的GPT-3甚至被称为“自比特币以来最大的新闻”。 阅读原文 了解更多信息。

推荐论文2: Climbing towards NLU: On Meaning, Form, and Understanding in the Age of>)- Emily M. Bender et al.

AI大热,但我希望向你泼点冷水,冷静下来好好看看2020年7月ACL会议的最佳主题论文-“迈向NLU:关于数据时代的意义,形式和理解”。作者认为,尽管现有模型(例如BERT或GPT)成果丰硕,但与人类相比,很难说它们是理解了语言及其含义。作者解释道,理解是人们在交流中,根据所说话语明白对话意图时发生的。这样,如果仅仅是语言文字,没有现实生活中的交互作用,则不可能学习和理解语言。换句话说,“从一定形式中是学习不到意义的”,这就是为什么即使巨大且复杂的语言模型也只是学习意义的“映射”,而不能了解意义本身。 阅读原文 了解更多信息。

推荐人:加拿大国家银行,AI科学首席顾问,Eric Charton

推荐论文1: The Computational Limits of Deep Learning (中的计算极限)- Johnson et al

麻省理工学院和IBM Watson Lab发表的这篇论文对DL出版文献进行汇总分析,介绍了DL模型训练计算量的增加与其性能表现间的相关性。同时论文指出,随着计算能力的提高,模型性能改善呈放缓趋势。 阅读原文 了解更多信息。

推荐论文2: Survey on deep learning with class imbalance(关于类别不平衡的DL综述). Journal of Big>

该论文汇总介绍了不同DL是如何处理类别不平衡问题,该问题存在于信用建模、欺诈检测或医学检测/癌症检测等各种工业应用中。论文对不同方法进行比较分析,并着重介绍了各种方法处理类别不平衡数据的差异,为进一步的研究指明方向, 阅读原文 了解更多信息。

推荐人:NASA,机器学习主管,Anirudh Koul

也许几年后回头看,人们会发现2020年似乎是自我监督元年。自监督学习就是用非标注数据进行预训练,然后在有限标注的下游任务进行微调。仅在2020年6月之前,众多SOTA被先后打破,包括但不限于PIRL,SimCLR,InfoMin,MOCO,MOCOv2,BYOL,SwAV,SimCLRv2等众多自监督学习方法引起广泛关注。通过以下这个例子来感受一下这些方法究竟多么让人称奇吧。仅仅使用不带标签的ImageNet,然后用1%的标签进行微调,SimCLRv2模型就可以在ImageNet数据集上实现92.3%的Top-5准确性。很神奇吧,仅仅1%的标注就可以取得这样令人满意的结果。对于缺少标注数据的领域如医学、卫星等来说,自监督学习就是这些领域应用的福音。

推荐论文: A Simple Framework for Contrastive Learning of Visual Representations (一个简单的图像表示对比学习框架)- Ting Chen et al

优秀的论文不仅实验严密、结果出色,而且还能简介明了的向读者清晰的表达自己的关键思想。SimCLR就是如此,简洁明了,效果出色,这使其成为对比学习领域最值得阅读论文之一。研究表明,在特定数据集中,通过数据增强策略获得更好的图像表示,对于对比学习至关重要。希望更多研究者关注到SimCLR,在X射线、MRI、音频、卫星图等领域推动该方法进一步的研究与发展。

推荐人:摩根士丹利副总裁,NLP/ML研究员,Oana Frunza

Revealing the Dark Secrets of BERT (BERT探秘)- Olga Kovaleva et al.

BERT Transformer结构极大推进了机器对文本数据的表示和理解能力,对于NLP的研究发展具有革命性的意义,可以说这就是NLP的“ImageNet”。Transformer架构的关键在于自我注意机制,“BERT揭秘”一文便对注意力的背后原理进行了探讨。

更准确地说,这项研究量化了注意力头捕获的语言信息,包括句法和语义关系等。此外,论文还进一步研究了自我注意模式的多样性及其对各种任务的影响。

该论文的研究聚焦于深层次理解强大的transformer架构,不仅利于推动该领域的进一步发展,而且有利于研究人员做出更明智的决策。也就是说,如果知道某些精简的小型体系结构会产生相似的性能,这就意味着在架构设计和空间占用方面有了更好的选择。

阅读原文 了解更多信息。

推荐人:捷豹路虎,高级数据科学家,Tamanna Haque

推荐书籍: Deep Learning with R (R语言)- François Chollet et al.

本文从概念到实践对深度学习进行详细介绍,对于理解深度学习具有重要帮助。由于黑匣子性质,神经网络不仅训练成本高昂,而且不具可解释性。同时,最近数据保护法规的更改将推动可解释AI的研究,神经网络受到挑战。

尽管如此,在某些商业应用中,只有神经网络才能有效地完成工作,因此掌握神经网络技术依然至关重要。在我使用R语言进行一年左右的深度学习研究与实践中,本书是我的良师益友,指导我熟练地使用神经网络并完成图像识别项目。

推荐人:伯克利数据科学学院,首席ML科学家兼ML/AI负责人,Mike Tamir

推荐论文1: Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference (错误的真正原因:自然语言推理中的启发式句法诊断)

我推荐的第一篇论文是MaCoy,Pavlick和Linzen的“错误的真正原因:自然语言推理中的启发式句法诊断”,论文表明transformer架构显著推动了自然语言推理等NLU任务的进步。在技术研究之外,“错误的真正原因”强调了基于当前数据集的系统缺陷,这在NLU任务中是致命漏洞。本论文将提醒AI从业者和研究人员保持清醒与理智。 阅读原文 了解更多信息。

推荐论文2: Emergence of Invariance and Disentanglement in Deep Representations (深度表示中的不变和解耦)

我推荐的第二篇论文是关于DL信息瓶颈分析的,也就是Achille和Soatto的研究成果“深度表示中的不变和解耦”, 阅读博客 了解详细信息。

推荐人:蒙特利尔AI伦理研究所,创始人,Abhishek Gupta

The State of AI Ethics Report

在蒙特利尔AI伦理研究所,我们一直在关注一些最具影响力的论文,这些论文不仅关注AI伦理的常见问题,而且基于经验科学并能指导实践。为此,我们将过去一个季度的工作整理成《 AI伦理道德报告,2020年6月 》,用于指导该领域的研究人员和从业人员在实践过程中遵守AI伦理责任。该报告的内容包括但不限于,NLP模型中对残疾人的社会偏见,YouTube反馈回路的潜在缺陷,AI治理,即在AI中实施道德规范的整体方法以及对抗性机器学习-行业观点。 阅读原文 了解更多信息。

AI系统与策略实验室,首席AI科学家,Jack Brzezinski

推荐论文:The Discipline of Machine Learning(机器学习学科建设)

~tom/pubs/MachineLearning.pdf

本文简要介绍了机器学习学科建设纲要,机器学习要解决的基本问题和与其他科学和社会的关系,以及进一步的发展方向。 阅读原文 了解更多信息。

AIRAmed,机器学习工程师,Diego Fioravanti

推荐论文: Overfitting (过拟合)

Diego认为AI人员要对“过拟合”有清晰完整的了解。本文涉及内容涵盖统计推断,回归等。 阅读原文 了解更多内容。


AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作,通过提供学习、实战和求职服务,为AI学术青年和开发者的交流互助和职业发展打造一站式平台,致力成为中国最大的科技创新人才聚集地。

如果,你也是位热爱分享的AI爱好者。欢迎与译站一起,学习新知,分享成长。

AI专家们推荐的“必读”论文 【Part 2】

版权文章,未经授权禁止转载。详情见 转载须知 。

AI专家们推荐的“必读”论文 【Part 2】

全局中部横幅
豆果美食

豆果美食是最优质的美食菜谱社区,提供各种菜谱大全,食谱大全,家常菜做法大全,丰富的菜谱大全可以让您轻松地学会怎么做美食,展现自己的高超厨艺,开启美好生活!

什么值得买

什么值得买是千万用户热爱的科学消费指南,以“独立思考、高效决策、利他共享、真知灼见”为核心价值,主张“科学消费,认真生活”。

苏州知己物业清洁服务有限公司

苏州知己清洁是一家专业从事驻场保洁托管外包、无尘室清洁、开荒保洁为主营业务的保洁公司;目前覆盖范围主要有苏州、昆山、张家港、太仓、吴江等拥有多个分支机构和办事处。公司的业务还包括:长期定期保洁,办公室保洁,洁净室等级保洁,防静电打蜡,物业保洁服务,日常保洁外包,工厂保洁,地面清洗打蜡,地毯清洗等。公司拥有的技术、设备、管理和清洁团队,丰富的经验和技术实力,为客户提供的清洁及解决方案,欢迎社会各界朋友光临本公司或电话业务洽谈

中国数字科技馆

中国数字科技馆是中国科协、教育部、中科院共建的一个基于互联网传播的国家级公益性科普服务平台

伸缩器,非金属膨胀节,橡胶套筒补偿器,伸缩接头,防水套管

郑州华德供水材料有限公司(18738118588)是一家致力于套筒补偿器,防水套管,橡胶伸缩接头以及橡胶补偿器的生产批发厂家,公司率先实施标准化为基础的生产定制模式,以合理的价格,优质的服务与您携手共谋发展.

电缆沟盖板

山东盖无双建材有限公司为客户提供定制生产:电缆沟盖板、高分子复合电缆沟盖板、隧道盖板、高铁盖板、扣槽盖板、打孔盖板、高速盖板、球墨铸铁井盖、球墨铸铁盖板、隐形井盖、树脂井盖、种植井盖、彩色井盖、水沟盖板、雨水篦子、树池篦子、树脂篦子、等多种产品。

深圳复盛空压机

深圳市耀荣机电设备有限公司是复盛集团在华南地区设立的专业代理、销售及维修服务的复盛空压机经销商。多年以来经复盛公司层层培训、严格考核以及自身刻苦细致的工作实践,我公司拥有一支专业知识性强、经验丰富的服务团队,能为广大用户提供高效、优质、全面的服务。

励志正能量句子

素知短文学_本站整理当下流行的古风干净文艺短句,祝福短信最温馨的话,带刺高冷短句,套路情话一问一答,高冷短句霸气十足,文艺短句惊艳,突然间看透一切的说说,初中生优美段落摘抄,祝福短信客户,干净治愈文案短句,特别高级的土味情话等。

泉港区纪委监委网

中共泉港区纪律检查委员会泉港区监察委员会

玩具网,玩具批发,

玩具巴巴是每天点击率超10万的专业玩具B2B网站,每天有近千款新产品上架,是全球玩具采购商每天采购产品的工具。共有160704只玩具产品,279556家玩具企业,456个玩具分类;主营:遥控玩具、电动玩具、积木玩具、兵器玩具、夏日玩具、惯性玩具、上链玩具、过家家玩具、娃娃玩具、回力玩具、线控玩具、拉线玩具、地摊玩具、益智玩具、体育玩具、家庭用品玩具、动植物玩具、闪光玩具、合金玩具、力控玩具、音乐玩具|乐器玩具、儿童玩具|婴儿玩具、游戏玩具、声控玩具、新奇玩具、变形玩具、军事玩具、动漫玩具|影视玩具

全局底部横幅