ACL 2020 亮点摘要 (acl2024)
字幕组双语原文： ACL 2020 亮点摘要
英语原文： Highlights of ACL 2020
翻译：雷锋字幕组（ 唐里 、 张超726 、 情报理论与实践 、）
今年国际计算语言学协会(ACL)变为线上举办了，很遗憾我没多少机会去和其他学者交流，和同事们叙叙旧，但是遗憾之余值得庆幸的是我也相比平时听了更多讲座。因此我决定将我做的笔记分享出来并讨论一些行业总体趋势。本文不会对 ACL 进行详尽的介绍，内容的选择也是完全基于本人的兴趣。同时我也非常推荐读者看一看最佳论文。
近年来整体趋势
在根据我自身参与的讲座来讨论研究趋势之前（当然参与讲座数量有限，会存在误差），让我们来看一看ACL网页上的一些整体数据吧。今年收到交稿量最多的方向分别是通过机器学习处理自然语言，对话和交互系统，机器翻译，信息提取和自然语言处理的应用及生成。
上图是每个研究方向提交稿件的数量
这些数据相比往年怎么样呢？下图显示了从2010年后每个方向论文数量的变化。图源 Wanxiang Che
总的来说，论文有从基础任务到高级任务发展的趋势，例如从通过单词级，句子级语义和语篇的句法，过渡到对话。机器学习方向研究也正稳步增加，越来越多的文章提出具有普遍性目标的模型，而这些模型都基于多个任务来衡量。
ACL 2020 趋势
“我调整了基于某任务的BERT模型，然后在某评价标准下表现更好了”这类论文更少了
在自然语言处理研究有个反复出现的模式，1. 介绍一个新模型；2. 通过改进模型，或者将其应用于多任务实现一些容易的目标然后发表；3. 发表文章分析其不足之处或缺陷；4. 发表新的数据集。尽管某些步骤可能同时进行，我得说我们现在就处于2和3之间。小标题的结论是基于我选择的论文得出的，而我很大程度上过滤掉了这类文章。所以或许换一种说法，那就是今年ACL 2020 还是有挺多文章不是这一类型的。
不再依赖大型已标注数据集
在过去两年中我们可以发现研究向这些步骤靠近，先基于无标记文本的自监督方法进行预训练然后在更小的具体任务数据上微调。在今年会议上，很多论文聚焦于更少监督的训练模型。这有一些替代方案，及其示例论文：
无监督方法： Yadav等人 提出了一个基于检索的问答方法，这种方法可以迭代地将询问提炼到1KB来检索回答问题的一些线索。在常识类多选任务上通过计算每个选项的合理性得分（利用Masked LM）, Tamborrino等人 取得了令人欣喜的成果。
数据增强(Data augmentation)： Fabbri等人 提出了一种方法可以自动生成上下文，问题和回答三合一的形式来训练问答模型。他们首先检索和原始数据相似的上下文，生成回答：是或否，并且以问句形式向上下文提问（what, when, who之类开头的问句）然后基于这三件套训练模型。 Jacob Andreas 提出将不常见的短语替换为在相似语境下更常用的短语从而改进神经网络中的组合泛化能力。 Asai和Hajishirzi 用人工例子增加问答训练数据，这些例子都是从原始训练数据中按逻辑衍生出来用以加强系统性和传递一致性。
元学习(Meta learning)： Yu等人 利用元学习去迁移知识用以从高源语言(high-resource language)到低源语言(low-resource language)的上义关系检测。
主动学习(Active learning)： Li等人 搭建了一个高效的标注框架，通过主动学习选取最有价值的样本进行批注进行共指关系解析。
语言模型并不是你所需要的全部ーー检索又回来了
我们已经知道，语言模型的知识是缺乏和不准确的。在这次会议上，来自 Kassner and Schütze 和 Allyson Ettinger 的论文表明某些语言模型对否定不敏感，并且容易被错误的探针或相关但不正确的答案混淆。目前采用了多种解决方案：
检索：在Repl4NLP研讨会上的两次受邀演讲中，有两次提到了检索增强的LMs。 Kristina Toutanova谈到了谷歌的 智能领域 ，以及如何用实体知识来增强LMs(例如， 这里 和 这里 )。 Mike Lewis谈到了改进事实知识预测的最近 邻LM模型 ，以及Facebook的将生成器与检索组件相结合的 RAG模型 。
使用外部知识库：这已经普遍使用好几年了。 Guan等人 利用常识知识库中的知识来增强用于常识任务的GPT-2模型。 Wu等人 使用这样的知识库生成对话。
用新的能力增强 LMs： Zhou 等人 训练了一个 LM，通过使用带有模式和 SRL 的训练实例来获取时间知识(例如事件的频率和事件的持续时间) ，这些训练实例是通过使用带有模式和 SRL 的信息抽取来获得的。 Geva 和 Gupta 通过对使用模板和需要对数字进行推理的文本数据生成的数值数据进行微调，将数值技能注入 BERT 中。
可解释 NLP
检查注意力权重今年看起来已经不流行了，取而代之的关注重点是生成文本依据，尤其是那些能够反映判别模型决策的依据。 Kumar 和 Talukdar 提出了一种为自然语言推断（NLI）预测忠实解释的方法，其方法是为每个标签预测候选解释，然后使用它们来预测标签。等人 开发了一种忠实的解释模型，其依赖于事后归因（post-hoc）的解释方法（这并不一定忠实）和启发式方法来生成训练数据。为了评估解释模型， Hase 和 Bansa 提出通过测量用户的能力，在有或没有给定解释的前提下来预测模型的行为。
反思NLP的当前成就，局限性以及对未来的思考
ACL今年有一个主题类别，主题是“通观现状与展望未来”。
我们求解的是数据集，而不是任务。在过去的几年中，这种说法反复出现，但是如今，我们的主要范式是训练庞大的模型，并在与我们的训练集非常相似的众包测试集上对其进行评估。荣誉主题奖论文作者塔尔·林岑（）认为，我们在大量数据上训练模型，这些数据可能无法从人们可用的数据量中学到任何东西，而且这些模型在人类可能认为不相关的数据中找到统计模式。 他建议，今后，我们应该标准化中等规模的预训练语料库，使用专家创建的评估集，并奖励成功的一次性学习。
凯西·麦基翁（Kathy McKeown）的精彩主题演讲也谈到了这一点，并补充说排行榜并不总是对推动这一领域有所帮助。 基准通常会占据分布的顶端，而我们需要关注分布的尾部。 此外，很难使用通用模型（例如LM）来分析特定任务的进步。 在她的终身成就奖访谈中，邦妮·韦伯强调需要查看数据并分析模型错误。 即使是一些琐碎的事情，比如同时查看精确度和回忆，而不是只查看F1的总分，也可以帮助理解model s的弱点和长处。
当前模型和数据存在固有的局限性。 邦妮还说，神经网络能够解决不需要深入理解的任务，但是更具挑战性的目标是识别隐含的含义和世界知识。 除上述论文外，几篇论文还揭示了当前模型的局限性：例如， Yanaka等人 。 和 Goodwin等 指出神经NLU模型缺乏系统性，几乎不能概括学习到的语义现象。 艾米莉·班德（Emily Bender）和亚历山大·科勒（Alexander Koller） 的最佳主题论文认为，仅从形式上学习意义是不可能的。 Bisk等人在预印本中也提出了类似的要求。 提倡使用多种方式学习意义。
我们需要远离分类任务。 近年来，我们已经看到了许多证据，证明分类和多项选择任务很容易进行，并且模型可以通过学习浅层的数据特定模式来达到较高的准确性。 另一方面，生成任务很难评估，人类评估目前是唯一的信息量度，但是却很昂贵。 作为分类的替代方法，Chen等。 将NLI任务从三向分类转换为较软的概率任务，旨在回答以下问题：“在假设前提下，假设成立的可能性有多大？”。 Pavlick和Kwiatkowski进一步表明，即使是人类也不同意某些句子对的并列标签，并且在某些情况下，不同的解释可以证明不同的标签合理（并且平均注释可能会导致错误）。
我们需要学习处理歧义和不确定性。 Ellie Pavlick在Repl4NLP上的演讲讨论了在明确定义语义研究目标方面的挑战。 将语言理论天真地转换为NLI样式的任务注定会失败，因为语言是在更广泛的上下文中定位和扎根的。 盖·艾默生（Guy Emerson）定义了分布语义的期望属性，其中之一是捕获不确定性。 冯等。 设计的对话框响应任务和模型，其中包括“以上皆非”响应。 最后，Trott等 指出，尽管语义任务关注的是识别两种话语具有相同的含义，但识别措辞上的差异如何影响含义也很重要。
有关道德伦理的讨论（很复杂）
ACL 在道德伦理方面的进步是非常显著的。前几年，NLP 中道德伦理还少有人研究，但如今却已然是 ACL 的一大类别，而且我们所有人在提交其它类别的论文时也都会考虑伦理道德。事实上，我们这个社区现在开始转向批评那些探讨重要的公平性问题而同时又未能解决其它道德伦理考虑的论文。
我强烈推荐观看 Rachael Tatman 在 WiNLP 研讨会上洞见深入的主题演讲「What I Won’t build（我不会构建的东西）」。Rachael 说明了她个人不会参与构建的那几类系统，包括监控系统、欺骗与其交互的用户的系统、社会类别监测系统。她提供了一个问题列表，研究者可用来决定是否应该构建某个系统：
Leins et al. 提出了许多有趣但仍待解答的道德伦理问题，比如符合道德伦理的 NLP 研究是怎样的，这应该由谁、通过什么方式决定？模型的预测结果应该由谁负责？ACL 应该尝试将自己定位为道德卫士吗？这篇论文讨论的问题之一是模型的双重使用问题：一个模型既可以用于好的目的，也可以用于坏的目的。事实上，会议期间，针对 Li et al. 的最佳展示论文发生了一场 Twitter 争论（很不幸该争论由一个匿名账号主导）。该论文提出了一个出色的多媒体知识提取系统。
其它值得关注的论文
本文作者还列举其它一些不属于以上类别的论文。
Cocos and Callison-Burch 创建了一个大规模的标注了含义的句子资源，其中的含义是通过同等含义的词进行标注的，比如 bug-microphone 中 bug 是个多义词，这里使用 microphone 进行标注，就固定了其小型麦克风 / 窃听器的含义，而非虫子的含义。
Wolfson et al. 将问题理解引入为一个单独的任务，其按照人类的方式通过将复杂问题分解为更简单的问题来进行解答。
Gonen et al. 提出了一种用于测量词义变化的非常直观和可解释的方法，其具体做法为检查词分布的最近邻。
Anastasopoulos and Neubig 表明尽管使用英语作为中心语言来进行跨语言嵌入学习是最佳实践，但却往往是次优的；该论文提议了一些用于选择更优中心语言的一般原则。
最后，Zhang et al. 众包了 Winograd 模式挑战赛的解释，并分析了解决该任务所需的知识类型以及现有模型在每种类别上的成功程度。
总结和思考
这些论文和主题演讲给我带来一种感觉，尽管过去几年取得了巨大的进步，但我们还没有走上正确的方向，也没有一条非常可行的前进道路。 我认为主题类别的变化具有正面意义，这能鼓励研究者不执着于容易取得的小进步，而是着眼大局。
我喜欢能够在自己的时间里(以喜欢的速度)观看这么多演讲，但这样也确实错过了与其他学者的互动，我不认为与不同时区的参与者呆在一个虚拟聊天室里是一个很好的替代方案。我真的希望疫情之后，会议将再次线下举行，但希望同时也允许人们以更低的注册费用远程参会。
希望明年能看到你们排着队买难喝的咖啡！（译者：笑）
雷锋字幕组是一个由AI爱好者组成的翻译团队，汇聚五五多位志愿者的力量，分享最新的海外AI资讯，交流关于人工智能技术领域的行业转变与技术创新的见解。
团队成员有大数据专家，算法工程师，图像处理工程师，产品经理，产品运营，IT咨询人，在校师生；志愿者们来自IBM，AVL，Adobe，阿里，百度等知名企业，北大，清华，港大，中科院，南卡罗莱纳大学，早稻田大学等海内外高校研究所。
如果，你也是位热爱分享的AI爱好者。欢迎与雷锋字幕组一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
天通苑社区网(ttysq.com)建于2003年,是北京天通苑官方社区论坛,是规模大、分类全的便民生活网,提供二手交易、商城、黄页、团购、物业等服务。
“时尚甄选RobbReportLifestyle”作为时尚传媒集团旗下具有影响力的高端生活方式第一媒体品牌，继承母版RobbReport理念。内容从产品出发，涵盖汽车、游艇、公务机、腕表、珠宝、时装、酒店、旅行、美食、美酒、地产、家居、美容、艺术和人物等不同生活方式及领域，为用户深度解析产品信息和行业动态，汇总潮流与趋势，制订优质体验服务与购买方案，提供丰富可靠的私人消费指南。
hao123是汇集全网优质网址及资源的中文上网导航。及时收录影视、音乐、小说、游戏等分类的网址和内容，让您的网络生活更简单精彩。上网，从hao123开始。
永嘉县英科泵阀有限公司(www.ylkbf.com)是国内外专业的内外螺纹截止阀,杠杆式蒸汽疏水阀,防爆不锈钢电磁阀,排污球阀生产(供应)商，公司产品畅销全国各地，由于产品的设计合理、工艺先进、性能可靠及质量稳定、深受广大用户的信赖和好评。
北京格雷时尚科技有限公司（简称“格雷集团”）前身是成立于1994年的北京威克多制衣中心，以服装为主营业务，是国家高新技术企业、北京市重点总部企业、工信部确定的重点跟踪培育的中国服装家纺自主品牌企业、国家级两化融合管理体系贯标试点企业。公司现有员工3100人。
江南下载站专注APP软件游戏下载分享，每天更新大量好玩有趣的APP软件和游戏，还有很多有用的游戏攻略以及资讯！
包装材料，盛康科技，珍珠棉，打包带，珍珠棉卷材
【天佑高迈石笼网】实体厂家生产锌铝合金石笼网,覆塑石笼网,镀高尔凡石笼网,PVC石笼网,铅丝石笼网,高镀锌石笼网箱,铁丝石笼网,钢丝石笼网,石笼网挡土墙,护坡石笼网等系列产品。厂家现货供应电话：153-8339-5639。
安徽文广知识产权代理有限公司是一家专业从事商标续展,商标转让,商标复审,商标变更,发明专利,外观设计专利,实用新型专利,版权代理,软件著作权代理,项目申报,高新技术企业认定等综合性知识产权服务平台。
汇珠科技（上海）有限公司是国内专业研究开发、应用、技术服务、OEM为一体树脂企业。公司主要产品有离子交换树脂,阳离子交换树脂,阴离子交换树脂,吸附树脂,抛光树脂等产品。电话：021-59936779
本网站是为广大车主用户、前装汽车厂商、后装导航厂商提供了解amapauto（高德地图车机版）产品的官方网站。第一时间发布官方信息，让用户了解产品情况，查看产品介绍；网站还免费提供产品的版本下载、地图数据下载等服务；除此之外，用户还可以在此处针对产品进行交流。
千寻互动，台州网站建设、网站制作、网站设计，我们更专业！集9年互联网营销经验之大成，服务于3600多家重点企事业单位，是一家集家集策略咨询、创意创新、视觉设计、技术研发、内容制造、营销推广为一的综合型数字化创新服务企业
如今，市面上的披萨品牌众多，一些对披萨这个行业感兴趣的创业者们，想要知道全国十大披萨加盟店排行榜的大致情况介绍，下面就一起跟随小编往下看看吧，1、叫板披萨叫板披萨为了产品的质量，品牌引进了先进的生产设备和技术，不断改进工艺流程，并且严格控制生产环境和生产过程，产品的质量，因此得到了广大消费者的点头称赞，在未来的时间里，品牌的成员们还将...。
字幕组双语原文，精读，Transformer模型深度解读英语原文，TheAnnotatedTransformerfromIPython.displayimportImageImage，filename=images，aiayn.png，在过去的一年里，，注意力就是你所需要的，中的Transformer被很多人所关注，除了在翻译质量上...。
2016年9月，国内首台公安智能安保机器人AnBot，中文名，深圳小安，在深圳机场正式上岗，24小时自动巡逻，并配备了电防暴叉、电击枪的深圳小安立刻受到了一众国内外媒体的关注，其实，它还可以进行智能语音交互，回答关于补办身份信息、航班动态等方面的提问，小安的语音交互系统使用的是灵聚智能的技术，深圳小安机器人，成立于2013年6月的...。
2017年开始，AI浪潮开始席卷教育行业，AI技术已然渗透了教育的各个场景和环节，图像识别与OCR技术可以帮助纸质教育材料实现数字化、拍照搜题、作业自动批改；语音识别技术可以帮助指出和纠正错误发音，让每个人都有一对一的语言老师；自然语言处理可以用于英语作文批改，中文分级阅读等；人脸识别可以刷脸进入校园，考场，提升校园安全和教务管理效率...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，雷锋网AI科技评论按，2019年12月8日，14日，机器学习领域国际顶级会议NeurIPS2019于加拿大温哥华拉开帷幕，此次大会共吸引了全球1万余名专家学者共赴盛会，本年度，自然语言处理领域在深度学习浪潮下取得了显著成就，成为大会重要议题之一，百度举办了自然语言处...。
雷锋网AI科技评论按，2018年，AI研习社又为大家呈上了一系列公开课，AI研习社的粉丝们也再度与我们相伴走过了一年，作为一个针对AI开发者的公开课类目，，猿桌会，自去年推出以来广受各位的喜爱，在今年雷锋网AI研习社依旧以最饱满的诚意为大家邀请了领域内的各路大神进行分享，具体内容涵盖深度学习开源框架、神经网络调参和优化、开发语言使用技...。
向左走，还是向右走，近日，面部识别技术又遭遇，突发事件，本周二，由90个倡议团体组成的小组给三巨头AAM，亚马逊、谷歌、微软，写信，要求三家公司承诺不向政府出售面部识别技术，其中，这些团体中包括了美国公民自由联盟ACLU、难民移民教育和法律服务中心RAICES、电子前沿基金会EFF等重要组织，这封信一经公布，给予三家巨头公司非常大的...。
独家确认，AI芯片创业公司墨芯人工智能，MoffettAI，联合创始人兼首席架构师肖志斌已经离职2个月，离职后他将专注于AI大模型软件及系统层面的工作，目前暂不清楚接替肖志斌的人选，肖志斌是美国加州大学戴维斯分校电气工程博士，曾任职于德州仪器、Oracle，Sun和阿里巴巴达摩院等知名企业，担任核心架构师和研究员，主持和参与了多...。
疫情之后，，旧的世界，将不复存在线上直播将成为学术交流的重要形式2020年4月3日，NLP顶会ACL2020公布录用论文之后，AI科技评论相继与哈工大、复旦大学联合举办两期，ACL系列解读，直播活动，受到广大师生的好评，第一期，ACL2020，哈工大SCIR系列解读第二期，ACL2020，复旦大学系列解读在此基础上，我们在此联合清华大...。
雷锋网按，本文作者陈村，剑桥大学自然语言处理，NLP，组，现为机器学习语义分析工程师，GoogleTranslate作为久负盛名的机器翻译产品，推出10年以来，支持103种语言，一直作为业界的标杆，而在前不久，Google官方对翻译进行一次脱胎换骨的升级——将全产品线的翻译算法换成了基于神经网络的机器翻译系统，NueuralMachi...。
在刚刚过去的2017年，国内外人工智能界的突破层出不穷，在自然语言处理和计算机视觉领域，国内发展势头迅猛，在人工智能最前沿研究上，国外独领风骚，2月初，南京大学周志华教授在他的论文中提出一种新的集成机器学习方法gcForest，利用级联森林，决策树集成，方法去学习生成模型，引发学术界大讨论，3月，腾讯AILab研发的围棋人工智能程序，...。
雷锋网AI金融评论报道，作为全球知名的数据库服务器提供商，甲骨文，Oracle，在2013年超越IBM，成为全世界第二大的企业软件公司，而在区块链行业，有一家专注于用区块链技术重构数据库的公司，它的创始人在和雷锋网AI金融评论的专访中表示，要做区块链行业的甲骨文，这家来自新加坡的区块链初创企业Bluzelle，在去年八月获得150万美...。
至此，开一个包子店要多少钱，如何做包子好吃，小编的以上详细介绍，相信大家已经了解，其实，包子虽然很小，但是已经完全融入了我们的生活，且将作为中华文化的一种，恒久传承，如果大家有心加入，那么，心动不如行动！...。
因为外观，耐用性，性能，屏幕，外放，摄像头等各个维度，都非常适合校园和职场用户，惠普星BookPro系列向来是各种笔记本榜单中的常客，它在今年双十一期间，甚至一度全网卖断货，而接下来的双十二，叠加2024年国补末班车的影响，预计到时还会有好价，我们这次就和大家看看，为什么大家会推荐英特尔Evo™版的惠普星BookPro14AI轻薄战力...。
互联网巨头BAT霸榜国内公有云前三，这是否说明公有云市场趋于集中，雷锋网消息，2月22日百度公布了2018财年第四季度未经审计的财务报告，本季度百度营收272亿元人民币，同比增长22%，净利润21亿元人民币，值得关注的是，在财报公布之后的财报电话会议上，百度云首次公布了其业绩数据，百度云季度营收破十亿百度方面宣布，百度云业务在2018...。
近年来，江苏省连云港市检察机关按照最高检智慧检务工程建设要求，持续深化落实科技强检战略，围绕科技与检察业务深度融合，按照，智慧、融合、创新，的总体思路，推动科技强检工作跨越式发展，我院已构建了以需求为主导、以业务为主线、以网络为基础、以应用为核心、以安全为保障的检察工作信息化综合体系，，连云港市人民检察院信息技术工作负责人介绍说，该...。
苹果14promax怎样设置墙纸，苹果14promax手机里是有很多的功能的，其中壁纸就可以设置成墙纸对类型，但是还有小伙伴不知道具体的操作，那么下面就一起来学习一下吧！赶紧来看下面的攻略！...。
