NLP 圈同行评议对资源论文的一些误解
关于资源论文的危险偏见
NLP 中的大多数成功案例都是关于监督学习或半监督学习的。从根本上说，这意味着我们的解析器、情感分类器、QA 系统和其他一切都和训练数据一样好。基于这一事实，数据和模型工程，对于 NLP 进一步的发展来说同样重要。这就是为什么顶级会议 ACL 通常还专设了一个「资源和评估」通道，并颁发最佳资源论文奖。
然而，创建模型和资源这两项任务所需要的技能集并不相同，往往也来自不同的领域，这两个领域的研究者往往也对「论文应该是怎样的」抱有不同的期望。这就使得审稿人的工作进入一个雷区：如果期望得到一个橘子结果得到的却是一个苹果，那么这个苹果看起来就是错的。以双方最大的善意来看，论文被拒绝的原因可能并非论文实际存在任何缺陷，而是它的基本方法论「不合适」。
对于这一点比较失望的作者们在线上或线下展开的讨论，是这篇文章的写作缘由。有一件事很明显：如果作者和审稿人不能就「论文应该是怎么样的」达成一致，那么提交论文就是浪费彼此的时间。我希望本文能帮助那些使用数据的人，更好地理解那些制作数据的人，并对他们的论文做出更好的评价。
让我们从消除一些关于资源论文的误区开始。不幸的是，下面所有引用都来自 ACL 审稿人对论文的真实评论！
误区 1：资源论文不是科学
也许这一观点最有代表性的例子来自于 Rachel Bawden。ACL 2019 年的一位审稿人对他这篇以机器翻译为媒介的双语对话资源论文提出了以下意见：
本文主要是对语料库及其集合的描述，几乎不包含科学上的贡献。
鉴于 ACL 2019 有一个专门的「资源和评估」领域，因此，这种观点的提出看起来甚至是不可能的，而出现在评论中更是不可接受！需要明确的是，资源建设至少以三种方式增加了知识：
它们是从建模中获得任何知识的先决条件；
除资源外，可能还有注释准则或新的数据收集方法；
基于注释的迭代准则开发增加了对长尾现象的了解。
论文链接：
误区 2：资源论文更适合 LREC 或研讨会
大多数 ACL 会议都提供一个专门的「资源和评估」通道，但是资源论文的作者通常被建议将他们的工作提交给语言资源和人类语言技术评测方面的国际顶级会议 LREC 或一些专题研讨会。我们再次借用下 Rachel Bawden在 ACL 2019 中论文评论里面的一句话：
我认为这篇文章不适合 ACL。它非常适合 LREC 和特定的机器翻译会议和研讨会。
人们普遍认为 NLP 系统工程相关的工作比资源相关的工作更有声望，而这一观点可能正是与此有关。由于 ACL 是顶级会议，因此，资源论文应该被提交给研讨会和级别较低的 LREC 会议。
这种观点非常不公平，甚至会适得其反。首先，NLP 工程论文每年通常都有好几次机会提交给 NLP 领域的主流顶级会议。而 LREC 是唯一一个专门讨论资源的会议，每两年才举办一次。
其次，NLP 的进展取决于系统和基准的共同演进。NLP 基准并不完美，当我们在其中任何一个基准上停留太久时，我们很可能会开始针对错误的事情进行优化，发表许多 SOTA 论文，但却并没有取得真正的进展。因此，开发更具挑战性的基准与建模工作同等重要。我们至少可以做到的是，在顶级会议上发表此类文章来推动这件事。此外，将数据和模型各自置于不同的会议，不太可能改善这两个社区之间的思想交流。
误区 3：新资源必须大于竞争
针对这一点，我自己在 ACL 2020 上收到了以下评论：
本文提出的新语料库并不比现有语料库大。
针对资源论文的这一评论，其实就相当于在评审系统论文以「如果不是 SOTA，则拒绝」来判定一篇论文的生死。测试性能提供了一种简单的启发式方法来判断新模型的潜在影响，与此同时数据集大小成为其实用性好坏的指标。在这两种情况下，来自工业界和资金雄厚的实验室的论文都有优势。
由于数据量往往与数据质量成反比，因此这种态度隐晦地鼓励众包并阻碍专家注释。上述提到的向 ACL 2020 提交的论文提供了一个具有专家语言注释的资源，其中存在着更大、噪声更多的众包替代方案。这篇论文特别讨论了为什么直接比较这些资源的大小是没有意义的。不过，其中一位评审人认为，新的语料库比众包语料库要小，这显然降低了它的价值。
误区 4：资源必须是英语或跨语言较大的
语言的数量似乎与数据集的大小具有大致相同的功能：一种判断其潜在影响的启发式方法。以下是Robert Munro从另一篇 ACL论文评论中引用的一段话：
总的来说，没有好的迹象表明其他语言对能取得好的结果。
这是一个绝对有效的评论，它适用于大多数只关注英语却探讨建模「语言」（#BenderRule） 的 NLP 论文。因此，如果这一观点被认可，那么每一篇论文都要求必须是跨语言的研究。然而这一观点，往往是由非英语资源论文的评审人提出的。
其结果是，这种工作正在被边缘化，并受到了阻碍。我有幸参加了ESSLLI 2019，并与一些出色的拉脱维亚文研究人员进行了交流，他们研究针对自己的语言的 NLP 系统。他们告诉我，他们放弃了主要的 ACL 会议，因为他们的工作范围太过狭窄，大多数人没有兴趣。这对每个人来说都是一个损失：要把对英语有用的想法转移到其他语言上绝非易事，这些拉脱维亚文研究人员想出的诀窍可能在全球范围内都有很大的用处。此外，如果我们在 NLP 社区的目标是建立「人类语言」的模型，我们不太可能只关注其中一种语言就获得成功。
将语言数量与论文的潜在影响混为一谈，会给跨语言研究带来一个有趣的结果：他们拥有的语言越多，在审稿人眼中就越好。
然而，如果在所有这些语言中执行任何有意义的分析，那么语言数量通常会随着作者列表长度的增加而增加：例如有一篇关于通用依赖性的论文就有 85 位作者（论文地址：），该论文涉及的语言数量就比较多。
一个普通的机器学习实验室没有办法做这样的事情，所以为了取悦审稿人，他们使用了机器翻译来扩增语言数量，甚至在类型声明中也使用了机器翻译（以「BERT Is Not an Interlingua and the Bias of Tokenization」论文为例：）。在这种情况下，语言数量并不能完全代表论文的整体质量。
误区 5：已有数据集太多了
针对这一观点，以下是 EMNLP 2019 论文评论中的一个例子：
本文提出了另一种问答测试。
为了保证公平性，这位审稿人随后提到，如果一个新的基准提供了一些全新的方法，它可能会拥有一席之地。不过，其隐含的假设是，资源论文应该有一个上限，有大量的问答数据多少会适得其反。
有一种观点认为，有太多基准会稀释社区的努力。然而，只有当有一个基准本质上比所有其他基准都好时，这一点才会成立。如果不是这样，只关注一个数据集可能会适得其反。有了大量的数据集，我们至少可以进行更好的泛化研究。例如，在 SQuAD、CoQA 和 QuAC 上训练的模型不会相互转移，即使这三个数据集都基于 Wikipedia（论文地址：）。
有趣的是，对于系统论文也可以提出同样的观点：在下一次突破之前，社区应该对 BERT 进行多少增量修改是否应该有一个上限？（相关论文地址：）
误区 6：每一篇 ACL 资源论文都必须随附 DL 实验
以上所有的谬论都很容易被驳斥，因为它们反映了逻辑上的谬误和一种研究倾向——不喜欢与主流 NLP 系统论文不一样。但其中有一个似乎与社区真正的分歧相对应：
看过几十条评论，显而易见人们在听到「资源论文」时，很明显会有不同的想法。是否需要进行 DL 实验，甚至是否合适，都取决于贡献的类型。
NLP 任务/基准：主要观点通常是，新基准比以前的基准更具挑战性。这一说法显然必须得到实验结果的支持。
计算语言资源（词汇、词典、语法）：其价值在于从某些角度提供尽可能完整的详细语言描述。类似 VerbNet 这样的语言资源，并不是为任何特定的 DL 应用程序创建的，因此不应该要求包含任何这样的实验。
介于这两个极端之间的，是可以很容易地构建为 DL 任务/基准的资源类型，但还不清楚它们是否应该是必需的，甚至是最好的选择。具体而言，这涉及：
非公开数据的发布：以前非公开的数据资源，如匿名医疗数据或来自私人公司的数据。作者的贡献是使发布成为可能的法律或行政工作。
具有语言注释的资源（树库，共指，照应，时态关系等）：这些资源的质量传统上是由注释之间的一致性来衡量的。作者的贡献是注释工作或注释方法。
在这两种情况下，数据可能以多种不同的方式使用。可以只提供标准的训练/测试拆分，并将资源作为新任务或基准来呈现，从而使某些实践者的生活变得更轻松——这些实践者只想寻找新任务来设置自己喜欢的算法。但这可能不是唯一用来思考新数据的方法，甚至不是最好的方法。这时，这场讨论演变成了一场不科学的拔河比赛，大致是这样的：
工程师：这个数据是给我的吗？如果是，我想看看相关实验，证明这是可以学习的。
语言学家：这实际上是关于语言而不是深度学习的数据。但如果你愿意，欢迎使用这些数据。
在这一灰色地带，我恳请领域主席定好他们的期望，并向作者和审稿人明确说明这一点。否则我们会陷入一个雷区：一些审稿人认为基线实验是一项硬性要求，但作者没有预料到这一点。不然作者们提交的论文对作者本身以及审稿审得疲惫不堪的审稿人和领域主席来说都是浪费时间。而他们明确说明这一点，则可以很容易地防止这种浪费。
就我个人而言，我反对将基线实验作为硬性要求，理由如下：
NLP 是一个跨学科的项目，我们需要尽可能得到来自各个学科的所有帮助。要求每一次提交都要用机器学习方法打包，这不仅会阻碍拥有不同技能的研究者的数据和想法之间流动，还会影响语言学、社会学和心理学等领域之间的数据和思想流动。
包含这样的实验可能不会取悦任何一方。如果作者不是必须在论文中包含基线的话，会给语言学家们留下一些本可以解决的问题。工程师们会变得只关注基线部分，然而最终发现基线部分并没有那么引人关注。
以我的一篇论文作为具体案例，这篇论文提出了一个新的情感标注方案，一个新的数据集，并展示了一些基线实验（论文地址：）。审稿人指出的一个不足之处是：
使用域内单词嵌入获得的结果不足为奇。一个众所周知的事实是，域内单词嵌入相对于一般单词嵌入更具信息性。
我们对域内嵌入的评论只是简单地描述了结果表，并无意作为启示。这篇论文的贡献在于资源和方法，但在文中出现的这些实验显然引发了审稿人的错误预期。虽然最终我们的论文被接收了，但其他很多人可能掉进了这个陷阱。
如何给论文写出好的评论
我适合当这篇论文的审稿人吗？
苹果是苹果，橘子是橘子，两者都有自己的优点。因为资源论文不是系统论文而拒绝它，是没有意义的。要写一篇建设性的评论，首先，你需要从与作者同样的方法论角度来看待它的贡献。如果有不匹配的地方，也就是说，如果你被分配去审一篇贡献类型不在你的研究范围内的论文，最好让领域主席重新分配。
以下是资源论文的一些主要类型，以及撰写高质量评论所需的专业知识：
众包NLP训练/测试数据集：基础众包方法论的知识、对潜在问题（如非自然信号）的认识（论文地址：）和注释者偏差（论文地址：），以及此任务的其他可用数据集。理想情况下，你至少自己构建了一个此类资源。
带语言注释的语料库（语法、复指、共指、时态关系）：有关语言理论和注释经验的知识，注释可靠性估计，以及这一特定子领域的现有资源。理想情况下，你至少自己构建了一个此类资源。
语言知识资源（语法、词典、词汇数据库）：语言理论的其他知识和所有其他相关资源。理想情况下，你至少自己构建了一个此类资源。
那么，非英语资源呢？我们不能指望总是有这样一批审稿人，他们都是该领域的专家，而且都会说一种特定的稀有语言，所以答案很可能是「分工」。当我们以审稿人的身份注册会议时，除了专业领域外，我们还可以指定语言。如果一篇资源（或系统）论文不是用英语撰写的，那么除了目标领域的两位专家外，领域主席最好能找到至少一位会说这种语言的审稿人。不懂这门语言的人仍然可以评估能判断部分的贡献（方法、分析、与其他工作的有意义的比较）。只要领域主席在你的评论中清楚地知道论文的哪些部分超出了你的范围，都将能够做出明智的决定，并在必要时招募额外的审稿人。当然，作者应该通过添加注释来帮助应对这一问题。
在 ACL 中，什么样的资源论文才是有价值的？
一旦你确定你看待这篇论文的角度与作者的方法论一致，你就需要判断它的实际贡献。当然，并不是所有的资源论文都值得发表在一个顶级的 NLP 会议上！对于系统和资源论文来说，接收标准并没有太大的不同。大多数会议都对这种方法的新颖性、贡献大小、潜在影响的大小感兴趣。在 ACL 中具有价值的论文，无论是任何一种类型，论文作者都需要对其中的至少一项进行有力的论证。
下面是一些符合（或不符合）这些标准的资源论文类型的示例。
高新颖度：重大概念创新
示例：新任务，新注释方法；
反例：使用现有框架收集更多数据或更新现有资源，或只是将现有资源转换为其他语言。
高影响力：解决一个普遍存在的问题，提出具有高度概括性的新方法（跨语言或任务）。
反例：减小由一个特定数据集中注释器准则引起的特定偏差。
高质量、丰富性或规模：重要的公共数据发布，能在语言描述，数据质量或资源量方面提供明显的优势。
示例：语言数据库（如 VerbNet），带有语言注释的语料库，在特定情况下有机收集的数据（如匿名医疗数据）；
反例：没有明显优势的噪声数据，不公开的数据。
重申一下：只要满足其中一个标准，一篇论文就是值得发表的：一个狭窄的问题可以用一种非常新颖的方式来解决；如果噪声数据集非常完整，那么会产生很大的影响；如果论文表明了为英语版本开发的技术完全无法推广，仅仅简单地将资源改写为另一种语言也可能会引起巨大轰动。
但作者确实需要证明至少有一个标准适用性很强，并使审稿人相信没有严重的缺陷（例如，通过丢弃大部分数据来放大内部注释器的一致性）。
相关参考文献详见原文：
原创文章，未经授权禁止转载。详情见 转载须知 。
江苏富林医疗设备有限公司致力于专业医疗设备和家庭保健产品的研究与开发。打造顶尖医疗器械制造中心，为客户创造最大的经济效益。公司现有员工200多人，拥有先进的研发中心、一流的生产线、完善的销售渠道以及贴心服务的售后团队。
原标题：绿媒炒作：9架次解放军军机台海周边活动，直-9直升机进入台东南空域【环球网报道】据台湾亲绿媒体《自由时报》报道，台防务部门今日（12日）宣称，自11日上午6时今天上午6时，解放军派出9架次军机、7艘次军舰．持续在台海周边活动，其中1架直-9反潜直升机在台湾东南空域活动。
西西软件园是全新打造的个人上网安全,常用软件官方版,办公软件及编程开发等其它软件安全的下载站点,西西游戏网是集合大型单机游戏,模拟器游戏,游戏修改器下载,同时西西还是安卓游戏，安卓应用下载市场。
北京亮剑军事夏令营
江苏亿昌橡塑科技有限公司是一家专业从事隔膜泵隔膜片生产销售的企业，提供优质的隔膜泵隔膜片和服务。
徽盛建材科技（上海）有限公司
云创大数据是以大数据存储与智能处理为核心发展的高新技术企业，以人工智能、大数据、云计算技术为基础，针对海量数据存储与智能分析处理的迫切需求，通过技术延伸与融合，构建了集感知、存储、处理、应用于一体的完整大数据价值链业务体系，包括“大数据存储”与“大数据智能处理”两大业务板块。
优质农产品网
云南昆明防水材料厂家-昆明顺利防水材料有限公司专业从事防水材料、卷材等系列产品的销售以及防水工程施工于一体的科技型企业，欢迎有需要的朋友咨询合作。
宁波专业二手房网,宁波网络经纪人提供丰富的宁波二手房源和宁波二手房交易指南;宁波网络经纪人为用户提供宁波租房房源和宁波租房指南.为所有宁波二手房楼盘和宁波租房房源提供图片浏览.包括宁波网络经纪人介绍,宁波房产资讯,宁波房产社区等.
安徽华安建筑安装工程有限公司
巴洛仕集团专注化工厂拆除，整厂回收，设备回收，二手化工设备，化工装置回收，废设备回收等服务，化工厂废旧设备拆除回收，大型厂房整厂拆除回收就找巴洛仕一站式拆除回收解决方案提供者。
2021年，我国将发展托育服务体系列为，KPI，在，十四五，期间，每千人口拥有3岁以下婴幼儿托位数由1.8个提高到4.5个，意味着2025年中国托位总量要达到630万个，据数据显示，我国现有0，3岁婴幼儿4200万，其中1，3的家庭有着比较强烈的托育服务的需求，但实际入托率为5.5%左右，供需缺口还很大，KPI和民众需求的推动，使得...。
想要发家致富吗，想要过上好的生活吗，如果你有梦想那就快快行动吧，经过自己的努力与奋斗创造不一样的人生，近些年来，加入创业大军的人群越来越庞大，也收获了意想不到的财富，眼光犀利的人们看好餐饮行业，人们纷纷前来分一块蛋糕，包卟同包子是众多创业者青睐的品牌，公司在经济方面和生产技术方面的实力相当强大，是一家具有规模性的美食企业，在业界拥有超...。
比亚迪汽车现已成为国产车企中的一把好手，这源于比亚迪汽车不断对夯实自身的技术实力，不断的研发出具有代表性的创立技术，而现在比亚迪汽车亦成为很多消费者的购车优选，那这样是否能够验证比亚迪汽车销量怎么样呢，下面随着小编的脚步一起来了解下，比亚迪汽车销量比亚迪汽车坚持以科技创立，不断的研发具有专利代表性的技术，为消费者提供更加智能化，更加安...。
火锅相信是大家比较熟悉的食物，很多人们会选择在家里在做火锅吃，买上自己喜欢的食物和一些火锅底料，大家围坐在一起也是非常开心的一件事情，市面上的火锅产品也是不断增多，火锅串串比较受大家的的欢迎，也让很多的创业者们看到了其中的商机，纷纷想要选择加盟其中，签年时光串串香加盟店美食多吗，接下来就由小编为大家简单的介绍一下吧，签年时光店内的装修...。
董记无骨烤鱼饭是一种新式快餐，主打鱼肉美食，也主打各种快餐美食，是市场新兴美食店铺，有很多的顾客前来购买，凭借着独特的口味和实惠的价格受到了顾客和加盟商的信任与好评，很多人想知道无骨烤鱼饭加盟店怎么样，接下来就为大家介绍，无骨烤鱼饭加盟店怎么样董记无骨烤鱼饭是一个发展多年的企业，主打快餐，小吃等，价格实惠，好吃不腻，在市场上发展很稳定...。
健康饮用水管对于现在装修行业来说有着很大的需求，水管工程属于隐蔽工程，对于水管的质量，品牌的认可度都很高，龙胜管业品牌创办时间就很长，在市场经营已经有20多年时间，龙胜管业品质怎么样，加盟费用高吗，龙胜管业经过很多年的努力以后，能够在给水管、采暖管、开关插座、灯具照明、集成吊顶、换气扇等一些领域做的更出色，把水电建材产品做好生产和批发...。
2017年6月2日，丽博橱柜丨全屋定制，大干30天，再下30城，拓展招商启动会在公司总部四楼会议室胜利召开，公司总经理何国平、零售业务总监胡国帅、拓展部经理沈林金以及拓展部的招商精英们共同参加了启动大会，会上，零售业务总监胡国帅对项目执行的各项细节进行了深入的剖析和指导，并视频，亮剑精神，，向全体招商精英们传达了，狼性团队，就是组织严...。
某宝几乎是每个人都知道的一个购物平台，在这个信息化的时代，选择某宝进行网购的人也越来越多，而且某宝也为网购者提供很多扶持，比如说很多物品都提供了七天退货的服务，这也让越来越多的人愿意相信某宝是一个可以给人们带来性价比比较高的商品，随着越来越多的人开始网购开网店的人也越来越多，很多创业加盟商都认为开网店是很挣钱的，都想某宝这个平台开一家...。
520的浪漫是玫瑰和咖啡缺一不可，近日，万咖啡，WanVita，推出新品咖啡——粉红拿铁，助力520爱的表达，萃取棚晒阿拉比卡咖啡豆，加入新鲜牛奶和超级食物甜菜根粉，制成爱意满满的红粉拿铁，颜值和风味俱佳，一杯红丝绒质感的粉红拿铁，用粉红的色彩唤醒人们内心深处的天真烂漫，万咖啡招牌饮品粉红拿铁，2020年，万达酒店及度假村在宁波万达美...。
如今，市面上的披萨品牌众多，一些对披萨这个行业感兴趣的创业者们，想要知道全国十大披萨加盟店排行榜的大致情况介绍，下面就一起跟随小编往下看看吧，1、叫板披萨叫板披萨为了产品的质量，品牌引进了先进的生产设备和技术，不断改进工艺流程，并且严格控制生产环境和生产过程，产品的质量，因此得到了广大消费者的点头称赞，在未来的时间里，品牌的成员们还将...。
中式快餐具备地出餐速度和多样化的选择，是很多人就餐的上等选择，既然很多人选择这类美食，自然就有人开设中式快餐门店，在开设门店之前，要先了解中式快餐怎么加盟，加盟品牌排行榜，接着，小编就来解答这两个疑问，瓦罐香沸快餐小吃经过团队不断地研制，旗下门店已经具备多样化的美食产品，现有的产品涵盖了煨汤、米线、炒饭、炒面、各类小吃，每一种美食，均...。
韩式烧烤是近几年新兴的一种时尚餐饮项目，随着韩国料理在中国大中型城市的普及，韩国烧烤也迅速进入了消费者的视线，调查显示，中式烧烤和韩式烧烤两大消费者的口味差异，前者偏爱香、麻、辣，后者偏爱香、甜、辣，且大多钟情于韩式烧烤的消费者初都是被甜辣蘸酱所吸引，这种颠覆中华人传统餐饮口味的饮食具有广阔的市场前景，...。
卤菜，既可以作为休闲食品，也可以当做佐酒佳肴，卤味浓郁，鲜香无比，在全国各地都有着庞大的市场，并催生了诱人的商机，近来，不少苏州的朋友都在咨询卤菜店加盟哪家好，下面，不妨来看看苏州卤菜店加盟排行榜吧，山林熟食，人气熟食品牌，70年连锁老品牌，500家门店运营经验，开启熟食新零售模式，山林熟食自有工厂，进行系统化生产，总部集产品研发、生...。
相对于有，科技界春晚，之称的苹果发布会来说，已经与智能手机无缘的微软发布会在关注度上要逊色得多，更何况今年的发布会在时间上举行于我国国庆假期期间，尽管如此，对于微软来说，举行于美国东部时间10月2日下午四点，也就是北京时间凌晨10月3日四点，的新品发布会，却显得非常重要，这是微软在Surface软硬件层面走出的重要一步，三款Surfa...。
作者近日，帝国理工学院教授、Twitter首席科学家MichaelBronstein发文表示，将加入牛津大学任职DeepMind人工智能教授和埃克塞特学院Fellow，11月29日，牛津大学计算机学院也发布正式公告，MichaelBronstein教授将从2022年1月1日起加入该团队，什么是DeepMind人工智能教授，2020年1...。
餐饮店的成功靠的是人气，人气来源于鲜美的味道，味美的关键在于独特的技术，京都烤鸭是一个正宗的老北京烤鸭品牌，成立于2007年，凭借纯正地道的味道，出众的口感，独特的风味，赢得广大消费者的认可，品牌自成立以来，不断地进行改良升级，迎合更多消费者的味蕾，逐渐的增加产品的市场覆盖率，随着品牌的运营模式逐渐完善，加盟人气越来越多，很多有意向的...。
一带一路是中国提出的全球治理方案，该倡议旨在通过加强国际合作，促进沿线国家的共同发展，一带一路倡议于2013年提出，涵盖了丝绸之路经济带和21世纪海上丝绸之路，这一倡议通过现有的多边和双边机制，以及区域合作平台，推动与合作伙伴间的经济合作，构建利益、命运和责任共同体，截至2023，已有150多个国家和30多个国际组织与中华人民共和国签...。
