12.27 研习社每日精选论文推荐 Paper

Hi 欢迎来到Paper 研习社每日精选栏目，Paper 研习社（paper.yanxishe.com）每天都为你精选关于人工智能的前沿学术论文供你参考，以下是今日的精选内容——

Audio-based automatic mating success prediction of giant pandas

作者：Yan WeiRan /Tang MaoLin /Zhao Qijun /Chen Peng /Qi Dunwu /Hou Rong /Zhang Zhihe

发表时间：2019/12/24

论文链接：

推荐理由：用到GRU和注意力的论文有很多，但用卷积+双向GRU+注意力研究大熊猫声音的，而且就来自四川濒危野生动物保护国家重点实验室 - 成都大熊猫繁育研究基地的，这篇论文可是独一篇。

这篇论文研究的课题让我们增进了对大熊猫的认识。一方面，大熊猫一般都是比较安静的动物，不怎么发出声音，但在繁殖季时发声会明显多一些，这说明声音对求偶和交配有一定作用，此前的生物学研究也证明了存在相关性。另一方面，交配之后熊猫是否成功受孕很难确定，不仅因为熊猫胎儿非常小，只能通过其他因素观察，还因为人工养殖条件下的熊猫就出现过“为了享受更好待遇而假装怀孕”的事情。所以这篇论文的目标是通过记录下的熊猫声音预测是否成功受孕，整个工作流程包括分割、音量和长度标准化、特征提取、用含有卷积+GRU+注意力的深度神经网络预测是否成功受孕。作者们在过去 9 年中采集的声音数据集上做了实验，得到了有潜力的结果。准确的预测能给大熊猫的繁育带来帮助。

Garbage In, Garbage Out? Do Machine Learning Application Papers in Social Computing Report Where Human-Labeled Training>作者：Geiger R. Stuart /Yu Kevin /Yang Yanlai /Dai Mindy /Qiu Jie /Tang Rebekah /Huang Jenny

发表时间：2019/12/17

论文链接：

推荐理由：许多针对新应用领域的机器学习项目都涉及到为特定目的标记数据的人员团队，从雇用人群工作者到论文作者自行标记数据。此类任务与结构化内容分析（或结构化内容分析的形式）非常相似，后者是社会科学和人文科学领域的一种长期方法，具有许多已建立的最佳实践。

在本文中，作者调查了社交计算中机器学习应用程序论文的样本程度-特别是ArXiv和传统出版物对Twitter数据执行ML分类任务的论文-提供了有关是否遵循了此类最佳实践的具体细节。

作者的团队对每篇论文进行了多轮结构化内容分析，确定以下内容：论文是否报告了谁是标签者，他们的资格是什么，他们是否独立地标记了相同的项目，是否公开了评分者间的可靠性指标，向贴标者提供培训水平和/或说明，是否公开了对人群工作者的补偿，以及培训数据是否公开。我们是否遵循和记录了这样的做法存在很大分歧。机器学习的研究和教育很多都集中在一旦有了“黄金标准”的训练数据后该怎么做，但是我们首先围绕这些数据是否可靠的同样重要的方面讨论问题。

Deep Learning vs. Traditional Computer Vision

作者：Niall O’ Mahony /Sean Campbell /Anderson Carvalho / Suman Harapanahalli

发表时间：2019/4/18

论文链接：

推荐理由：核心问题：在深度学习快速发展的背景下，在计算机视觉领域传统的计算机视觉技术是否还有意义？

这是一篇综述文章，本论文介绍了传统的计算机视觉技术和现在的深度学习视觉技术之间的关系，以及二者之间应该是相互补充的关系，相互利用彼此的优势。深度学习推动了数字图像处理领域的极限。但是，这并不是说在DL兴起之前的几年中一直在逐步发展的传统计算机视觉技术已经过时了。本文将分析每种方法的优缺点。本文的目的是促进有关是否应保留经典计算机视觉技术知识的讨论。本文还将探讨如何将计算机视觉的两个方面结合起来。评论了几种最近的混合方法论，这些方法论证明了改善计算机视觉性能和解决不适合深度学习的问题的能力。例如，将传统的计算机视觉技术与深度学习相结合在新兴领域（例如全景视觉和3D视觉）中很流行，而对于这些领域，深度学习模型尚未完全优化。

The problem with DDPG: understanding failures in deterministic environments with sparse rewards

作者：Matheron Guillaume /Perrin Nicolas /Sigaud Olivier

发表时间：2019/11/26

论文链接：

推荐理由：在具有连续状态和动作空间的环境中，最先进的行为者-批判强化学习算法可以解决非常复杂的问题，但是在看似微不足道的环境中也可能会失败，但是这种失败的原因仍然知之甚少 。在本文中，我们对稀疏的奖励和确定性环境的特殊情况下的这些失败做出了正式的解释。首先，使用一个非常基本的控制问题，我们说明了学习过程可能陷入与不良解决方案相对应的固定点。然后，从所研究的示例中进行概括，我们提供了对潜在机制的详细分析，从而使人们对这些算法的一种收敛方式有了新的认识。由此产生的观点为我们已经强调的问题的现有解决方案提供了新的思路，并提出了其他可能的方法。

Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model

作者：Xiong Wenhan /Du Jingfei /Wang William Yang /Stoyanov Veselin

发表时间：2019/12/20

论文链接：

推荐理由：预训练语言模型的最新突破表明，自监督学习对于多种自然语言处理（NLP）任务的有效性。除了标准的语法和语义NLP任务外，预训练的模型还对涉及真实世界知识的任务进行了重大改进，这表明大规模语言建模可能是捕获知识的隐含方法。在这项工作中，我们将进一步研究使用事实完成任务对诸如BERT等预训练模型捕获知识的程度。此外，我们提出了一个简单而有效的弱监督预训练目标，该目标明确迫使模型纳入有关现实世界实体的知识。使用我们的新目标训练的模型在事实完成任务上产生了重大改进。在应用于下游任务时，我们的模型在四个与实体相关的问题回答数据集（即WebQuestions，TriviaQA，SearchQA和Quasar-T）上的性能始终优于BERT，平均改善了2.7 F1，并提供了标准的细粒度实体类型数据集（例如， FIGER），精度提高5.7。

Differentiated Distribution Recovery for Neural Text Generation

作者：Jianing Li† / Yanyan Lan†∗ / Jiafeng Guo† / Jun Xu† and Xueqi Cheng†

发表时间：2018/12/19

论文链接：

推荐理由：基于递归神经网络（RNNLM）的神经语言模型显着提高了文本生成的性能，但是以图灵测试通过率表示的生成文本的质量仍然远远不能令人满意。一些研究人员建议使用对抗训练或强化学习来提高质量，但是，这种方法通常会在训练和参数调整过程中带来巨大挑战。通过组织的分析，其发现RNNLM的问题来自最大似然估计（MLE）作为目标函数的使用，这需要生成的分布来精确地恢复真实分布。这种要求有利于高世代多样性，这限制了世代质量。当整体质量较低时，这是不合适的，因为高世代多样性通常表示很多错误，而不是多样化的好样本。在本文中，作者建议实现差异化的分布恢复，简称DDR。关键思想是使最佳生成概率与真实概率的β次方成正比，

An Integral Tag Recommendation Model for Textual Content

作者：Shijie Tang1 / Yuan Yao1 / Suwei Zhang1 / Feng Xu1

发表时间：2018/12/20

论文链接：

推荐理由：为在线文本内容推荐合适的标签是更好地组织和使用内容的关键组成部分。在本文中，我们确定了影响标签推荐准确性的三个支柱：（1）顺序文本建模，这意味着固有的顺序排序以及文本的不同区域可能对相应的标签具有重要的意义，（2 ）标签相关性，意味着某个文本内容的标签通常在语义上相互关联；（3）内容-标签重叠，表示内容和标签的词汇重叠。但是，现有方法都没有考虑所有这三个方面，导致标签推荐不理想。在本文中，我们提出了一个完整的模型来在相干的编码器-解码器框架中对所有三个方面进行编码。具体来说，（1）编码器使用注意力机制通过递归神经网络对文本内容的语义进行建模；（2）解码器通过预测路径处理标签相关性；（3）共享的嵌入层和指示符功能跨编码器-解码器地址的内容标签重叠。在三个现实世界数据集上的实验结果表明，该方法在推荐准确性方面明显优于现有方法。

Neural RELAtion Extraction Within and Across Sentence Boundaries

作者：Pankaj Gupta / Subburam Rajaram / Hinrich Schütze / Bernt Andrassy / Thomas Runkler

发表时间：2018/12/20

论文链接：

推荐理由：关系抽取的过去工作主要集中在单个句子中实体对之间的二进制关系。最近，NLP社区对跨多个句子的实体对中的关系提取感兴趣。在本文中，我们针对此任务提出了一种新颖的体系结构：基于句间依赖的神经网络（iDepNN）。iDepNN通过递归和递归神经网络对最短和增强的依存路径进行建模，以提取句子内部（内部）和跨（内部）边界的关系。与SVM和神经网络基线相比，iDepNN对于跨越句子的关系中的误报更为可靠。我们在新闻链（MUC6）和医学（BioNLP共享任务）域的四个数据集上评估我们的模型，这些数据集实现了最先进的性能，并在精度和句子间关系的召回率之间表现出更好的平衡。我们的表现要好于参加BioNLP共享任务2016的11个团队，与获胜团队相比，F1的增长率为5.2％（0.587对0.558）。作者还发布了MUC6的交叉句注释。

Measuring Compositional Generalization: A Comprehensive Method>作者：Keysers Daniel /Schärli Nathanael /Scales Nathan /Buisman Hylke /Furrer Daniel /Kashubin Sergii /Momchev Nikola /Sinopalnikov Danila /Stafiniak Lukasz /Tihon Tibor /Tsarkov Dmitry /Wang Xiao /van Zee Marc /Bousquet Olivier

发表时间：2019/12/20

论文链接：

推荐理由：最先进的机器学习方法在组合泛化方面表现出局限性。同时，缺乏实际的基准来全面衡量此功能，这使寻找和评估改进变得困难。我们引入了一种新方法，通过最大程度地提高组成部件的散度并同时保证训练集和测试集之间的原子发散小，来系统地构建此类基准，并且将这种方法与其他方法进行定量比较，以创建成分泛化基准。我们提出了一种根据此方法构造的大型且逼真的自然语言问答数据库，并使用它来分析三种机器学习架构的组成概括能力。我们发现，它们无法对组成进行概括，并且在组成部件的散度和准确性之间存在令人惊讶的强烈负相关。我们还将展示如何使用我们的方法在现有的SCAN数据集之上创建新的成分基准，从而证实了这些发现。

On Reinforcement Learning for Full-­‐length Game of StarCraft

作者：Zhen-Jia Pang / Ruo-Ze Liu / Zhou-Yu Meng / Yi Zhang / Yang Yu / Tong Lu

发表时间：2018/12/20

论文链接：

推荐理由：《星际争霸2》对强化学习提出了巨大挑战。它的主要困难包括巨大的状态和行动空间以及长期的视野。在本文中，我们研究了《星际争霸2》的分层强化学习方法。层次结构涉及两个抽象级别。一种是从专家的轨迹中自动提取的宏动作，它可以将动作空间减少一个数量级，但仍然有效。另一个是两层的分层体系结构，该体系结构是模块化的并且易于扩展，从而使课程表可以从较简单的任务转换为较复杂的任务。还研究了这种体系结构的强化训练算法。在64x64的地图上并使用限制性单位，相对于内置难度为1级的AI，我们的获胜率超过99％。通过课程转移学习算法和混合战斗模型，我们可以对付最困难的人族内置非作弊内置AI（7级），并在两天内进行一次训练，就能获得超过93％的Protoss胜率。机器只有48个CPU内核和8个K40 GPU。当针对从未见过的对手进行测试时，它也显示出强大的概括性能，包括作弊级别的内置AI以及所有级别的Zerg和Protoss内置AI。我们希望这项研究可以为将来的大规模强化学习研究提供一些启示。