谈谈深度学习中记忆结构的设计和使用 从NLP终生学习开始
雷锋网 AI 科技评论按：终生学习，简单说是让模型有能力持续地学习新的信息，但更重要的是让模型学习新信息的同时还不要完全忘记以往学习过的内容（避免「灾难性遗忘」），是深度学习的长期发展和大规模应用中必不可少的一项模型能力。
近期，「NLP 网红」Sebastian Ruder 小哥把终生学习能力融入了语言模型中，方法是加入一个片段式记忆存储模块。实际上类似的做法也并不是第一次得到应用了，雷锋网 AI 科技评论一并介绍几篇相关论文。
终生语言学习中片段式记忆的作用
论文地址：
内容简介：首先我们把「终生语言学习」（lifelong language Learning）任务定义为：模型需要从连续的文本样本流中学习，其中不会指明数据集的边界。作者们提出了一个用片段式记忆存储结构增强语言模型的方式，模型中的存储可以进行稀疏经验重放，也可以进行局部适应，以减缓这种任务中的灾难性遗忘现象。另外，作者们也表明，这个记忆存储结构的空间复杂度可以进行大幅简化（可以降低 50% 到 90%），只需要随机选择把哪些样本存储在记忆中，这种做法对性能的影响非常小。作者们认为片段式记忆存储部件是通用语言智能模型中不可或缺的重要组件。
通过记忆能力增强模型表现其实并不是新鲜事，「经验重放（experience replay）」的思路最早可以追溯到 1990 年代的强化学习机器人控制论文《Programming Robots Using Reinforcement Learning and Teaching》（）以及《Self-Improving Reactive Agents Based On Reinforcement Learning, Planning and Teaching》 （），论文中用教学的方式让机器人学会新的技能，那么记忆能力就与教学过程相配合，记录已经学会的技能。
下面我们再介绍几个新一些的成果
通过深度强化学习实现人类级别的控制
论文地址：
论文亮点：DeepMind 发表在《Nature》的鼎鼎大名的 DQN 论文中也使用了经验重放。在强化学习的设定中，智能体通过与环境交互获得数据（相当于监督学习中的标注数据集），经验重放可以让智能体重放、排练曾经执行过的动作，更高效地使用已经采集到的数据。当然了，DQN 的另一大贡献是学习到原始输入的高维表征，不再需要人工的特征工程。
Memory-Augmented Monte Carlo Tree Search
记忆增强的蒙特卡洛树搜索
论文地址：~mmueller/ps/2018/Chenjun-Xiao-M-MCTS-aaai18-final.pdf
AAAI 2018 杰出论文
论文简介：这篇论文把一个记忆结构和蒙特卡洛树搜索结合起来，为在线实时搜索提出了一种新的利用泛化性的方式。记忆结构中的每个存储位置都可以包含某个特定状态的信息。通过综合类似的状态的估计结果，这些记忆可以生成逼近的估计值。作者们展示了，在随机情况下，基于记忆的逼近值有更高可能性比原始的蒙特卡洛树搜索表现更好。
经验重放还有一些高级改进
优先经验重放
论文地址：
论文亮点：这篇论文的作者们提出，在之前的研究中，智能体学习到的经验是均匀地从重放记忆中采样的。而既然记忆的存储来自于智能体实际的探索活动，这就意味着智能体进行活动、获得记忆的分布和从记忆中采样、利用记忆的分布是一样的。作者们认为，智能体获得的记忆中肯定有一些是重要的、有一些是不那么重要的，我们应当更多地利用比较重要的记忆，这样可以用同样多的记忆提高智能体的表现。这篇论文中作者们就设计了一个为记忆的优先程度排序的框架，更多地重放重要的记忆，以便更快地学习。作者们在 DQN 上做了这个实验，改进后的 DQN 比原来的（均一记忆）的 DQN 在绝大多数游戏中都取得了更好的表现。
后见经验重放
论文地址：
论文亮点：假想要让机械臂执行一个用末端在桌面上推方块到指定地点的任务。对于强化学习模型来说，初次尝试基本是注定失败的；如果不是特别的幸运，接下来的几次尝试也同样会失败。典型的强化学习算法是无法从这些失败经验中学习的，因为它们一直接收到固定的失败（-1）反馈，也就不含有任何可以指导学习的信号。
人类在执行任务的时候其实有一个直觉的感受是：即便我没有达成原来那个给定的目标，我起码还是完成了另外一个目标的。HER的核心思想就是把这一人类直觉公式化。在这里，HER会把实际达到的目标暂且看成要达到的目标；进行这个替换以后，算法认为自己毕竟达到了某个目标，从而可以得到一个学习信号进行学习，即便达到的目标并不是最开始任务要求的那个目标。如果持续进行这个过程，最终算法可以学会达成任意一个目标，其中也自然就包括了我们最开始要求的目标。
依靠这样的办法，即便最开始的时候机械臂根本就碰不到圆盘、以及反馈是稀疏的，最终它也学会了如何把圆盘拨到桌子上的指定位置。这个算法之所以称为Hindsight Experience Replay 后见经验重放，就是因为它是在完成了一次动作之后再选定目标、重放经验进行学习。也所以，HER可以和任何策略无关的强化学习算法结合起来使用，比如DDPG+HER。
这 7 篇论文打包下载：
雷锋网 AI 科技评论整理
原创文章，未经授权禁止转载。详情见 转载须知 。
东方资讯娱乐频道为您提供电影、电视、音乐、明星八卦等全方位的娱乐资讯,想了解大陆港台明星八卦、明星绯闻、明星写真和明星资料就上东方资讯网
联想Filez企业网盘是业界领先的企业级文件管理与协同办公平台，提供全方位、一站式企业云盘解决方案，包括企业级文件存储、文件共享、权限管控、跨国传输和多人在线编辑等功能。致力于帮助您的企业实现数字化转型，轻松管理企业文件，带您探索内容的无限可能性!
陕西省黄龙县人民法院
深圳市华商物联科技有限公司提供国际物联网卡,海外物联网卡，NB-iot物联网卡,贴片式物联卡等产品.为客户提质优物联网卡服务的同时,也搭建了智能物联网硬件和短信服务平台,针对不同客户需求,提供一站式物联网解决方案.联系方式:0755-61345519
江苏景泰电力科技有限公司是一家专业从事各类输送设备、除尘器的设计、开发和生产的高科技公司，欢迎来电咨询：13338881588
上海丰而溢国际货物运输代理有限公司
云上九江官网-云上公司注册，简称云上九江官网-云上公司注册，是互联网线上虚拟园区，通过互联网的办法提供线下园区几乎所有的配套服务。除电子营业执照办理外，还能提供政策申报与兑现、线上培训、引导基金等服务。
宜选科技是全国领先的数字外贸营销产品与服务的提供商，致力于帮助外贸企业进行一站式海外推广，实现独立外贸电子商务，且是国内唯一实现按商机付费的外贸服务平台。
广州代理注册公司,记账报税,：13697404213。代办公司变更,注册商标等,拥有十年从业经验积累。地址:广州越秀区瑶泉街5号山西大厦2302室(地铁三元里站C2出口)。
霸气应用（www.87797.cn）中国最比较具备影响力的手机数码中文门户，包括安卓、iPhone、iPad、WindowsPhone、芒果等系统，24小时更新手机游戏游戏、软件应用，发布最新的原创游戏攻略、视频攻略以及软件教程评测，努力做中国游戏软件应用下载站
任福顺烧鸡,任福顺酱香牛腱,任福顺虎皮凤爪,任福顺香卤猪蹄
聊城市金山钢管有限公司是一家专注钢筋套筒,直螺纹连接套筒,冷挤压套筒,金山套筒的生产厂家,公司产品规格齐全,现货充足,欢迎您的来电18063580866
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
人工智能机器人高新科技技术的运用与大数据的运用，使得机器可以无障碍的与人类进行交流，起到陪伴的作用，更有一些的课程项目，会给提供合格的教学服务，智伴机器人是这当中很受欢迎的加盟项目，智伴机器人是高新科技项目，它当中拥有多项功能，有诗词歌赋，加减程序，相声歌剧等，这些项目可提高孩子的学习成绩，塑造好的品牌形象，那么现在智伴机器人如何加盟...。
在大多数机器学习竞赛中，特诊工程的质量通常决定着整个作品的得分与排名，也是参赛者们非常看重的一部分，在GitHub上，作者Nomi，专注于计算机视觉与嵌入式技术，也是tiny，dnn的原作者，向我们介绍了一个面向kaggle数据科学和离线竞赛的实用工具库nyaggle，可供开发者专用于特征工程与验证，在机器学习和模式识别中，特征工程的...。
科技界从来不缺神话，经过2016大数据、物联网、人工智能、AR，VR等突破性的洗礼，2017年科技界精彩再续，各类黑科技大招一触即发，3月28日，在深圳，双创周，的举办地深圳软件产业基地，国家高新技术企业神画科技带来了一场盛大的，创·神话，触·梦想，主题发布，搭载基于触控技术而创新性研发出的投影电子白板技术的神画TT系列正式在发布会上...。
2016年9月，国内首台公安智能安保机器人AnBot，中文名，深圳小安，在深圳机场正式上岗，24小时自动巡逻，并配备了电防暴叉、电击枪的深圳小安立刻受到了一众国内外媒体的关注，其实，它还可以进行智能语音交互，回答关于补办身份信息、航班动态等方面的提问，小安的语音交互系统使用的是灵聚智能的技术，深圳小安机器人，成立于2013年6月的...。
近日，库克频繁出现在媒体中，并且先后在深圳和日本等地亮相，而在他近期的讲话中，库克的言行举止均透露出对VR、AR、AI、汽车四个，保密，方向的重视，近日，库克在接受媒体专访时着重讲述了自己对VR和AR的看法，为何更看好AR库克的观点是，相比于虚拟现实VR，增强现实具备增强人类体验的能力，是人感知的延伸，使得它比虚拟现实技术更可能成功，...。
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
雷锋网AI科技评论按，作为最久负盛名的机器学习顶会之一，今年NeurIPS2019在召开之前就消息不断，在今年论文审稿期间，NeurIPS2019程序委员会主席专门发布声明称，19篇论文因一稿多投被拒收，一时造成热议；而在会议近一个月前，多位黑人参会者们申请加拿大签证被拒的消息引起了AI学者们纷纷为其发声并对近年来签证问题的讨论展开了...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
新智驾按，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交...。
腾讯信息安全争霸赛，TCTF，2020决赛如约而至9月26日，9月27日巅峰之战，一决高下关于今年必看亮点，我们已经提前准备好了无论，圈内圈外，，无论你是CTFer、安全从业者还是互联网从业者，哪怕只是普通吃瓜网友，都能在这次的直播里找到自己的菜，首次线上比赛，顶尖战队隔空较量TCTF决赛每年都是线下举办，今年由于特殊原因，首次采取了...。
RenovoAuto是一家来自加州Campbell的新创公司，虽然成立于2010年，但这家公司对大众而言，还名不见经传，2014年，Renovo曾推出了一款双座电动超跑并命名为RenovoCoupe，这辆车在圆石滩车展亮相一个月后，Renovo就宣布拿到TrueVentures的投资，出乎意料的是，就当外界认为Renovo要集结力量挑...。
IEEExATEC科技思享会是由专业技术学会IEEE与前沿科技探索社区ATEC联合主办的技术沙龙，邀请行业专家学者分享前沿探索和技术实践，助力数字化发展，随AI技术的不断深入发展，医学人工智能应用如雨后春笋般迅速涌现，在医疗领域遍地开花，AI具有智能化、自动化的特点，能够通过强大算力解锁复杂数据、处理海量数据，在医学变革过程中发挥着无...。
CentOS要停止更新了，盯着电脑，某大型企业数字化部门的负责人彭素素看到这个消息，不仅在心里发出了一声惊呼，2020年，CentOS停止更新的消息，不仅彭素素所在的企业，对于不少正在使用CentOS的厂商来说，几乎犹如晴天霹雳——要么忍受停更的免费版，漏洞、Bug频出；要么花钱购买RHEL，稳定性是有了保障，但成本陡增，如果脱离...。
外地期间11月11日，日本政府召开内阁会议，石破内阁群体辞职，10月1日，石破茂入选日本第102任首相，上马8天后即发表遣散众议院，创下了战后首相入选后遣散众议院的最快纪录，10月27日，新一届众议院选举启动投计票，结果由自民党和公明党组成的执政联盟失利，未能取得新一届众议院过半席位，依据日本宪法规则，众议院选举举办后的30天内，必定...。
