2019 谷歌新智能体Dreamer将亮相NeurIPS 数据效率比前身PlaNet快8个小时 (2019谷歌九八网)

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

在具有挑战性的环境中,一些人工智能系统通过利用过去经验所提供的世界表象来实现目标。研究人员将这些应用推广到新的情况,使它们能够在以前从未遇到过的环境中完成任务。

事实证明,强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型,并通过扩展来促进新行为的学习。

雷锋网消息,近日,来自Google、AlPhabet子公司Deepmind和多伦多大学的研究人员发表了一篇名为《梦想控制:通过潜意识的学习行为》的新研究,他们开发了一个增强型学习智能体Dreamer,通过内化一个世界模型,并通过通过潜在的“想象力”来提前计划选择行动。

他们说,Dreamer不仅适用于任何学习目标,而且在数据效率、计算时间以及最终性能方面都超过了现有的方法。

在它的整个生命周期中,无论是交错还是并行,Dreamer都会学习一个latent dynamics Model(潜在动力学模型),以预测动作和观察结果的回报。在这种情况下,“latent dynamics model”是指从图像输入中学习并执行计划以收集新经验的模型。

“潜在”表示它依赖于隐藏状态或潜在状态的紧凑序列,这使它能够学习更多抽象的表示形式,例如对象的位置和速度。使用编码器组件,有效地将来自输入图像的信息集成到隐藏状态中,然后及时地将隐藏状态向前投影以预测图像和奖励。

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:Dreamer完成一个摆动钟摆的任务。中间显示45步预测

Dreamer使用了一个多部分的latent dynamics model,这个模型的结构有些复杂。“表示”位对观察和动作进行编码,而“过渡”位则在没有看到会引起观察的情况下预见状态。第三个组件(奖励组件)根据给定的模型状态来投影奖励,而行为模型将实施学习的策略并旨在预测可解决想象的环境的行为。最终,价值模型评估行动模型实现的预期想象奖励,而观察模型提供反馈信号。

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在迷宫中导航。中间显示45步预测。

雷锋网了解到,在一系列实验中,研究人员测试了Dreamer在DeepMind Control Suite中的20个视觉控制任务上的效果,DeepMind Control Suite是一种用于评估机器学习驱动的代理的仿真软件。

他们首先使用NVIDIA V100图形芯片和10个处理器内核来训练它,每次培训运行一次。他们说,控制套件上每106个环境步骤花费了9个小时。(相比之下,Google的Dreamer前身PlaNet花了17个小时才达到了类似的性能。)

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在玩Atari游戏(拳击)。中间显示45步预测。

研究人员报告说,Dreamer有效地利用了学习的世界模型来从少量经验中进行概括,并且它的成功证明了,通过潜在的想象力进行的学习行为可以胜过顶级方法。他们还说,Dreamer的价值模型即使在短期计划中也表现良好,在20个任务中的16个(有4个打成平手)上表现优于其他模型。

研究人员写道:“未来,关于表征学习的研究可能会将潜在的想象力扩展到视觉复杂性更高的环境中,”研究人员计划在本周温哥华的NeurIPS 2019上展示他们的工作。Dreamer项目的代码可在上公开获得。

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
百度搜索资源平台

百度搜索面向合作伙伴的官方平台,为开发者、内容创作者、站点管理者等伙伴,提供优化工具、数据、课程、Q&A等服务,助力资源进入搜索,同时提供搜索项目合作机会,让优质资源脱颖而出。

北京房产网

北京我爱我家提供北京二手房信息、北京租房信息、北京二手房成交价格和北京二手房交易数据,是公认的北京房产网.找丰富房源,享放心服务就来北京我爱我家房产官网.

产品经理学习交流平台

墨思产品经理学习交流平台,与万千产品人共成长。从需求分析到用户体验,从产品原型设计到团队协作,一探产品经理的全方位能力。

湖北省物业服务和管理协会

湖北省内从事物业服务和管理的企业、事业单位(具有行政管理职能的事业单位除外)自愿组成的全省性、行业性、非营利性的社会团体,是在湖北省民政厅注册登记的具有法人资格的社会团体。

7k77游戏网

7k77为你提供炙手可热的网络游戏攻略、热门游戏资讯、人气网略游戏大全、是游戏攻略行业的整理者

一起学习吧

一起学习吧分享高考报名、高考成绩查询、高考查分网站、高考志愿填报、高考分数线预测、高考录取查询,为学子梦想加油!

安徽雨润仪表电缆有限公司【官网】

安徽雨润仪表电缆有限公司是一家生产、销售、研发为一体的综合性仪表、电缆生产厂家。

人工智能助力企业网站建设

结合人工智能算法,实现企业自主网站建设,济南网站定制、人工智能内容生成,打造自动化企业网站网络自媒体推广

有生意网(有生意网),B2B电子商务,供求信息,招商加盟,行业展会,企业采购,行业社区

有生意网(有生意网)是一家真正为中小企业服务的全球企业间(B2B)电子商务平台,为数千万网商提供海量商机信息和便捷安全的在线交易市场,也是商人们以商会友、真实互动的社区平台。目前唉客网已覆盖原材料、工业品、服装服饰、家居百货、小商品等24个行业大类,上千个专业的产品门户网站和服务频道。

电影天堂

电影天堂(www.dyttcn.net)最好的迅雷电影下载网,分享最新电影,高清电影下载,每天第一时间更新,本站是广大网友最认可电影更新最快的网站,欢迎网友体验!

建筑幕墙工程,建筑幕墙工程设计,防水防腐保温工程,高空外墙清洗保洁,幕墙检测维修维护

深圳伟达幕墙有限公司成立于2016年,公司拥有建筑幕墙工程专业承包一级资质,建筑幕墙工程设计专项乙级资质、防水防腐保温工程专业承包二级资质、高空外墙清洗保洁专业一级资质,并已完成四大体系认证;是一家致力于即有幕墙检测与维修维护的专业幕墙公司、集幕墙设计、幕墙施工管理、幕墙维护维修、幕墙改造提升、高档系统门窗加工销售于一体的专业幕墙公司,电话:13570863103/13688839878。

全局底部横幅