2019 谷歌新智能体Dreamer将亮相NeurIPS 数据效率比前身PlaNet快8个小时 (2019谷歌九八网)

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

在具有挑战性的环境中,一些人工智能系统通过利用过去经验所提供的世界表象来实现目标。研究人员将这些应用推广到新的情况,使它们能够在以前从未遇到过的环境中完成任务。

事实证明,强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型,并通过扩展来促进新行为的学习。

雷锋网消息,近日,来自Google、Alphabet子公司DeepMind和多伦多大学的研究人员发表了一篇名为《梦想控制:通过潜意识的学习行为》的新研究,他们开发了一个增强型学习智能体Dreamer,通过内化一个世界模型,并通过通过潜在的“想象力”来提前计划选择行动。

他们说,Dreamer不仅适用于任何学习目标,而且在数据效率、计算时间以及最终性能方面都超过了现有的方法。

在它的整个生命周期中,无论是交错还是并行,Dreamer都会学习一个latent dynamics model(潜在动力学模型),以预测动作和观察结果的回报。在这种情况下,“latent dynamics model”是指从图像输入中学习并执行计划以收集新经验的模型。

“潜在”表示它依赖于隐藏状态或潜在状态的紧凑序列,这使它能够学习更多抽象的表示形式,例如对象的位置和速度。使用编码器组件,有效地将来自输入图像的信息集成到隐藏状态中,然后及时地将隐藏状态向前投影以预测图像和奖励。

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:Dreamer完成一个摆动钟摆的任务。中间显示45步预测

Dreamer使用了一个多部分的latent dynamics model,这个模型的结构有些复杂。“表示”位对观察和动作进行编码,而“过渡”位则在没有看到会引起观察的情况下预见状态。第三个组件(奖励组件)根据给定的模型状态来投影奖励,而行为模型将实施学习的策略并旨在预测可解决想象的环境的行为。最终,价值模型评估行动模型实现的预期想象奖励,而观察模型提供反馈信号。

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在迷宫中导航。中间显示45步预测。

雷锋网了解到,在一系列实验中,研究人员测试了Dreamer在DeepMind Control Suite中的20个视觉控制任务上的效果,DeepMind Control Suite是一种用于评估机器学习驱动的代理的仿真软件。

他们首先使用Nvidia V100图形芯片和10个处理器内核来训练它,每次培训运行一次。他们说,控制套件上每106个环境步骤花费了9个小时。(相比之下,Google的Dreamer前身PlaNet花了17个小时才达到了类似的性能。)

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在玩Atari游戏(拳击)。中间显示45步预测。

研究人员报告说,Dreamer有效地利用了学习的世界模型来从少量经验中进行概括,并且它的成功证明了,通过潜在的想象力进行的学习行为可以胜过顶级方法。他们还说,Dreamer的价值模型即使在短期计划中也表现良好,在20个任务中的16个(有4个打成平手)上表现优于其他模型。

研究人员写道:“未来,关于表征学习的研究可能会将潜在的想象力扩展到视觉复杂性更高的环境中,”研究人员计划在本周温哥华的NeurIPS 2019上展示他们的工作。Dreamer项目的代码可在上公开获得。

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
沈阳鑫源波纹管制造有限公司

沈阳鑫源波纹管13804009908主要产品从模片成型到波纹管的焊接及检测实现流水线作业,产品生产效率高,质量可靠。

京东下载2024安卓最新版

【豌豆荚】为你提供京东APP安卓版下载,历史版本、旧版下载,查看2024最新京东手机版介绍、应用截图、网友评论,方便快捷的将安卓版京东应用免费下载到手机。

防爆吸尘器

昆山科来圣环保科技有限公司是一家专业提供各种防爆吸尘器的公司,在这里您可以了解到工业防爆吸尘器|车间防爆吸尘器|粉尘防爆吸尘器|气动防爆吸尘器|进口防爆吸尘器|电动防爆吸尘器,金属粉尘/木屑/小型防爆吸尘器等一系列的防爆吸尘器产品信息,科来圣环保欢迎您的来电咨询!

拉加网

拉加网是互联网上一个有逼格的体育文章分享网站!

迈畅历史人物网

历史人物,它指在历史发展中起过重要影响,在历史长河中留下足迹,在历史上有明确的记载,并对人类历史进程的发展起到推动作用的人物,评价历史人物对于研究人类历史的演进具有重要意义

西安卓越标识科技有限公司

西安卓越标识科技有限公司不干胶标签生产制造10年,800多种标签品种,支持特种标签定制,专注为您提供标签应用整体解决方案。

TVG写真

TANGVISION官方网站,TVG官网,个性写真品牌,TANGVISION杂志级的拍摄体验,TANGVISION写真,TANGVISION婚纱摄影,TVG写真TVG婚纱照网红摄影个人写真闺蜜写真肖像写真婚纱摄影婚纱照

郑州兽药公司

在郑州兽药公司和河南禽药畜药厂家中,郑州鑫世农长期致力于安卡拉病毒、滑液囊支原体病、腺胃炎、大肠杆菌病、呼吸道病等鸡病猪病特效中药的研制与销售,其精心研制的鸡药、猪药,如抗病毒类、抗寄生虫类、鼻炎呼吸道类、消毒类、营养保健类、肠道类及微生态制剂中药类等禽药畜药,绿色环保,价格实惠,包退包换,获得绿色养殖户的一致好评,是国内知名禽药、畜药研发生产厂家。

中国孕婴童网

中国孕婴童网-启航孕婴童网,提供母婴用品和婴儿用品加盟招商信息,发布婴儿用品品牌资讯和孕婴童行业报道,介绍最新婴儿用品加盟店和母婴用品加盟店,展示婴儿用品店里的畅销母婴用品,是婴儿用品招商加盟的首选平台与母婴网络品牌宣传中心。

煌隆wzam

H+是一个完全响应式,基于Bootstrap3最新版本开发的扁平化主题,她采用了主流的左右两栏式布局,使用了Html5+CSS3等现代技术

全局底部横幅