只需1 (只需12个简单的步骤)
近日，一项研究在学术界引起了广泛的关注和热议。有消息称，Deep Mind和Google已经在内部关门开会讨论了。粉丝众多的科技向youtube博主Yannic kicher甚至专门做了半个小时的视频来讲解这篇论文。学者们更是用“completely game- changing”、“major development in RL”、“this is impressive”来形它。其团队老师本人也在推特上表示： 在使用相同数据的情况下，这是RL智能体第一次直接从像素中获得了超越人类的性能！这会让通用强化学习更接近真实世界的场景，比如机器人的采样效率会是关注重点。
现在，就让我们隆重的介绍下本文的主角—— EfficientZero 。
EfficientZero算法是在清华大学交叉信息研究院高阳团队的新研究《使用有限数据掌控Atari游戏》（ Mastering Atari Games with LiMITed>EfficientZero的性能接近DQN（Deep Q-Learning）在 2 亿帧时的性能，但消耗的数据却减少了500 倍！ 它能够在贴近现实复杂情况的Atari（雅达利）游戏中，从零训练并只需两个小时，就可达到同等条件下人类平均水平的190.4%，或116.0%的中值性能。
样本效率一直是强化学习中最“令人头疼”的挑战，重要的方法需要数百万(甚至数十亿)环境步骤来训练。一种从MuZero模型改进而来的高效视觉RL算法—— EfficientZero，该模型从零开始训练，最终在Atari中仅用两个小时的训练数据上就超过了经过相同条件下的的人类平均水平。
MuZero是通过将基于树的搜索与经过学习的模型相结合，可以在一系列具有挑战性和视觉复杂的领域中，无需了解基本的动态变化即可实现出色性能。AI科技评论在以往的文章中对MuZero有过报道： DeepMind又出大招！新算法MuZero登顶Nature，AI离人类规划又近了一步 。那为什么会选择Atari游戏呢？Atari 游戏场景繁多，规则各异，一定程度上贴合现实复杂环境，因此长期被当作验证强化学习算法在多因素环境下的性能测试标准。EfficientZero的低样本复杂度和高性能可以使强化学习更接近现实世界的适用性。
如图所示，EfficientZero在人类平均标准得分中位数上分别比之前的SoTA性能出色170%和180%。是第一个在Atari 100k基准上优于人类平均性能的算法。
强化学习在挑战性的问题上取得了巨大的成功。如2015年DeepMind研发的DQN网络 、击败了中国围棋世界冠军柯洁的AlphaGo、和会在Dota2中打团战的OpenAI Five等等。但这些都是站在巨大数据量的“肩膀上”训练出来的策略。像AlphaZero从国际象棋小白到顶尖高手需要完成2100万场比赛，一个职业棋手每天大约只能完成5场比赛，这意味着人类棋手要11500年才能拥有相同的经验值。
在模拟和游戏中应用RL算法，样本复杂性不成阻碍。当涉及到现实生活中的问题时，例如机器人操作、医疗保健和广告推荐系统， 在保持低样本复杂性的同时实现高性能是能否可行的至关钥匙。
过去几年，我们在样本高效强化学习上已有许多成绩。来自真实环境的数据和来自模型的“想象数据”都可以训练策略。但大多数成功都是在基于状态的环境中。比如在基于图像的环境中，鱼和熊掌不可兼的情况比比皆是，MuZero和 Dreamer V2展示了超越人类的表现，但样本效率不高；SimPLe等其他方法非常有效，但性能较差。最近，在数据高效机制中，中数据增强和自监督方法应用无模型方法取得一定成功。然而，却依然达不到人类预期的水准。
为了提高样本效率并保持优越的性能，自监督环境模型、减轻模型复合误差的机制和纠正非策略问题的方法这三点对基于模型的视觉RL智能体至关重要。EfficientZero在MuZero的基础上，对这三点进行了改进：“利用时序预测一致性 (temporal contrastive consistency)，减少预测回报的不确定性 (aleatory uncertainty) 以及纠正离线策略价值的偏移 (off-policy correction)。”
在对DeepMind Control (DMControl)套件的模拟机器人环境进行的实验中，EfficientZero实现了最先进的性能，优于直接从真实状态中学习的模型state SAC，这进一步验证了EfficientZero的有效性。被有限数据“扼住”深度强化学习算法“喉咙”的时代也许不会再有了。
高阳 ：博士，清华大学交叉信息研究院助理教授。博士毕业于美国加州大学伯克利分校，本科毕业于清华大学计算机系。主要研究计算机视觉与机器人学。
原创文章，未经授权禁止转载。详情见 转载须知 。
新一代视频风行网,提供免费电影、电视剧、综艺、动漫、体育等视频内容的在线观看和下载.累积7亿用户的全平台,为传媒机构和品牌客户开设了官方视频服务账号,通过大数据分析与个性推荐订阅技术,实现海量独家内容与用户个性需求即时匹配.
本网站提供全国300多个城市的交通违章记录查询,是全国最专业、最方便、最新最全的交通违章查询系统！
江苏久远动力设备有限公司是专业的发电机厂家和柴油发电机组厂家,产品有玉柴发电机组,康明斯发电机组,沃尔沃发电机组,帕金斯发电机组,潍柴发电机.柴油发电机组价格公道.
www.9.biz|商业搜索引擎，是中小企业实现采购搜索和网络营销的B2B电子商务平台。帮助中小企业更快，更有效的达成交易。
苏州市城韵箱房有限公司：移动别墅、农庄钓鱼房、住人集装箱豪华房屋酒店、豪华箱式房、景观房、移动超市商铺、移动豪华办公室、移动岗厅、移动公厕、折叠箱、住人集装箱、活动板房、工程护栏及各位种配套材料的供应。公司拥有现代化标准厂房3000多平方米，员工30多名。多年操作大型活动板房工程的经验！
选用沈阳电采暖产品认准●稀结集团●专业生产电采暖锅炉\电加热锅炉,是从事半导体电锅炉设计、生产、销售、安装为一体的煤改电供暖设备制造企业。
妈妈亲子鉴定中心专业提供亲子鉴定服务，保障亲子关系真实可靠。我们拥有专业的团队和先进的技术设备，确保测试准确性和隐私保护。妈妈亲子鉴定中心，您值得信赖。
有个朋友依托50万小微企业私域，帮助企业解决发展疑难杂症
溧阳市凤凰网络科技有限公司成立于2006年，是一家专业的电子商务运营服务商和品牌方案服务提供商，公司专注于为企业提供一站式网络营销服务。
秉亨模具有限公司是一家专业从事塑胶模具制造和塑胶加工的公司。我们拥有先进的气辅注塑技术和双色模具制造能力，为客户提供高品质的注塑工程服务。无论您需要定制模具还是进行塑胶加工，我们都能够满足您的需求。欢迎联系我们，与我们合作共创美好未来！
河东手机站为用户提供最新海量安卓软件、安卓游戏、苹果软件、苹果游戏下载，并且每日更新海量手机软件与相关app操作教程！
EfficientZero的性能接近DQN，DeepQ，Learning，在2亿帧时的性能，但消耗的数据却减少500倍，近日，一项研究在学术界引起了广泛的关注和热议，有消息称，DeepMind和Google已经在内部关门开会讨论了，粉丝众多的科技向youtube博主Yannickicher甚至专门做了半个小时的视频来讲解这篇论文，学者...。
来自清华大学的高阳团队在最新一届机器人顶级会议CoRL2024，ConferenceonRobotLearning，中荣获X，EmbodimentWorkshop最佳论文奖，CoRL是全球机器人学习领域的顶级学术会议，每年汇聚来自全球顶尖学府的创新研究，评选出的最佳论文通常代表着前沿技术与重大突破，清华团队此次获奖的论文标题为，Dat...。
河北高阳：项目建设热潮涌蓄足发展新动能,高阳县,保定市,河北省,河北高阳,经济开发区,项目建设进度
9月20日，微鲸VR在上海发布了首款VR头盔产品——基于高通方案，采用骁龙820芯片的VR一体机X1，售价为3999元，京东众筹价2999元起，众筹已于9月20日上线，一体机，水冷散热是亮点微鲸VR一体机X1详细参数，由于高通方案，这款一体机从配置上来看并没有太大的特别之处，和其它高通方案的产品类似，倒是散热方面这款产品要多下了一些功...。
鼎香坊里脊肉饼是销售小吃食品的品牌，公司选用鲜肉与蔬菜进行肉饼制作，别具风味的餐品打开了消费者的心扉，销量呈现出节节攀升的趋势，现如今公司已在多地建立起营业网点，其整体实力由此可见一斑，鼎香坊里脊肉饼的持续发酵很快引起业内外人士的持续关注，其中一些人看好项目前景，向本站提出鼎香坊里脊肉饼怎么加盟的问题，对此本文将作出清晰解答给读者们提...。
现在很多孩子不喜欢吃饭，可能做的不符合自己胃口，看起来没有食欲，所以在吃饭方面大部分家长都非常烦恼，孩子不好好吃饭对身体就起到很大的影响，不能在食物中获得更多营养，所以家长比较操心，大部分家长为了想方设法让孩子吃饭，经常会带孩子到亲子餐厅内体验，近几年来亲子餐厅就非常受欢迎，也出现了很多品牌，大家如果感兴趣可以来了解一下亲子餐厅加盟店...。
说到贝尔安亲做得好的校区就不得不提北辰校区，入行6年，第二年就开分校，从1个孩子到200个孩子！，刚来北辰这边时，这里可以说是一片荒芜，北辰校区王校长在回忆起刚来的情形，用了，荒芜，来形容，这不禁让人好奇她们付出了怎样的，洪荒之力，，才让希望之花胜利绽放，对教育有情怀，孩子的每一次改变充满意义王校长之前是在北京一家英语培训机构的老师...。
近年来，世界经济增长乏力，国际局势动荡不安，针对国际社会和平赤字、发展赤字、治理赤字的严峻挑战，中国以推动人类共同发展为己任，提出了一系列解决全球问题的中国方案，习近平总书记强调坚定不移推进经济全球化，引导好经济全球化走向，提出打造富有活力的增长模式、开放共赢的合作模式、公正合理的治理模式、平衡普惠的发展模式，为全球经济化解矛盾、走出...。
