只需1 (只需12个简单的步骤)

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区
EfficientZero的性能接近 DQN(Deep Q-Learning)在 2 亿帧时的性能,但消耗的数据却减少 500 倍。

近日,一项研究在学术界引起了广泛的关注和热议。有消息称,Deep Mind和Google已经在内部关门开会讨论了。粉丝众多的科技向youtube博主Yannic kicher甚至专门做了半个小时的视频来讲解这篇论文。学者们更是用“completely game- changing”、“major development in RL”、“this is impressive”来形它。其团队老师本人也在推特上表示: 在使用相同数据的情况下,这是RL智能体第一次直接从像素中获得了超越人类的性能!这会让通用强化学习更接近真实世界的场景,比如机器人的采样效率会是关注重点。

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区

现在,就让我们隆重的介绍下本文的主角—— EfficientZero

EfficientZero算法是在清华大学交叉信息研究院高阳团队的新研究《使用有限数据掌控Atari游戏》( Mastering Atari Games with Limited>EfficientZero的性能接近DQN(Deep Q-Learning)在 2 亿帧时的性能,但消耗的数据却减少了500 倍! 它能够在贴近现实复杂情况的Atari(雅达利)游戏中,从零训练并只需两个小时,就可达到同等条件下人类平均水平的190.4%,或116.0%的中值性能。

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区

样本效率一直是强化学习中最“令人头疼”的挑战,重要的方法需要数百万(甚至数十亿)环境步骤来训练。一种从MuZero模型改进而来的高效视觉RL算法—— EfficientZero,该模型从零开始训练,最终在Atari中仅用两个小时的训练数据上就超过了经过相同条件下的的人类平均水平。

MuZero是通过将基于树的搜索与经过学习的模型相结合,可以在一系列具有挑战性和视觉复杂的领域中,无需了解基本的动态变化即可实现出色性能。AI科技评论在以往的文章中对MuZero有过报道: DeepMind又出大招!新算法MuZero登顶Nature,AI离人类规划又近了一步 。那为什么会选择Atari游戏呢?Atari 游戏场景繁多,规则各异,一定程度上贴合现实复杂环境,因此长期被当作验证强化学习算法在多因素环境下的性能测试标准。EfficientZero的低样本复杂度和高性能可以使强化学习更接近现实世界的适用性。

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区

如图所示,EfficientZero在人类平均标准得分中位数上分别比之前的SoTA性能出色170%和180%。是第一个在Atari 100k基准上优于人类平均性能的算法。

强化学习在挑战性的问题上取得了巨大的成功。如2015年DeepMind研发的DQN网络 、击败了中国围棋世界冠军柯洁的AlphaGo、和会在Dota2中打团战的OpenAI Five等等。但这些都是站在巨大数据量的“肩膀上”训练出来的策略。像AlphaZero从国际象棋小白到顶尖高手需要完成2100万场比赛,一个职业棋手每天大约只能完成5场比赛,这意味着人类棋手要11500年才能拥有相同的经验值。

在模拟和游戏中应用RL算法,样本复杂性不成阻碍。当涉及到现实生活中的问题时,例如机器人操作、医疗保健和广告推荐系统, 在保持低样本复杂性的同时实现高性能是能否可行的至关钥匙。

过去几年,我们在样本高效强化学习上已有许多成绩。来自真实环境的数据和来自模型的“想象数据”都可以训练策略。但大多数成功都是在基于状态的环境中。比如在基于图像的环境中,鱼和熊掌不可兼的情况比比皆是,MuZero和 Dreamer V2展示了超越人类的表现,但样本效率不高;SimPLe等其他方法非常有效,但性能较差。最近,在数据高效机制中,中数据增强和自监督方法应用无模型方法取得一定成功。然而,却依然达不到人类预期的水准。

为了提高样本效率并保持优越的性能,自监督环境模型、减轻模型复合误差的机制和纠正非策略问题的方法这三点对基于模型的视觉RL智能体至关重要。EfficientZero在MuZero的基础上,对这三点进行了改进:“利用时序预测一致性 (temporal contrastive consistency),减少预测回报的不确定性 (aleatory uncertainty) 以及纠正离线策略价值的偏移 (off-policy correction)。”

在对DeepMind Control (DMControl)套件的模拟机器人环境进行的实验中,EfficientZero实现了最先进的性能,优于直接从真实状态中学习的模型state SAC,这进一步验证了EfficientZero的有效性。被有限数据“扼住”深度强化学习算法“喉咙”的时代也许不会再有了。

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区

高阳 :博士,清华大学交叉信息研究院助理教授。博士毕业于美国加州大学伯克利分校,本科毕业于清华大学计算机系。主要研究计算机视觉与机器人学。

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区

原创文章,未经授权禁止转载。详情见 转载须知 。

只需1/500数据便可掌握Atari游戏!清华叉院助理教授提出小数据RL模型,引爆AI社区

全局中部横幅
江苏富林医疗设备有限公司

江苏富林医疗设备有限公司致力于专业医疗设备和家庭保健产品的研究与开发。打造顶尖医疗器械制造中心,为客户创造最大的经济效益。公司现有员工200多人,拥有先进的研发中心、一流的生产线、完善的销售渠道以及贴心服务的售后团队。

中文精选小游戏,中文精选小游戏大全,4399中文精选小游戏全集,4399小游戏

4399中文精选小游戏大全收录了国内外中文游戏精选类小游戏、中文版小游戏、中文做饭小游戏、中文塔防小游戏、中文小游戏下载。好玩就拉朋友们一起来玩吧!

财融圈

财务招聘金融招聘会计招聘校园招聘应届生招聘求职全职实习证券招聘证券投行招聘投行券商基金信托审计招聘审计税务银行招聘银行保险期货外汇租赁IPO会计投资PEVC融资投融资理财互联网金融职业规划问答社区财务问答税务咨询金融问答InvestmentFinancefinancingTaxAccountingAuditFunSecuritiesJobRecruitment

延边广播电视台(朝文)

중국조선족의중심채널,연변라지오TV넷,연변라지오TV방송국,연변텔레비죤방송국,연변TV방송국,연변인터넷TV,www.iybtv.com,연변뉴스,연변위성,연변축구,연변노래,연길뉴스,연변정보,연변조선족,중국조선족

南昌丰益肛肠医院

南昌丰益肛肠医院暨南昌最好的肛肠医院,南昌丰益中医肛肠医院是一所以肛肠为特色的医保定点南昌肛肠医院排名第一。

郑州跑步机,河南按摩椅,健身器材,速尔跑步机,西屋按摩椅,艾力斯特按摩椅,乔山跑步机,荣泰按摩椅,奥佳华按摩椅,戴美斯健身器材,健身房器材

弘康体育是从事跑步机,按摩椅,健身器材的专业供应商-400-6789-397,旗下有乔山,速尔,BH,泰诺健,力健,星驰,荣泰,奥佳华,星牌,戴美斯,红双喜等国内国际一线品牌,为消费者提供专业科学全方位的健身服务.

苏州电商代运营,食品电商代运营,苏州短视频代运营

浩维网络,成立于2007年,是专业的苏州电商代运营和苏州短视频代运营公司,业务涉及苏州天猫代运营、京东代运营等,特别是对食品电商代运营有独特的运营方法。公司成立15年来,服务万达,周庄等国内上百家知名品牌,一致获得客户的认可。找苏州电商代运营公司和苏州短视频代运营就来浩维,专业、专心!

闻世手抄报

闻世手抄报提供素材范文、手抄报、简笔画、黑板报、折纸等图片大全以及各种文库资料等,希望能够帮助大家解决碰到的问题。

伊津政电线电缆(上海)有限公司

伊津政电线电缆(上海)有限公司伊津政电线电缆(上海)有限公司-伊津政电线电缆(上海)有限公司是日本株式会社IZUMASA100%投资设立的外商独资企业,成立于2008年。我公司作为专业销售电线电缆的商社,与日本各大电线厂家间建立了良好的合作和信赖关系。我公司主要提供目前国内无法生产的日本及德国品牌的高端电线电缆产品伊津政电线电缆(上海)有限公司于2008年1月28日设立,是日本IZUMASA在中国100%出资的企业。总公司在日本大阪,已有75年的历史的电线电缆公司。我司是日本进口电缆代理商,主业务是日本进口机器人电缆/移动橡胶电缆、进口补偿导线,拖链电缆,UL认证电缆,PSE认证电缆,多连复合拖链电缆等代理。提供机器人线缆定制生产。大电ロボトップ机器人电缆起订量10米为单位切断销售;专业的日本工程师提供电线电缆的技术支持。伊津政电线电缆(上海)有限公司-伊津政电线电缆(上海)有限公司是日本株式会社IZUMASA100%投资设立的外商独资企业,成立于2008年。我公司作为专业销售电线电缆的商社,与日本各大电线厂家间建立了良好的合作和信赖关系

济南看白癜风好的医院【官方网站】

济南天大白癜风医院专注于白癜风疾病的诊疗,济南天大白癜风医院是一所集白癜风预防、临床治疗、科研为一体的二级甲等医院,医院特色诊疗技术“黑色素细胞激活术”技术激活患者自身黑色素细胞产生黑色素咨询电话:4006688678!

优品飞旅游网

优品飞旅游网提供全国精选旅游目的地推荐,详细旅游攻略和特惠机票酒店预订服务,让您轻松规划完美旅行。

作文大全

98作文网为为广大中小学生提供全面的小学生作文,初中作文,高中作文等各年级优秀作文的网上交流平台,包括600字作文大全、中考满分作文、高考满分作文、英语作文等作文范文,同时欢迎大家踊跃投稿。

全局底部横幅