历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军 (考研历史最高分)

文章编号:44145 资讯动态 2024-12-09 MinecraftAI腾讯绝悟

绝悟AI开始挑战更复杂的开放世界游戏环境了。

Minecraft (中文译名《我的世界》)是全球最畅销的开放世界3D游戏。随机生成的开放地图、自由灵活的玩法、多线程长链条任务,给AI研究带来了极大挑战。针对Minecraft的复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的钻石。

12月8日,第三届MineRL竞赛主赛道(research track)发布成绩,AI的“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,算法框架可复用于其他复杂决策环境。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

(论文链接:)

MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、openAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。

腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

(绝悟AI以压倒性优势获得历史最高分,今年榜单)

极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。

此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。

这次比赛的目的在于促进样本高效(Sample-efficient)游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。

在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法(RepresentationLearning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)

随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习(Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。

对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤(ConsistencyFiltering)与基于投票的集成学习(EnsembleLearning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。

利用高度复杂、高度定制化的游戏场景作训练场,腾讯AI Lab的深度强化学习智能体正不断走近现实。棋牌游戏AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型AI “绝悟”从MOBA走向FPS、RTS,再到如今的3D开放世界MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。

随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
中国南方航空官网

中国南方航空为您提供国内国际飞机票查询及票价信息,包括飞机票预订、机票改签、每月28日南航明珠会员服务和低价国内国际机票、往返机票、打折机票及航班信息.是国内专业的订机票及机票查询网站,南航全国客服热线95539.

400靓号网

400电话、400电话申请、400电话办理、400电话多少钱、400电话收费、企业400电话、售后服务电话

六盘水司南科技有限公司

六盘水司南科技有限公司致力于软件设计与开发,系统集成、网络工程、网站设计与开发,是一家专门提供合理的信息大数据一体化解决方案的互联网企业,咨询热线0858-8784838。

卓而越考研

卓而越考研|南京考研培训班哪家好,考研辅导班怎么选,考研集训营哪家好.卓而越考研|封闭式考研集训营,寄宿全日制考研班.唯一拥有自建集训校园的辅导班,按照基础分班定制教学,核心师资都是名校副教授以上名师,学习2个月内不满意无条件退费。

营销型网站建设公司

【优术网络】12年老牌东莞网站建设公司,独立建站专利,专业提供:营销型网站建设、高端网站建设、品牌网站建设、网站设计等,80人技术团队,提供一站式东莞网站制作服务,做网站找优术。

宁波市湖北商会

宁波市湖北商会是在湖北、宁波两地政府支持下,由在宁波创业的湖北籍热心企业家自愿组成,经宁波市民政局批准成立的具有独立法人资格的社会团体。2009年3月,宁波市湖北商会在湖北省驻江浙沪办事处的指导下开始筹备工作,同年11月,经湖北省工商联、宁波市工商联同意后报宁波市民政局批准筹备成立。首届宁波市湖北商会推选著名企业家、波导集团董事长徐立华先生担任会长,二届推选宁波泰茂车业有限公司董事长刘鹏先生担任会长。并在2010年1月召开首届商会会员大会和成立大会,2013年12月召开换届大会。自成立以来,先后被市人民政府授予五有五好商会、信用等级AAAA商会。

智能运维平台

【深圳市智象科技-智能运维平台】是一家专业的企业级综合运维解决方案提供商,为客户提供一体化智能运维、CMDB和ITSM解决方案,建设一站式的AIOPS专家级解决方案。可以有效协助客户一站式自动化运维,降本增效。

百度关键词优化

好排名主要针对百度、搜狗和360搜索引擎开发的关键词按天扣费系统,seo关键词排名系统,帮企业网站快速提升关键词在搜索引擎里的排名位置。

腾讯云技术教程

腾讯云百科专注腾讯云CVM云服务器使用教程,包括腾讯云服务器/腾讯云数据库/腾讯云大禹BGP/云镜/腾讯云域名/腾讯云备案等帮助教程

海投网

【海投网2025校园招聘】为高校应届生网罗最全面的宣讲会、招聘、实习等校招求职信息,帮助大学毕业生找到最合适的工作,覆盖北京、上海、广州、武汉、西安、成都、南京、合肥、济南、长沙、天津、郑州、杭州、重庆、沈阳、福州、南昌、长春、哈尔滨、石家庄、太原、昆明、兰州、南宁、贵阳、海口、银川、西宁、呼和浩特、乌鲁木齐、拉萨等地区。

日研印刷材料(上海)有限公司

日研印刷材料(上海)有限公司是一家专业从事生产、销售印刷化学品企业。公司成立于1995年,是日研化学研究所株式会社的全资子公司,并先后在北京、青岛设立了办事处。 日研以产品种类齐全,品质优异而闻名于印刷业。公司于2004年荣获上海外商投资先进技术企业称号。

全局底部横幅