1v1胜率99.8% AI 腾讯绝悟 技术解读 2100场王者荣耀 (1v1胜率最高的英雄)
围棋被攻克之后，多人在线战术竞技游戏（MOBA）已经成为测试检验前沿人工智能的动作决策和预测能力的重要平台。基于腾讯天美工作室开发的热门 MOBA 类手游《王者荣耀》，腾讯 AI Lab 正努力探索强化学习技术在复杂环境中的应用潜力。本文即是其中的一项成果，研究用深度强化学习来为智能体预测游戏动作的方法，论文已被AAAI-2020接收。
此技术支持了腾讯此前推出的策略协作型 AI 「绝悟」1v1版本，该版本曾在今年8月上海举办的国际数码互动娱乐展览会China Joy首次亮相，在2100多场和顶级业余玩家体验测试中胜率达到99.8%。
除了研究，腾讯AI Lab与王者荣耀还将联合推出“开悟”AI+游戏开放平台，打造产学研生态。王者荣耀会开放游戏数据、游戏核心集群（Game Core）和工具，腾讯AI Lab会开放强化学习、模仿学习的计算平台和算力，邀请高校与研究机构共同推进相关AI研究，并通过平台定期测评，让“开悟”成为展示多智能体决策研究实力的平台。目前“开悟”平台已启动高校内测，预计在2020年5月全面开放高校测试，并且在测试环境上，支持1v1，5v5等多种模式；2020年12月，我们计划举办第一届的AI在王者荣耀应用的水平测试。
以下是本次入选论文的详细解读：
在竞争环境中学习具备复杂动作决策能力的智能体这一任务上，深度强化学习（DRL）已经得到了广泛的应用。在竞争环境中，很多已有的 DRL 研究都采用了两智能体游戏作为测试平台，即一个智能体对抗另一个智能体（1v1）。
其中 Atari 游戏和棋盘游戏已经得到了广泛的研究，比如 2015 年 Mnih et al. 使用深度 Q 网络训练了一个在 Atari 游戏上媲美人类水平的智能体；2016 年 Silver et al. 通过将监督学习与自博弈整合进训练流程中而将智能体的围棋棋力提升到了足以击败职业棋手的水平；2017 年 Silver et al. 又更进一步将更通用的 DRL 方法应用到了国际象棋和日本将棋上。
本文研究的是一种复杂度更高一筹的MOBA 1v1 游戏。即时战略游戏（RTS）被视为 AI 研究的一个重大挑战。而MOBA 1v1 游戏就是一种需要高度复杂的动作决策的 RTS 游戏。相比于棋盘游戏和 Atari 系列等 1v1 游戏，MOBA 的游戏环境要复杂得多，AI的动作预测与决策难度也因此显著提升。以 MOBA 手游《王者荣耀》中的 1v1 游戏为例，其状态和所涉动作的数量级分别可达 10^600和 10^18000，而围棋中相应的数字则为 10^170和 10^360，参见下表 1。
表 1：围棋与 MOBA 1v1 游戏的比较
此外，MOBA 1v1 的游戏机制也很复杂。要在游戏中获胜，智能体必须在部分可观察的环境中学会规划、攻击、防御、控制技能组合以及诱导和欺骗对手。除了玩家与对手的智能体，游戏中还有其它很多游戏单位，比如小兵和炮塔。这会给目标选择带来困难，因为这需要精细的决策序列和相应的动作执行。
此外，MOBA 游戏中不同英雄的玩法也不一样，因此就需要一个稳健而统一的建模方式。还有一点也很重要：MOBA 1v1游戏缺乏高质量人类游戏数据以便进行监督学习，因为玩家在玩 1v1 模式时通常只是为了练习英雄，而主流 MOBA 游戏的正式比赛通常都采用 5v5 模式。
需要强调，本论文关注的是 MOBA 1v1 游戏而非MOBA 5v5 游戏，因为后者更注重所有智能体的团队合作策略而不是单个智能体的动作决策。考虑到这一点，MOBA 1v1游戏更适合用来研究游戏中的复杂动作决策问题。
为了解决这些难题，本文设计了一种深度强化学习框架，并探索了一些算法层面的创新，对 MOBA 1v1 游戏这样的多智能体竞争环境进行了大规模的高效探索。文中设计的神经网络架构包含了对多模态输入的编码、对动作中相关性的解耦、探索剪枝机制以及攻击注意机制，以考虑 MOBA 1v1 游戏中游戏情况的不断变化。
为了全面评估训练得到的 AI 智能体的能力上限和策略稳健性，新设计的方法与职业玩家、顶级业务玩家以及其它在 MOBA 1v1 游戏上的先进方法进行了比较。
本文有以下贡献：
对需要高度复杂的动作决策的 MOBA 1v1 游戏 AI 智能体的构建进行了全面而系统的研究。在系统设计方面，本文提出了一种深度强化学习框架，能提供可扩展的和异步策略的训练。在算法设计方面，本文开发了一种用于建模 MOBA 动作决策的 actor-critic 神经网络。网络的优化使用了一种多标签近端策略优化（PPO）目标，并提出了对动作依赖关系的解耦方法、用于目标选取的注意机制、用于高效探索的动作掩码、用于学习技能组合 LSTM 以及一个用于确保训练收敛的改进版 PPO——dual-clip PPO。
在《王者荣耀》1v1 模式上的大量实验表明，训练得到的 AI 智能体能在多种不同类型的英雄上击败顶级职业玩家。
考虑到复杂智能体的动作决策问题可能引入高方差的随机梯度，所以有必要采用较大的批大小以加快训练速度。因此，本文设计了一种高可扩展低耦合的系统架构来构建数据并行化。具体来说，这个架构包含四个模块：强化学习学习器（RL Learner）、人工智能服务器（AI Server）、分发模块（Dispatch Module）和记忆池（Memory Pool）。如图 1 所示。
图 1：系统设计概况
AI 服务器实现的是 AI 模型与环境的交互方式。分发模块是用于样本收集、压缩和传输的工作站。记忆池是数据存储模块，能为RL 学习器提供训练实例。这些模块是分离的，可灵活配置，从而让研究者可将重心放在算法设计和环境逻辑上。这样的系统设计也可用于其它的多智能体竞争问题。
RL 学习器中实现了一个 actor-critic 神经网络，其目标是建模 MOBA 1v1 游戏中的动作依赖关系。如图2所示。
图 2：论文实现的actor-critic网络
为了实现有效且高效的训练，本文提出了一系列创新的算法策略：
1.目标注意力机制：用于帮助AI在 MOBA 战斗中选择目标。
2.LSTM：为了学习英雄的技能释放组合，以便AI在序列决策中，快速输出大量伤害。
3.动作依赖关系的解耦：用于构建多标签近端策略优化（PPO）目标。
4.动作掩码：这是一种基于游戏知识的剪枝方法，为了引导强化学习过程中的探索而开发。
5.dual-clip PPO：这是 PPO 算法的一种改进版本，使用它是为了确保使用大和有偏差的数据批进行训练时的收敛性。如图3所示。
图 3：论文提出的dual-clip PPO算法示意图，左为标准PPO，右为dual-clip PPO
有关这些算法的更多详情与数学描述请参阅原论文。
系统设置
测试平台为热门 MOBA 游戏《王者荣耀》的 1v1 游戏模式。为了评估 AI 在现实世界中的表现，这个 AI 模型与《王者荣耀》职业选手和顶级业余人类玩家打了大量比赛。实验中 AI 模型的动作预测时间间隔为 133 ms，这大约是业余高手玩家的反应时间。另外，论文方法还与已有研究中的基准方法进行了比较，其中包括游戏内置的决策树方法以及其它研究中的 MTCS 及其变体方法。实验还使用Elo分数对不同版本的模型进行了比较。
实验结果
探索动作决策能力的上限
表 3 给出了AI和多名顶级职业选手的比赛结果。需要指出这些职业玩家玩的都是他们擅长的英雄。可以看到 AI 能在多种不同类型的英雄上击败职业选手。
表 3：AI 与职业选手使用不同类型英雄比赛的结果
评估动作决策能力的稳健性
实验进一步评估了 AI 学习的策略能否应对不同的顶级人类玩家。在2019年8月份，王者荣耀1v1 AI对公众亮相，与大量顶级业余玩家进行了2100场对战。AI胜率达到99.81%。
表 4：AI 与不同顶级人类玩家的比赛结果
基准比较
可以看到，用论文新方法训练的 AI 的表现显著优于多种baseline方法。
图 4：击败同一基准对手的平均时长比较
训练过程中模型能力的进展
图 5 展示了训练过程中 Elo 分数的变化情况，这里给出的是使用射手英雄「狄仁杰」的例子。可以观察到 Elo 分数会随训练时长而增长，并在大约 80小时后达到相对稳定的水平。此外，Elo 的增长率与训练时间成反比。
图 5：训练过程中 Elo 分数的变化情况
控制变量研究
为了理解论文方法中不同组件和设置的效果，控制变量实验是必不可少的。表 5 展示了使用同样训练资源的不同「狄仁杰」AI 版本的实验结果。
表 5：控制变量实验
4、未来工作
本文提出的框架和算法将在未来开源，而且为了促进对复杂游戏的进一步研究，腾讯也将在未来把《王者荣耀》的游戏内核提供给社区使用，并且还会通过虚拟云的形式向社区提供计算资源。
雷锋网 AI 科技评论报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
致力于传播精品图书，第一时间刊发国内外文化图书资讯，为读者提供集阅读、写作、评书、购书的一站式服务。
青岛合美环保科技有限公司是一家集设计、研发、生产、销售、咨询、售后服务于一体的专业环保设备服务商;公司专注设计研发生产销售的商用洗地机,手推式洗地机,驾驶式洗地机、扫地机荣获多项国家专利，拥有专业高效的技术服务团队和营销队伍,业务遍布全国各地,产品远销海内外。
二手车之家,汽车之家旗下二手车交易平台,最大线上二手车交易市场,专业二手车交易网,提供最新二手车报价,二手车估价,保值率查询,个人二手车发布等服务,买卖二手车就上二手车之家
永享精心打造永享阀门，永享铜管，永享不锈钢等优良产品，以全系列、全规格、全通径的产品特色享誉全国
扬名苗木场是经工商局注册专业从事果树良种研究、良种筛选、栽培、推广于一体的综合性苗圃。本苗圃拥有自己的果树种植基地、繁育基地及果树研究所，种植面积达100余亩，拥有果树优良品种50多个，每年出圃果树超过30万株！苗木畅销全国，深得广大新老客户的信赖。
河北诺亚德汇人力资源服务有限公司
湖南桃花江竹材科技股份有限公司成立于2001年，是一家23年来专注于新型环保竹材研发与生产的高新技术企业和新三板创新层企业，也是国家知识产权优势企业、中国竹业标杆企业、农业产业化国家重点龙头企业、国家专精特新“小巨人”企业及中国竹藤品牌集群首批成员单位。
博宇建材网、博宇《涂料商情》、博宇《地坪商情》、博宇《保温商情》、博宇《防水商情》、博宇《壁纸商情》、涉及：涂料、地坪、保温、防水、壁纸等建材行业最新动态法规，求购、供应、行业最新报价、建材展会信息、建筑施工信息、招商加盟信息、工程招标信息、另有纸媒BY168comcn/cjy_by168@126.com、彩砂、天然彩砂、染色彩砂、天然岩片、染色岩片、复合岩片、玻璃珠、染色玻璃珠、反光玻璃珠。
官网(www.bovps.com)是专业提供全国海量优质的动态拨号VPS服务器，全国200+城市节点。自营机房实时秒换IP为企业/个提供IP解决方案。
一款专为GM统计的后台
绍兴市虹桥电线电缆有限公司是一家电线电缆生产厂家,提供高质量的工程电缆和家装电线.我们拥有丰富的经验,实力雄厚,产品质量可靠,价格实惠,可承接大量批发,欢迎来电合作:13252143191.
厦门0592人才网是厦门人才招聘网络平台，找工作及个人提供最准确,最全面的职位招聘信息,找工作,求职简历，个人简历模板,为企业提供人才招聘,同城网招聘，_找工作，人才最新招聘，帮助个人求职者与企业搭建最佳的人才招募和人才培养渠道！
随着社会的经济发展，人口的流动不断的增加，人们外出旅游或者是外出工作以及出差，在外的话，很多人都会选择酒店，酒店入住方便，而且拥有优越的生活条件，并且很多的孩子都会有常常去住酒店的想法，市面上的酒店品牌很多，而莹润酒店就是一家具有很高的商业价值的酒店，酒店的环境好，服务的质量高，并受到消费者的认可，一些创业者也想要加入酒店行业，以获得...。
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
很多人在周末的时候就会出门逛超市，购买自己日常生活需要的东西，现在大多数的人群都会选择智能超市，智能超市不需要排队，而且都是扫码付款，比较方便，因此也就出现了各种系列的智能超市品牌，E21智能超市一直都是有很强的实力，会为顾客提供贴心的服务，所售卖的产品种类很齐全，性价比很高，顾客都很喜欢去这个品牌超市购买东西，所以众多创业者发展了品...。
手机已经是生活必需品，人手一台，由于手机的快速发展也促使了手游行业迎来了迅速的扩展，现在多数人手机上都安装各类的手机游戏，休闲的时间玩玩手游打发时间，随着手游的广受欢迎，很多人开始加盟其中，龙创手游就是一个比较好的加盟项目，于是，大家都在问龙创手游加盟费，谁加盟过，接下来，跟着小编一起来看看吧！龙创手游本着玩家充值，你就收效的经营理念...。
其实有关面馆在市场上的发展还是很具有前景的，如今有很多人对于面食的追求也是比较高的，所以说选择加盟一家面馆，未来的发展也会很不错，但是在面馆行业中拥有很多的竞争力，所以在挑选品牌的时候应该要认识对于一般面馆加盟费多少钱，还是要看你所加盟的品牌了，一般面馆加盟费多少钱，说到面馆的品牌，可能很多人都比较青睐于2014年所成立的巴味仙面庄面...。
人靠衣装，美靠靓妆，很多女性朋友为了永葆美丽肌肤，焕发无穷魅力，就会时常光顾美容院，正是因为有这样旺盛的需求，国内美容行业也就取得了突破性的发展，不少创业者都想开一家美容院加盟店，那么，2016容院加盟什么牌子好，小编在此为大家推荐百莲凯美容院，百莲凯美容院成立于2001年，是美容连锁经营的先驱，百莲凯拥有独立的科研、生产及人才培训基...。
人工智能机器人高新科技技术的运用与大数据的运用，使得机器可以无障碍的与人类进行交流，起到陪伴的作用，更有一些的课程项目，会给提供合格的教学服务，智伴机器人是这当中很受欢迎的加盟项目，智伴机器人是高新科技项目，它当中拥有多项功能，有诗词歌赋，加减程序，相声歌剧等，这些项目可提高孩子的学习成绩，塑造好的品牌形象，那么现在智伴机器人如何加盟...。
水果捞是一种制作简单、原材料易得的甜品，尽管价格不菲，却因其健康美味而受到消费者的喜爱，水果捞主要由各种新鲜水果、酸奶、冰沙、冰淇淋和干果仁等组合而成，尤其在夏季备受欢迎，常见的水果有西瓜、芒果、桃子、草莓、奇异果、哈密瓜、圣女果、火龙果等，制作方法简单快捷，即切即食，既新鲜又解暑，那么，现在开一家水果捞店前景如何?水果捞店因其健康美...。
餐饮行业一直都是很不错的行业，会因为一个网红或者一个网站，带动了一个品牌的发展，美食一直都是离不开消费者生活的，经过网络时代的传播，会有很多人知道这种品牌，就像鲜贝恋贝壳粉品牌，网络时代给这个项目带来了很多的销售额，现在成为了一种网红项目，有些智慧之选商关注了这个项目，在消费者的眼中的爆品，鲜贝恋贝壳粉加盟费多少，鲜贝恋贝壳粉的由来就...。
马上就到十一国庆了，假期里想好怎么穿搭了吗，在这个秋意浓浓的日子里，姑娘们也是时候为自己准备几件内搭单品了，那么女生秋季内搭怎么穿好看呢，今天丹比奴女装为大家献上时尚的五款内搭单品，怎么穿都不会出错哦！秋季内搭单品1，针织衫寒冷的秋季入手一件针织衫是必须的，作为经典色调的白色是内搭受欢迎的色彩之一，一款修身版型的高领针织衫，简约大气的...。
孩子的教育问题始终都是社会热门话题，在双减政策的加持下，推动素质教育行业的快速发展，AI技术得到很多家长的认可，为孩子们带去更好素质教育，北四网校AI智领学习平板历经二十多年发展，创意运营模式，先进教学理念，使其成为教育领域中的实力品牌，那么北四网校AI智领学习平板好加盟吗，售后服务如何，北四网校AI智领学习平板从品牌创建到现在已经有...。
现在的人都十分重视饮食营养，吃东西讲究营养，其实每一种食物都有自身的营养价值，都有它存在的意义，但是不同的烹制方法会使食物的营养价值流失，失去了食物本身的营养价值，在众多烹制方法中，清蒸或是蒸焖是一种很好的烹制方法，因为这种烹制方法不会造成食物的营养流失，小火老师焖锅是一家生意不错的餐饮店品牌，该餐饮店所销售的食物都是以焖为主，食物健...。
生活条件的越来越富裕，使得不少越来越懂得享受，好多人对养生这一块也开始越来越重视，修脚店，是现在市场上备受消费者们所喜爱的养生足疗行业，它对人们脚部采用不同的护理和按摩手法，从而可以改善人们身体的亚健康状态，还给人们一个健康自在的好身体，赢得了消费者的一致好评与欢迎，想要智慧之选开修脚店的人为数不少，但是哪个地方适合开修脚店呢，想要开...。
中兴终端芯片自研率过半，承诺国内年增长率达200%近日，中兴通讯在其举办的全球分析师大会上透露了其终端业务的发展情况，中兴终端事业部总裁倪飞在大会上表示，2021年中兴终端出货量预计超1亿部，其中50%采用自研芯片，终端自研芯片实现了高占比规模发货，这其中包括家庭信息设备、车联网、工业监控等领域的芯片，倪飞还宣布，未来2，3年内，中兴...。
各年级的学生，在不同阶段的学习生活中，都需要注重逻辑思维的养成，因为好的思维能力，既可以让学习变得轻松一些，也可以深入掌握更多方面的知识点，多数对学习生活比较在意的学生，经常会在寒暑假以及周末的时候，到专业的中接受辅导，常见的辅导科目除了有数理化和艺术学科之外，机器人教育在近些年也逐渐的火热起来，机器人教育加盟贝思哲乐高机器人，把握良...。
还记得今年夏天让众多科研工作者，瑟瑟发抖，的AIscientist吗，彼时的它，作为一个由谷歌Transformer论文作者LlionJones和前谷歌研究人员DavidHa共同创立的全自动科学研究平台，从提出研究设想、检查创新程度，再到设计实验、编写程序、再GPU上执行实验并收集结果，到最后完成论文的撰写，一气呵成，让不少科研工作者...。
襄阳到贵州每天有4趟火车，车次和时刻表如下图贵州到上海的列车时刻表你问的贵州到上海和浙江瑞安，比较含糊，只能告诉你贵阳到上海和浙江瑞安的情况，1、贵阳到上海列车，1249，1252次普快重庆——上海南贵阳站发车时间02，02，到达上海南站时间09，37，历时31小时35分钟，票价，硬座113.00元；硬卧上，中，下，223.00，23...。
