DeepMind新算法MuZero作者解读 终极版AlphaGo (deepmind中文意思)
译者：AI研习社（ 季一帆 ）
双语原文链接： MuZero Intuition
为庆祝Muzero论文在上的发表，我特意写了这篇文章对MuZero进行详细介绍，希望本人能让你对该算法有一个直观的了解。更多详细信息请阅读 原文 。
MuZero是令人振奋的一大步，该算法摆脱了对游戏规则或环境动力学的知识依赖，可以自行学习环境模型并进行规划。即使如此，MuZero仍能够实现AlphaZero的全部功能——这显示出其在许多实际问题的应用可能性！
所有一切不过是统计
MuZero是一种机器学习，因此自然要先了解它是如何使用神经网络的。简单来说，该算法使用了AlphaGo和AlphaZero的策略网络和值网络：
策略和值的直观含义如下：
这两个网络任何一个都非常强大：只根据策略网络，能够轻易预测每一步的动作，最终得到良好结果；只依赖值网络，始终选择值最高的动作。但是，将这两个估计结合起来可以得到更好的结果。
取胜之路
与AlphaGo和AlphaZero相似，MuZero也使用蒙特卡洛树搜索方法（MCTS）汇总神经网络预测并选择适合当前环境的动作。
MCTS是一种迭代的，最佳优先的树搜索过程。最佳优先意味着搜索树的扩展依赖于搜索树的值估计。与经典方法（如广度优先或深度优先）相比，最佳优先搜索利用启发式估计（如神经网络），这使其在很大的搜索空间中也可以找到有效的解决方案。
MCTS具有三个主要阶段：模拟，扩展和反向传播。通过重复执行这些阶段，MCTS根据节点可能的动作序列逐步构建搜索树。在该树中，每个节点表示未来状态，而节点间的边缘表示从一个状态到下一个状态的动作。
在深入研究之前，首先对该搜索树及逆行介绍，包括MuZero做出的神经网络预测：
圆圈表示树节点，对应环境状态；线表示从一个状态到下一个状态的动作；根节点为当前环境状态，即围棋面板状态。后续章节我们会详细介绍预测和动力学函数。
其中c是比例因子，随着值估计准确性的增加，减少先验的影响。
每选择一个动作，我们都会增加其相关的访问计数n(s,a)，以用于UCB比例因子c以及之后的动作选择。
模拟沿着树向下进行，直到尚未扩展的叶子。此时，应用神经网络评估节点，并将评估结果（优先级和值估计）存储在节点中。
：一旦节点达到估计量值后，将其标记为“扩展”，意味着可以将子级添加到节点，以便进行更深入的搜索。在MuZero中，扩展阈值为1，即每个节点在首次评估后都会立即扩展。在进行更深入的搜索之前，较高的扩展阈值可用于收集更可靠的统计信息。
：最后，将神经网络的值估计传播回搜索树，每个节点都在其下保存所有值估计的连续均值，这使得UCB公式可以随着时间的推移做出越来越准确的决策，从而确保MCTS收敛到最优动作。
中间奖励
细心的读者可能已经注意到，上图还包括r的预测。某一情况（如棋盘游戏）在完全结束后提供反馈（获胜/失败结果），这样可以通过值估计进行建模。但在另外一些情况下，会存在频繁的反馈，即每次从一种状态转换到另一种状态后，都会得到回报r。
只需对UCB公式进行简单修改，就可以通过神经网络预测直接对奖励进行建模，并将其用于搜索。
其中，r(s,a)是指在状态s时执行动作a后观察到的奖励，而折扣因子γ是指对未来奖励的关注程度。
由于总体奖励可以时任意量级的，因此在将其与先验奖励组合之前，我们将奖励/值估计归一化为区间[0,1]：
其中，q_min和q_max分别是整个搜索树中观察到的最小和最大r(s,a)+γ⋅v(s')估计。
重复执行以下过程可实现上述MCTS：
动作的选择可以是贪心的（选择访问次数最多的动作），也可以是探索性的：通过一定的温度t控制探索程度，并对与访问次数n(s,a)成比例的动作a进行采样：
当t = 0时，等效贪婪采样；当t = inf时，等效均匀采样。
训练
现在，我们已经学会了运行MCTS来选择动作，并与环境互动生成过程，接下来就可以训练MuZero模型了。
首先，从数据集中采样一条轨迹和一个位置，然后根据该轨迹运行MuZero模型：
可以看到，MuZero由以下三部分组成：
根据轨迹选择用于网络输入的观测值和动作。相应地，策略、值和奖励的预测目标是在生成存储的轨迹。
从下图可以看到过程生成（B）与训练（C）之间的一致性：
具体问言，MuZero估计量的训练损失为：
重分析
在了解了MuZero的核心思想后，接下来我们将介绍重分析技术，这将显著提高模型对大量数据的搜索效率。
在一般训练过程中，通过与环境的相互作用，我们会生成许多轨迹，并将其存储在重播缓冲区用于训练。那么，我们可以从该数据中获得更多信息吗？
很难。由于需要与环境交互，我们无法更改存储数据的状态、动作或奖励。在《黑客帝国》中可能做到，但在现实世界中则不可能。
幸运的是，我们并不需要这样。只要使用更新的、改进标签的现有输入，就足以继续学习。考虑到MuZero模型和MCTS，我们做出如下改进：
保持轨迹（观测、动作和奖励）不变，重新运行MCTS，就可以生成新的搜索统计信息，从而提供策略和值预测的新目标。
我们知道，在与环境直接交互过程中，使用改进网络进行搜索会获得更好的统计信息。与之相似，在已有轨迹上使用改进网络重新搜索也会获得更好的统计信息，从而可以使用相同的轨迹数据重复改进。
重分析适用于MuZero训练，一般训练循环如下：
设置两组异步通信任务：
为实现重分析，引入两个新任务：
由于学习者无法区分新轨迹和重分析的轨迹，这使得新轨迹与重分析轨迹的比例更改变得简单。
MuZero命名含义
MuZero的命名基于AlphaZero，其中Zero表示是在没有模仿人类数据的情况下进行训练的，Mu取代Alpha表示使用学习模型进行规划。
更研究一些，Mu还有其他丰富的含义：
结语
希望本文对MuZero的介绍对你有所启发！
如果想了解更多细节，可以阅读 原文 ，还可以查看我在的以及在上发表的关于MuZero的演讲。
最后，分享给你一些其他研究人员的文章，博客和GitHub项目：
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
html过滤工具可以把html代码过滤掉，过滤成单纯的文本，该工具还可以对指定字符进行替换。
木星金价网_每日更新的黄金价格和市场行情，丰富的指南和教育资源，让您轻松掌握黄金的要点。今日黄金价格多少钱一克？
元业伯乐
网站建设、网站制作专家八爪鱼网络,为您提供专业的展示型网站建设、营销型网站建设、独立商城系统网站建设、品牌型网站建设、微信公众号开发、小程序开发,并提供一体化的域名主机、企业邮箱服务。咨询热线020-29061994
万花丛中主营各种鲜花批发，有洛神鲜花，粉荔枝玫瑰鲜花批发，欢迎新老客户，来电咨询，
买保险上慧择,帮挑帮赔
河南天浩药机设备有限公司制药设备行业的知名企业之一致力于制造生产中草药提取罐、提取浓缩机组、公司从事植物提取物的生产工艺和制造,中草药提取物,植物精油提取生产线……欢迎来电咨询
“精牧”是山东成城物联网科技股份有限公司的旗下品牌，以牧场综合解决方案为核心，多项产品拥有自主知识产权，服务内容涉及奶厅解决方案、繁殖解决方案、管理解决方案，其中核心产品“鱼骨、并列、转盘式”挤奶厅，对比国外品牌，价格下浮30-50%，为牧场用户提供质美价廉产品的同时，共同提升我国奶业发展水平。
远德武汉保镖公司是远德保镖公司的分支机构,是武汉十大保镖公司.远德武汉保镖公司专门为企业提供高端私人保镖服务,武汉保镖公司主要服务于武汉及武汉周边大型企业,武汉保镖公司排名10强前列.
上海朗睿电子科技有限公司是家专业从事工业液晶触摸显示器（串口屏）、平板电脑一体机、彩色串口液晶模块、人脸识别人证比对闸机、多媒体互动广告机监视器等工业液晶显示与控制的开发、生产和技术服务的高科技公司。
公司引进日本xj****的例行实验设备，产品研究开发中心等，主要产品：补偿导线、特种电线、电缆、高温电线、硅橡胶电线、计算机电缆、控制电缆、热电偶、热电阻、双金属温度计、压力表、流量计、温度控制模块等产品，电话；18955007888
苏州市相城区宫辉古建砖瓦厂专业古建砖瓦厂家,主要产品古建砖瓦,铺地青砖,古建青砖青瓦,古建城墙砖,花边滴水,古建花窗,花边滴水,青砖青瓦,蝴蝶瓦,粘土瓦等,电话15995435296
据日本共同社等国外媒体报道，近日，日本羽田机场出现了一种萌萌哒的向导机器人，这种红白相间的萌物名叫，EMIEW3，，是由日立制作所设计而成的，9月2日上午，，EMIEW3，开始在羽田机场进行实证试验，同时使用液晶屏向旅客们提供一些指路和向导服务，EMIEW3是日立继2005年和2007年发布的两款，EMIEW，和，EMIEW2，机器人...。
发表在专业问答2024，5，2810，02展示机型信息，品牌型号，当贝X5Ultra系统版本，当贝OS4.0当贝投影仪下载斗鱼可以通过当贝市场搜索斗鱼APP并下载安装，总共可以分为三步，下面为当贝投影仪怎么下载斗鱼的详细步骤做具体说明，当贝投影仪怎么下载斗鱼1.打开当贝市场进入当贝投影仪的应用界面，找到当贝市场并打开；2.进入搜索界面...。
△视频截图显示，美国前总统特朗普的竞选集会现场出现枪击事情后，特朗普被特勤局人员护送上前，新华社发暗杀，曾是美国政治生存的一个可悲事实，美国历史上出现过9次总统遇刺事情，其中4位丧生，美国第16任总统亚伯拉罕·林肯是美国第一位遇刺身亡的总统，1864年，林肯在总统连任竞选中获胜，1865年4月14日，林肯参与为庆贺南北抗争胜利的优惠时...。
外地时期13日下午，特朗普在美国宾夕法尼亚州举行竞选集会宣布演讲时，现场响起枪声，他在特勤人员包全下立刻撤退了演讲台，央视记者刘旭，...。
雾灯关系常识雾灯没有被敞开，有些车型上敞开的仅仅是前雾灯，而白色的后雾灯依然保管、即使是减配但也肯定保管一颗后雾灯；由于后雾灯是白色的，红光的波长最长、所以具有最强的穿透才干，所以在大雾、大雨天气可以给后车提供最醒目标揭示！从法规要求的角度上看，前雾灯确实没有肯定装备的要求、当然指的是乘用车范畴，然后雾灯肯定要有！所以即使当初的很多车...。
当初，随着互联网技术的始终开展，越来越多的生产者开局将购物的形式转向了网上，而汽车市场也不例外，网上购车平台曾经成为一种趋向，许多品牌和厂商都推出了自己的网上购车服务平台，但是，这其中并不是一切平台都真正靠谱，上方引见几种值得信任的网上购车平台，1.网易汽车作为中国最大的门户网站之一，网易汽车早在2015年就开局进军网上购车市场，作为...。
周杰伦周杰伦，JayChou，，1979年1月18日出世于台湾省新北市，祖籍福建省永春县，华语盛行乐男歌手、音乐人、演员、导演、编剧，毕业于淡江中...周杰伦巡演城市列表周杰伦的巡演城市列表如下，1.北京2.上海3.广州4.深圳5.南京6.成都7.重庆8.杭州9.长沙10.武汉11.天津等各大城市，周杰伦是一位在华语乐坛具有广泛影响力...。
行走广西：浓缩广西历史的靖江王府_走着瞧摄影_新浪博客,走着瞧摄影,
Dependencies是一款为VC++开发者设计的工具，它可以帮助开发者查看程序的依赖库DLL(动态链接库)。软件提供了在Windows10环境下查看程序依赖库的功能
绿联USB蓝牙适配器驱动是一款专为该设备所推出的驱动安装程序。该设备主要解决电脑没有蓝牙功能或者蓝牙功能损坏的问题。通过安装该程序，就能完美解决USB无法连接电脑的问题，支持最新USB5.0版本，免费下载，欢迎体验。
前后端分离开发是一种常见的开发方式，它将前端和后端的开发过程分离，使得前端和后端的开发团队可以并行开发，提高了开发效率。而基于JavaScript的前后端分离开发是目前比较流行的一种方式。本文将总结基于JavaScript的前后端分离开发的经验和注意事项。一、选择合适的前后端分离框架在进行基于JavaScript的前后端分离开发时，选择合适的前后端分离框架非
【理响中国】规范平台经济健康发展协力推动就业创业,就业,创业,就业者
老凤祥银饰品是一个知名度很高的首饰品牌，该品牌从创立到现在，已经为成千上万的消费者提供了相应的购物帮助，是目前口碑很好的首饰品牌，对于有创业需求的加盟商而言，这是一个不错的选择，那么，老凤祥银饰品怎么加盟，老凤祥银饰品怎么加盟，1848年，老凤祥正式成立，这是一个走过100多个年头的首饰品牌，同时也是一个在我国首饰行业有不错表现且排名...。
当中国高铁遇见AI，科技感十足的智能高铁正加速驶来，我国正在开发400公里时速的变轨距列车、600公里时速的下一代磁浮列车也在进行研究，以后旅客坐进我们的高铁，感觉就会像进入家庭影院一样舒服……，在国务院新闻办公室26日召开的新闻发布会上，中国高铁控制技术领军人物之一、中国工程院院士丁荣军向记者描绘了这样一幅，未来高铁，的，畅想图，...。
5月14日，阿里巴巴集团发布2024财年Q4及全年业绩，经过一年主动变革，阿里重回健康增长轨道，本季度，淘宝天猫GMV双位数增长，阿里云核心公共云产品收入双位数增长、AI相关收入三位数增长，海外电商实现45%的同比强劲增长……这份财报中，AI相关收入高速增长最引人注目，这为阿里云乃至整个阿里集团在AI技术革命中抢占先机，奠定了扎实基础...。
与大中型银行相比，区域性银行受到的关注一直不多，但实际上，这类银行正是金融服务三农和中小微企业的主力军，是普惠金融的重要组成部分，更是为国民经济发展提供融资支持的毛细血管，监管层对区域性银行也愈发重视，去年10月央行就在，商业银行法修订建议稿，中，明确要求区域性银行开展业务，进一步明晰其服务本地经济的定位，但区域性银行现下的处境却不容...。
最近流行一种说法，即29岁以前，属于青春，保质期，，29岁以后，就Timeout，过期，了，所谓的29岁现象，因此，如要在青春岁月里有所突破，创出一翻事业来，就宜赶在青春，过期，之前，张爱玲说，成名要趁早，当你站在二十几岁的尾巴上，当身边又一位朋友宣布结束自己的职业生涯，开始创业了，你是否内心也开始焦虑，是否开始夜不能寐，是否心里...。
