Dean丨谷歌战神谈增强学习和无监督学习 专访 Jeff (谷live)
编者按：近日，谷歌大脑负责人 Jeff Dean 在接受 Fortune 杂志采访时讲述了他对无监督学习和增强学习在人工智能领域应用的看法，雷锋网进行编译。
下一次你在使用谷歌搜索引擎或者使用地图导航的时候，你需要记住他们背后有一个很大的大脑为你提供搜索结果，并确保你不会迷路。
当然，它并不是一个真正的大脑，而是谷歌大脑研究团队。《财富》杂志的 Roger Parloff 写到：
研究人员推动人工智能面临的挑战是什么？
无监督学习的不成熟。人类的学习方式可以看作是一种无监督学习，即你只需观察你周围的世界并理解事物的运行方式来丰富你的认知，无监督学习是机器学习非常热门的一个分支，但是它还未达到监督学习能解决任务的那个程度。
无监督学习是指如何从观察和感知当中学习的，如果计算机可以观察和感知，这是否可以帮助解决更复杂的问题？
没错，人的视觉主要通过无监督学习的方式获得训练。当你还是一个孩子的时候，你在观察世界时，有时你会得到一个监督的信号：比如有人说“这是一只长颈鹿”或者“这是一辆车”的时候，这些少量的监督数据就是你的心理模型对自然的回应，从而完成你对世界的认知。
我们需要更多地结合监督和无监督学习，就我们大多数机器学习的系统工作方式而言，我们还未真正到达那一步。
可否解释一下增强学习技术？
增强学习背后的逻辑是你未必需要明确你要采取的行动，你只要试探性地做一个你认为不错的行动，然后观察“世界”会有怎样的反应。如同下棋一样，你可根据你对手的行动来进行反应。最终在整个序列行为后得到奖赏信号。
增强学习是在你得到奖赏信号的同时，能将“信任”或“过失”分配到你。它在今天的某些领域非常有效。
当你所执行的任务状态非常宽泛时，此时使用强化学习就会遇到一些挑战。在现实世界中的某个固定时刻操作一个事项涉及到的执行范围可能非常广泛。而在棋盘游戏当中，你走的每一步棋都限定在一定的范围内，而且游戏规也会对你进行限制，这使得其奖赏信号的逻辑非常简单：要么赢，要么输。
如果我的任务是磨一杯咖啡或者其他，整个过程我也许需要采取一系列的动作，而且没有固定的评判标准，那么这个奖赏信号就不是那么清晰。
但你仍然可以分为很多步骤，如当你在现磨一杯咖啡时，你就会学习到如果没有在咖啡豆被冲泡之前把它们磨碎就会做出来一杯糟糕的咖啡。
对，我认为增强学习核心地方就是它需要探索。这种探索在物理环境当中使用有点困难。我们开始尝试把它应用在计算机当中，当机器人采取一系列行动时，它会被限制在一个指定时间中只可以采取有限数量动作的集合。然而在计算机模拟中，它更容易使用大量的计算机资源，并得到一百万个样本。
谷歌是否将增强学习应用在核心搜索产品中？
我们主要通过 DeepMind 和我们的数据中心操作人员之间的合作来将增强学习应用在核心产品中。它们使用强化学习来设置数据中心内的空调旋钮，并实现相同的、安全的冷却操作和操作条件，大幅降低能耗。他们能够发现哪些旋钮的设置可以起到一定的作用，以及当你以不同的方式转动旋钮时，它们会如何反应。
通过增强学习，可以发现这 18 个旋钮的设置，或者更多旋钮并未被操作人员考虑进去。了解这个系统的人会这样说：这真是一个奇怪的系统。但是事实证明，它们运行得确实不错。
增强学习更适用于哪些任务？
数据中心运行良好因为你一次需要执行的不同操作并不多。正像 18 个旋钮，你在那里可以上下旋转它们。这样结果是可以计算出来的。假设你在适当的、可接受的温度范围内工作，你就会得到一个让能耗降低的奖赏操作。从这个角度看，这差不多是一个理想的增强学习问题。
一个更具挑战性的强化学习案例是试图用它来决定我该显示什么样的搜索结果。这有一个更广泛的搜索结果集，我可以展示出不同查询的反应，并且奖赏信号本身就是一种小范围的噪音。就像用户看一个搜索结果，喜欢和不喜欢表现地不是那么明显。
如何判断用户在搜索中不喜欢某一个结果？
这的确是一个很难解决的问题。由于强化学习可能还不够成熟，以至于在一些极度无约束的环境中，奖赏信号还不是那么明显。
将研究成果应用于用户每天使用的产品时，有哪些比较大的挑战？
这里面其中一项就是，很多机器学习问题的解决方案和我们对这些解决方案的研究可以在不同的领域中重复使用：我们与地图团队合作了一些研究，他们想要读取出现街头所有店铺和 Logo，从而更好地了解世界，比如确定这里是披萨店还是其他。
为了在图像中找到文本，你可以训练一个机器学习模型，并给它一些样本，比如人们在文本周围画一个圆圈或者方框。实际上，你可以用它来训练模型去检测哪些图像中包含文本。
这是一个普遍适用的功能，地图团队中的不同部门可以重复使用以上模型来完成卫星图像分析任务，比如在美国境内或者世界范围内找到一个屋顶或者估计在屋顶上的太阳能电池板的安装位置。
随后我们发现，相同类型的模型可协助我们解决医疗成像的初步工作。现在你有了医学图像，你可以试图找到那些与临床相关图像的有趣部分。
原创文章，未经授权禁止转载。详情见 转载须知 。
hao123网址导航女性频道,提供女性保健常识，女性饮食，女性疾病，女性心理，女性情感，女性用品，女性美容、女性饮食等女性相关内容。
猫无忧是国内专业的游戏账号交易和账号估价平台。提供专业账号交易、账号估价服务。平台购号保障交易安全，提供找回包赔服务，交易安全放心。账号交易就上猫无忧交易平台！
武汉东亿电子有限公司成立于2020年，总部位于湖北省武汉市，公司在深圳、香港设立有海外采购部和物流仓库，可高效快捷为客户提供全球优势货源。是一家只做原装器件、采购渠道正规多样化、集分销和物流供应链一体的专业电子元器件服务商。
上海大明红木家具维修中心专业提供上海红木家具维修,红木家具翻新,红木家具修理,红木家具保养,老红木家具整修,进口家具维修翻新等服务,维修师傅经验丰富,上门维修,响应及时,方便快捷,价格合理,欢迎来电咨询
河南康辉国际旅行社有限责任公司省直营业部-客服网,康辉旅行社，郑州康辉旅行社，河南康辉、郑州康辉、河南康辉旅行社，康辉，康辉旅游,旅游，洛阳旅游，开封旅游，河南旅游网，郑州旅行社，旅行社，河南旅行社，郑州旅游，郑州旅游网，河南旅游，郑州康辉旅游，河南康辉旅游，康辉旅游网，康辉国旅，郑州康辉国际旅行社，河南康辉国际旅行社，郑州旅行社排名
江苏恒大仪表有限公司主要从事电磁流量计,涡轮流量计,超声波流量计,孔板流量计,,涡街流量计,流量计,差压变送器,浮球液位计,磁翻板液位计,热式气体质量流量计等各种型号规格产品的生产销售。欢迎新老客户来电咨询！
爱坐车网,免费全国公交查询,地铁线路图,列车时刻表,火车时刻表,高铁时刻表查询,航班查询,客车时刻表查询,汽车站时刻表查询,汽车站电话,机场,汽车4s店地址及电话等服务。
15171手游网是国内最热门最好玩的手游平台,为玩家推荐新款手机游戏免费,热门的手游排行榜,最近好玩的手机游戏攻略,好玩的手机游戏_手机游戏免费。15171手游网是您查找最新手游的最佳选择！
河北蓝思泰克光电科技有限公司,蓝思泰克,光电蓝思泰克、红外热成像镜头
乐清市百益电子有限公司坐落于乐清市柳市镇湖横工业区，我司是一家专业生产开关电源变压器、电动汽车充电桩变压器、灯饰电源变压器、光伏电源变压器、逆变焊机变压器的生产厂家。
苏州信托有限公司
英语是大家在很多时候都需要用到的语言，无论是工作党还是学生党，都免不了会遇到不认识的英文单词或句子，这个时候就需要翻译软件来帮助自己啦，你知道英语翻译软件哪个好吗，在本期小编为大家找到几款好用且强大的翻译类app，各位小伙伴赶快来了解一下详情吧！1、，有道翻译官，这款软件可以对一百多种语言进行快速翻译，支持用户进行语音翻译、拍照翻译、...。
美丽的花朵是我们生活中浪漫的点缀，自然在游戏世界中也会有很多与之相关的类型，这次小编就给大家带来几款2023关于花的游戏分享，这些游戏都以美丽的画面，活泼的色彩吸引着玩家的驻足，而它们也有着各种好玩的关卡任务，让玩家们在享受色彩愉悦的同时也拥有了游戏的乐趣，在这里你可以拥有独属于自己的美丽花园，种上各种各样的花朵，精心的培育它们，浇水...。
谷歌正在彻底改革其绩效评估流程，该举措的实施改革了加薪制度，以缓解员工和领导层在薪酬问题上的紧张关系，从本周开始，谷歌将使用一种新的绩效评估流程，称为GRAD，意思是谷歌的评论和发展，其内部文件显示，这是精简评估流程的举措之一，将评估限制在一年一次，而不是两次，并将更多责任交给管理者，而不是严重依赖同行评估，其中一份文件称，在这个新...。
作者丨孙溥茜编辑丨陈彩娴编者按，2023年8月14日，第七届GAIR全球人工智能与机器人大会在新加坡乌节大酒店正式开幕，论坛由GAIR研究院、、世界科技出版社、科特勒咨询集团联合主办，大会共开设10个主题论坛，聚焦大模型时代下的AIGC、Infra、生命科学、教育，SaaS、web3、跨境电商等领域的变革创新，此次大会是在大模型...。
11月6日，埃安第二款全球战略车型埃安RT正式上市，该车型上市即启动大规模交付，售价11.98万～16.58万元，新车配备激光雷达的版本，能够在16万元的价格区间内实现市区无图NDA自动驾驶功能，这在同级别车型中尚属首次，在智能化方面，其配备了包括激光雷达在内的27个智能驾驶硬件，以及英伟达Orin，X高算力芯片，续航与补能能力方面，...。
CNNIC发布了最新的中国互联网发展统计报告，报告称，2018年中国有523万个网站，2022年下降到了387万个，5年间下降了近30%，而且还在持续下降中，A5图王说到，中国的网站从500w到300w，但全球网站还是有近两亿的网站，差距非常大，是什么原因导致网站数量减少呢?A5图王分析了5点，另外，A5图王还说到，其实网站包括h5比...。
网易文娱3月12日报道以推介北京冬奥会主场馆为主题的真人秀，冬梦之约，行将迎来最新一期，本周，陈伟霆将加盟节目，并与谷嘉诚一同走进2022年北京冬奥会滑雪较量场地云顶滑雪公园，率领大家探秘冬奥，体验感触单板滑雪静止的抚慰和魅力，云顶滑雪公园作为2022年北京冬奥会的较量场地，将有20枚金牌在这里发生，而在本期节目中，长于滑雪的陈伟霆将...。
天蝎座配对巨蟹座配对评分，100天生的一对星座比重，52，48解析，您俩都是水象星座，敏锐理性，共性、人生观都很相似，常会发生心有灵犀一点通的觉得；这样的感触，会使您们在开局时就彼此触电，很人造的来往，会是爱得上穷碧落下黄泉、十分速配的一对，普通而言，蟹子是个很费事的星座，心情变动快的会让人搞不分明是出现了什款情景；而蝎子对他的这些特...。
要下载优酷国际版，您可以间接访问AppStore或GooglePlay，并在搜查框中输入，优酷国际版，或，YoukuInternational，启动搜查，而后点击装置按钮即可下载并装置，1.经过AppStore下载，针对iOS用户，关上AppStore运行，在搜查框中输入，优酷国际版，或，YoukuInternational，在搜查...。
1、关上手机运行程序，2、点击搜查sf性斗士手游ios点击确认下载，3、下载成功后装置即可，SF性斗士一款十分不错的角色冒险手游ios，SF性斗士游戏中领有十分精彩丰盛的游戏玩法，异次元大作战苹果ios下载地址是多少，在风林手游下载，有部离别游没有苹果端概略可以咨询平台客服，玩异次元大作战经过风林手游下载，这款游戏确实不错，十分值得...。
Udown是一款功能十分强大的百度网盘不限速下载神器，拥有简单清爽的UI用户界面，能够为用户提供不限速资源下载方案
深度DeepinXPSP3,深度DeepinXPSP37.02009.07.02，同时集成精简版和克隆版二合一，是一款完美精简版XP系统，需要的朋友欢迎下载使用,您可以免费下载。
近两年，投影仪已经成为年轻人居家必备的电子产品，目前激光投影仪的市场份额正在逐年增长，可以看到激光投影仪越来越受大众欢迎，那么，家用激光投影仪哪款比较好，通常一款合适的激光投影仪怎么选，下面小编对2023激光投影仪推荐产品进行了汇总，用户可以进行参考选购，激光投影仪怎么选，选购要点一，看光源当前市面上比较热门的家用激光投影仪会采用两种...。
目前在国内就业发展已经进入到了成熟的时期，整个产业的经营环境已经产生了比较大的改变，产能的饱和，收效降低在市场上的竞争力就是越来越激烈，然而传耆酒庄在市场上就比较受消费者的欢迎，生意很是红火，每天的客流量都比较多，是一家实力比较雄厚的一家店面，加盟开店选择传耆酒庄加盟优势多，让您加盟不操心，传耆酒庄加盟优势多，让您加盟不操心，为什么这...。
为安抚京东员工，刘强东分享新冠阳性经历、设立员工抗病毒热线近日，刘强东近期在内部视频中分享得新冠的经，验和感受，多喝水，白开水每天3，5升，吃点泡腾片，保持好心态，保持好的休息，他还呼吁把医疗资源留给老人，此外刘强东表示，京东将设立员工抗病毒热线，公司员工若有问题可随时打电话，具体来看，刘强东在视频中表示，根据他个人感受来讲，真的是比...。
今日头条苏宁张康阳遭建行全球追债曾称对2.55亿美元贷款不知情近日，据媒体报道，意大利财经媒体CalcioeFinanza持续跟踪了苏宁公子张康阳的被追债的动态，该媒体表示，追债的正是张康阳自己国家的银行——中国建设行，CalcioeFinanza此前报道，张康阳未偿还中国建设银行超过3亿美元的欠款，导致建行在意大利、美国、中国香港多...。
发表在极米投影仪2022，6，1017，29好几年前买的投影仪了，这些日子因为特殊原因在家里没有出门，正好家里的投影仪最近出现了一点小毛病，这次大干一场！！来个拆机清灰！！网上的拆机教程实在是太少了只能自己摸索，一边看视频一边学习，这里申明一下，本人虽然是第一次拆机但也是在制造业工作多年，动手能力这一方面还算不错吧，如果其他小伙伴动手...。
