Dean丨谷歌战神谈增强学习和无监督学习 专访 Jeff (谷live)
编者按：近日，谷歌大脑负责人 Jeff Dean 在接受 Fortune 杂志采访时讲述了他对无监督学习和增强学习在人工智能领域应用的看法，雷锋网进行编译。
下一次你在使用谷歌搜索引擎或者使用地图导航的时候，你需要记住他们背后有一个很大的大脑为你提供搜索结果，并确保你不会迷路。
当然，它并不是一个真正的大脑，而是谷歌大脑研究团队。《财富》杂志的 Roger Parloff 写到：
研究人员推动人工智能面临的挑战是什么？
无监督学习的不成熟。人类的学习方式可以看作是一种无监督学习，即你只需观察你周围的世界并理解事物的运行方式来丰富你的认知，无监督学习是机器学习非常热门的一个分支，但是它还未达到监督学习能解决任务的那个程度。
无监督学习是指如何从观察和感知当中学习的，如果计算机可以观察和感知，这是否可以帮助解决更复杂的问题？
没错，人的视觉主要通过无监督学习的方式获得训练。当你还是一个孩子的时候，你在观察世界时，有时你会得到一个监督的信号：比如有人说“这是一只长颈鹿”或者“这是一辆车”的时候，这些少量的监督数据就是你的心理模型对自然的回应，从而完成你对世界的认知。
我们需要更多地结合监督和无监督学习，就我们大多数机器学习的系统工作方式而言，我们还未真正到达那一步。
可否解释一下增强学习技术？
增强学习背后的逻辑是你未必需要明确你要采取的行动，你只要试探性地做一个你认为不错的行动，然后观察“世界”会有怎样的反应。如同下棋一样，你可根据你对手的行动来进行反应。最终在整个序列行为后得到奖赏信号。
增强学习是在你得到奖赏信号的同时，能将“信任”或“过失”分配到你。它在今天的某些领域非常有效。
当你所执行的任务状态非常宽泛时，此时使用强化学习就会遇到一些挑战。在现实世界中的某个固定时刻操作一个事项涉及到的执行范围可能非常广泛。而在棋盘游戏当中，你走的每一步棋都限定在一定的范围内，而且游戏规也会对你进行限制，这使得其奖赏信号的逻辑非常简单：要么赢，要么输。
如果我的任务是磨一杯咖啡或者其他，整个过程我也许需要采取一系列的动作，而且没有固定的评判标准，那么这个奖赏信号就不是那么清晰。
但你仍然可以分为很多步骤，如当你在现磨一杯咖啡时，你就会学习到如果没有在咖啡豆被冲泡之前把它们磨碎就会做出来一杯糟糕的咖啡。
对，我认为增强学习核心地方就是它需要探索。这种探索在物理环境当中使用有点困难。我们开始尝试把它应用在计算机当中，当机器人采取一系列行动时，它会被限制在一个指定时间中只可以采取有限数量动作的集合。然而在计算机模拟中，它更容易使用大量的计算机资源，并得到一百万个样本。
谷歌是否将增强学习应用在核心搜索产品中？
我们主要通过 DeepMind 和我们的数据中心操作人员之间的合作来将增强学习应用在核心产品中。它们使用强化学习来设置数据中心内的空调旋钮，并实现相同的、安全的冷却操作和操作条件，大幅降低能耗。他们能够发现哪些旋钮的设置可以起到一定的作用，以及当你以不同的方式转动旋钮时，它们会如何反应。
通过增强学习，可以发现这 18 个旋钮的设置，或者更多旋钮并未被操作人员考虑进去。了解这个系统的人会这样说：这真是一个奇怪的系统。但是事实证明，它们运行得确实不错。
增强学习更适用于哪些任务？
数据中心运行良好因为你一次需要执行的不同操作并不多。正像 18 个旋钮，你在那里可以上下旋转它们。这样结果是可以计算出来的。假设你在适当的、可接受的温度范围内工作，你就会得到一个让能耗降低的奖赏操作。从这个角度看，这差不多是一个理想的增强学习问题。
一个更具挑战性的强化学习案例是试图用它来决定我该显示什么样的搜索结果。这有一个更广泛的搜索结果集，我可以展示出不同查询的反应，并且奖赏信号本身就是一种小范围的噪音。就像用户看一个搜索结果，喜欢和不喜欢表现地不是那么明显。
如何判断用户在搜索中不喜欢某一个结果？
这的确是一个很难解决的问题。由于强化学习可能还不够成熟，以至于在一些极度无约束的环境中，奖赏信号还不是那么明显。
将研究成果应用于用户每天使用的产品时，有哪些比较大的挑战？
这里面其中一项就是，很多机器学习问题的解决方案和我们对这些解决方案的研究可以在不同的领域中重复使用：我们与地图团队合作了一些研究，他们想要读取出现街头所有店铺和 Logo，从而更好地了解世界，比如确定这里是披萨店还是其他。
为了在图像中找到文本，你可以训练一个机器学习模型，并给它一些样本，比如人们在文本周围画一个圆圈或者方框。实际上，你可以用它来训练模型去检测哪些图像中包含文本。
这是一个普遍适用的功能，地图团队中的不同部门可以重复使用以上模型来完成卫星图像分析任务，比如在美国境内或者世界范围内找到一个屋顶或者估计在屋顶上的太阳能电池板的安装位置。
随后我们发现，相同类型的模型可协助我们解决医疗成像的初步工作。现在你有了医学图像，你可以试图找到那些与临床相关图像的有趣部分。
原创文章，未经授权禁止转载。详情见 转载须知 。
本工具可以提供32位，16位等MD5加密。
暨南大学企业管理系
河南朗陵罐酒官方网站,大碗吃酒，罐、提并用，被消费者誉为“提官酒”，“一提官，二提财，三提全家健康幸福来”。朗陵罐酒文化在军营、官场、宴会和广大消费者当中美名远播，深受社会各界好评。
吾爱破解论坛致力于软件安全与病毒分析的前沿，丰富的技术版块交相辉映，由无数热衷于软件加密解密及反病毒爱好者共同维护
河源民一发电机租赁服务中心，打造：源城区、紫金县、东源县、和平县、龙川县、连平县等地区发电机出租及维修、回收服务。我们经营河源发电机出租功率：30KW-1800KW。河源发电机出租品牌：康明斯、玉柴、上柴、卡特、三菱等。
高密度神奇魔力纳米海绵擦又叫纳米海绵、纳米海绵擦具有强力的清洁去污功能，高密度纳米海绵是由密胺海绵制作而成，高密度纳米海绵擦比普通纳米海绵具有耐用，清洁效果更明显。纳米海绵厂家供应，纳米海绵为客户定制包装
星动下载站属于天极网旗下,是国内安全的软件下载网站之一,提供安全无捆绑软件下载服务,涉及电脑软件和电脑游戏头部大牌公司软件推荐下载,下载好软件用好软件就到星动下载平台!
json格式化xml格式化md5base64二维码生成url编码unicode编码时间戳ip
中国零食网主做低热量零食,办公室零食,休闲零食,80后零食,休闲零食店,狗零食,什么零食好吃,宠物零食,猫零食,零食多,老婆大人零食店加盟,海南特产零食,零食的危害,中国零食网,吃不胖的零食,零食连锁,小智零食店,进口零食加盟,老婆大人零食店,甜的零食,台湾零食,零食网店,食品加工在线,三全食品,双塔食品,安井食品,海欣食品,正大食品
重庆浩爱康复医疗中心,残障儿童全托康复机构,特殊儿童培训
PP停车是“神州路路通”公司发布的一款集找车位、免费停车、移动支付停车费及停车场内找车等功能于一体的手机应用。我们努力为您解决一切停车难题。
社会语录网传播正能量经典语录，共建美好社会，社会语录，成年人的精神食粮。
毋庸讳言，美容、美发店店员的技能和服务质量好坏，直接关系到美容、美发店的兴衰，美容、美发店对店员进行认真培训、是提高店员综合能力的关键所在，美容、美发店应培训，及时把新信息、新技术以及新的服务理念及时传递到店员心中，使每一个店员都能适应新时期的要求，美容、美发店培训店员时，应从以下几个方面人手，1站姿、坐姿、仪表正确的站姿是，双脚与两...。
雷锋网4月18日消息，今日下午，刚刚获得大众汽车1.8亿美元D轮融资的出门问问连开两场发布会，正式推出覆盖全场景的虚拟个人助理，问问，，以及基于虚拟个人助理的免费级AI开放平台，即将推出的智能音箱Tichome也在发布会上首次对外公开亮相，除此之外，出门问问还发布了运动版和时尚版的问问手表TicwatchS与TicwatchE，站在新...。
雷锋网近日了解到——就此消息，我们向刘挺教授求得确认，刘挺教授向雷锋网介绍说，这件事情其实早在2017年10月就已经开始了，只是由于股权工商变更手续问题，所以一直没有对外界公布，云孚科技，作为一家初创公司，刚刚成立半年时间，是什么使得在NLP领域鼎鼎大名的刘挺教授加盟并担任其首席科学家呢，哈工大SCIR与云孚科技今后将是什么关系，SC...。
雷锋网消息，6月29日，在线教育平台作业帮宣布完成E轮7.5亿美元融资，据悉，此次融资由方源资本、TigerGlobal领投，QatarInvestmentAuthority、红杉资本中国基金、软银愿景基金一期、天图投资、襄禾资本等新老股东跟投，泰合资本继续担任独家财务顾问，当天，作业帮创始人、CEO侯建彬发布全员公开信，披露了融资的...。
记者获悉，经过一年奋战，小红书已把业界体量最大的数据湖0故障迁上阿里云，据统计，该项目共有1500人参与，迁移数据500PB，作为中国头部互联网公司之一，小红书月活已过3亿，其数据湖存储了过去11年的所有原始数据，包括结构化、半结构化和非结构化数据，近年来，随着业务的高速增长，小红书在线处理数据的需求不断增加，同时离线处理所积累的历史...。
很多人都说，牙疼不是病，疼起来真要命，其实这句话并不完全正确，生活中很多小病小痛都是极其困扰人的，比如鼻炎，不仅影响自身生活，而且也影响外貌工程，但是现今鼻炎治还是比较困难的，大部分只是靠调理，方老祖鼻炎馆作为专业可靠的养生调理机构，自品牌建立以后收获粉丝无数，成功打出了招牌来，这不还有人问起了方老祖鼻炎馆怎么加盟的问题，关于方老祖鼻...。
福田景色快运延长版电脑版在操纵管理面板，依据查问关系地下消息显示，车都在驾驶舱和引擎舱两边，可以在驾驶舱取上去检测，电脑版是诊断车上电路的疑问的，分红前装和后装两种模式，前装指汽车在出厂时标配装置的电脑，普通显示器嵌入在操纵管理面板中，后装指用户买到车后再购置电脑自行改装，目前国际曾经有一些厂商提供改装平台，在这样的汽车电脑上，用户可...。
2023最火爆随时都可以不要钱追剧的软件是有哪些，用户在这篇2023最火爆的可以不要钱追剧的app介绍就有多款下载数据最高的工具，进入到平台中是有很多最抢手的电视剧，快来一同下载2023最火爆的可以不要钱追剧的app吧！风车动漫行星视频ios版本大米星球影视app可以不要钱追剧的app介绍1、风车动漫介绍理由，风车动漫是一款十分受欢迎...。
最近，各大社交媒体平台都能看到五菱宏光MINI?EV的身影，甚至还有好友计划开它去西藏自驾游，这辆3万元左右续航100多公里的小车更是在9月份开售了辆，力压势头正劲的特斯拉Model?3，所以咱们也买了一辆，2020款悦享款，官网指点价3.88万，外观设计见仁见智这辆小车的外观真的只能用，见仁见智，来描画，看起来小巧可恶，还有点儿日本...。
QQ朋友如何复原咱们须要，3步，启动操作，本次展示机型为iPhone12promax；系统，ios14.7；软件，QQ8.8.20.619；以下为具体步骤1点击qq阅读器首先在手机页面中关上qq阅读器；1.点击qq阅读器2点击qq朋友复原系统进入后，在搜查栏输入QQ复原，关上qq朋友复原系统；2.点击qq朋友复原系统3复原QQ朋友进入...。
破1000亿！江苏发布元宇宙“三年计划”
关窗！豪门狂飙：切尔西再砸4.6亿，皇马拜仁诞生1亿巨星,拜仁,曼城,曼联,皇马,切尔西队,国际米兰,豪门狂飙,皇家马德里,巴塞罗那队,巴黎圣日耳曼
近日，芯片巨头英特尔终于宣布其10nm芯片有望在2019年下半年开始出货，摩尔定律发展到今天已经失效，这些年来，英特尔在10nm工艺制程上一直发展不顺利，近乎难产，以至于从2015年发布Skylake架构芯片以来，该公司一直在14nm工艺上修修补补，甚至有传言称英特尔内部已完全放弃10nm计划，所幸，英特尔宣布明年将推出下一代Sunn...。
俄罗斯禁用微信，俄方，服务商提供登记信息后可解封针对网络上关于俄罗斯境内微信海外版，WeChat，被禁用的报道，央视记者向俄罗斯联邦电信信息和大众传媒监管局进行了核实，俄方在给出的书面回复中称，根据俄2014年5月关于网络信息管理的法律修正案，网络信息服务商应在俄相关部门进行登记，俄政府要求服务商提供所在国的工商注册信息、服务器地址、...。
2019年1月的AI语音芯片市场十分热闹，1月2日，云知声召开发布会推出多模态AI芯片战略，并公布今年布局的3款AI芯片，1月4日，思必驰召开发布会发布其第一代AI语音芯片TAIHANG，1月21日，猎豹移动旗下AI公司猎户星空联合瑞芯微电子宣布推出专门针对智能音箱和物联网设备的AI语音芯片，加上此前出门问问、Rokid已经发布的AI...。
notability怎样绘制直线，notability可以帮助用户上手写笔记，轻松的绘制图形等，不论你是使用手指还是Applepencil等就可以轻松的实现，非常的方便，感兴趣的用户就一起来看看吧！...。
发表在私人家庭影院2021，6，2311，03想要打造一个合格的家庭影院，那么影音室就免不了要进行声学处理，可以让影音室的效果更好，那么影音室房间声学处理需要什么样的材料呢，本文来一一为你解答，从声学上讲，房间可视为一个共鸣器，当声源频率与由房间三维尺寸决定的固有谐振频率，简正频率，一致时将会形成驻波，产生共振，这就是声共振现象，视听...。
