谷歌大脑撰文解析 神经网络如何自行设计神经架构 AutoML (谷歌大脑项目)
201705/591d70f2b256b.png" src="http://www.gpxz.com/zdmsl_image/article/20241209162234_11319.jpg" loading="lazy">
在 Google I/O 大会上，谷歌公布了最新的机器学习算法——AutoML，随即，Quoc Le 与 Barret Aoph 大神在 Google Research Blog 上发布了一篇名为《采用机器学习探索神经网络架构》的文章。雷锋网进行了编译，并做了不改动原意的编辑和修改。
「在谷歌团队，我们成功地将深度学习模型应用于非常多的领域，从图像识别、语音识别到机器翻译等等。自然，这些工作离不开一整支工程师与科学家团队的努力。人工设计机器学习模型的过程实际上绝非坦途，因为所有可能组合模型背后的搜索空间非常庞大——一个典型的十层神经网络可能有~10种可能的神经网络组合。问题也接踵而至，为了应对这样庞大的数量级，神经网络的设计不仅耗时，而且需要机器学习专家们累积大量的经验。」
如图是 GoogleNet 的架构。神经网络的设计需要从最初的卷积架构开始，进行多年的细心调试
为了让机器学习模型的设计变得更加简单，谷歌团队一直希望能让这一过程自动化。此前谷歌也有做不少尝试，包括 evolutionary algorithms 与 reinforcement learning algorithms 等算法已经呈现了比较好的结果。而 Quoc Le 与 Barret Zoph 在此文中所展现的，是谷歌大脑团队目前在强化学习上得到的一些尝试与早期结果。
在团队一个名为「AutoML」的项目中（如图所示），左边有一个名为「控制器」（the controller）的 RNN，它设计出一个「child」的模型架构（雷锋网觉得可以称之为「雏形/子架构」），而后者能够通过某些特定任务进行训练与评估。随后，反馈的结果（feedback）得以返回到控制器中，并在下一次循环中提升它的训练设定。这一过程重复上千次——生成新的架构、测试、再把反馈输送给控制器再次学习。最终，控制器会倾向于设计那些在数据集中能获得更高准确性的架构，而反之亦然。
谷歌团队将这一方法应用于深度学习的两大数据集中，专注图像识别的 CIFAR-10 与语言建模的 Penn Treebank。在两个数据集上，系统自行设计的模型性能表现与目前机器学习专家所设计的领先模型不相上下（有些模型甚至还是谷歌成员自己设计的！）。
猜猜哪个是人类设计的神经网络架构，哪个是机器设计的？
让机器自行选择架构（machine-chosen architecture），与人类在设计神经网络的时候有一些共通之处，比如都采用了合并输入，并借鉴了此前的隐藏层。但其中也有一些亮点，比如机器选择的架构包含乘法组合 ( multiplicative combination)，如右图最左边（机器设计）的蓝色标签为「elem_mult」。对于循环神经网络而言，出现组合的情况并不多见，可能因为人类研究者并没有发现明显的优势。有意思的地方在于，此前人类设计者也提议过机器采用的乘法组合，认为这种方法能够有效缓解梯度消失/爆炸问题。这也就意味着，机器选择的架构能够对发现新的神经架构大有裨益。
此外，机器还能教会人类为何某些神经网络的运行效果比较好。上图右边的架构有非常多的渠道，梯度可以向后流动，这也解释了为何 LSTM RNNs 的表现比标准 RNN 的性能要好。
「从长远看来，我们对于机器所设计的架构进行深入的分析和测试，这能够帮助我们重新定义原本自身对架构的看法。如果我们成功，这意味着将会启发新的神经网络的诞生，也能让一些非专家研究人员根据自己的需要创造神经网络，让机器学习造福每一个人。」
参考文献：
[1] Large-Scale Evolution of Image Classifiers ,Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Quoc Le, Alex Kurakin. International Conference on Machine Learning, 2017.
[2] Neural Architecture Search with Reinforcement Learning ,Barret Zoph, Quoc V. Le. International Conference on Learning Representations, 2017.
via research.googleblog ，雷锋网编译
版权文章，未经授权禁止转载。详情见 转载须知 。
郑州启明星沙盘模型公司主要制作工业,建筑,地形景区,房地产楼盘等沙盘模型,欢迎关注.
搜狗软件下载通过先进的搜索技术，为您提供最新最全的软件下载服务，全部软件都已经过安全杀毒检测
奥一新闻是广东南都全媒体网络科技有限公司旗下核心新闻平台，具备互联网新闻信息采编发布服务资质。奥一新闻目前已经搭建立体矩阵传播体系，包括小程序、移动端、网站、奥一官微、奥一财经微信，并通过南都app全网分发内容。
易当游戏网为您提供安全绿色的游戏、软件下载服务以及最新游戏资讯热门攻略，还有各种游戏mod补丁等工具大全和各种有趣好玩的应用。在这里，您可以第一时间尝鲜最新的手游，易当游戏网成为您信赖的一站式下载中心。
河南华鸣仪器设备有限公司专业生产（供应）销售工业内窥镜,高清汽车内窥镜,硬管内窥镜,光纤内窥镜,红外软管窥镜,警用内窥镜,工业电子内窥镜,管道内窥镜,管道检测仪,视频内窥镜系列产品，公司在上海,江苏,浙江,北京,广东,山东,陕西,河南地区具有良好的市场信誉，有着专业的销售和技术服务团队，品牌厂家生产商定制供应，价格报价多少钱?欢迎来电来涵洽谈交流!
易乐玩游戏平台是盛天网络旗下的游戏运营平台，一直为广大玩家提供热门、好玩的免费游戏及超值游戏礼包福利
六洲路桥工程有限公司位于中国七大古都之一的安阳市辖区内，承建：公路压浆工程,桥头压浆工程,承揽公路灌浆工程,承揽桥头灌浆工程，联系电话：0372-6279518
寿光市彤泰防水材料有限公司,创建于2003年,是一个集防水材料研制、开发、生产销售、设计施工于一体的专业化新型防水材料生产企业。
长春APP开发制作团队，长春网赢科技有限公司（行业前十名），长春app开发团队为您服务17390056060
四川同创凌凯通信技术有限公司拥有17年短信行业经验,提供短信群发,短信验证码,4G短信,移动短信,电信短信,联通短信,短信群发解决方案,业务涉及金融、餐饮、电商、汽车等行业，在企业、商店、物业等多种场景上得到应用。
【官网】武汉大山精密炉业有限公司_公司专业生产陶瓷纤维真空成型制品，各系列产品可以广泛应用于半导体、燃料电池、化工、陶瓷、医药、建筑、太阳能光伏、实验室和牙科、金属热处理、玻璃等行业。
江苏省美术馆
饺子在诸多消费者的心中都有着根深蒂固的印象，作为我国传统的文化美食，饺子一直都有着很高的美食热度，是诸多消费者喜欢的日常餐饮选择，熊大爷现包饺子作为业内出色的餐饮品牌，以现包品质饺子美食面向市场，受到了很多地区消费者的喜爱，搭配地域的限制，以南北融合的饺子美食吸引了很多消费者以及加盟商，那么，熊大爷现包饺子好吃吗，能加盟吗，熊大爷现包...。
智能化正推动金融行业数字化转型稳步前进，9月8日，在2023腾讯全球数字生态大会金融云专场上，腾讯金融云分享了对金融行业数字化转型的最新洞察——业务发展对云架构及智能化产品的需求在提高，同时分享最新的场景化能力与行业实践案例，并与金融行业各界专家共同探讨了行业高质量发展的新机遇，腾讯云副总裁徐翊鸣在致辞中表示，，金融创新的大背景是数字...。
发表在当贝投影仪2024，6，616，00当贝F6和极米H6都是采用LED光源的投影仪，都是主打客厅用的投影仪，那么两款投影仪之间有什么区别呢，下面就来详细对比分析一下，看看当贝F6和极米H6区别有哪些，全面对比分析哪款更值得入手，一、当贝F6和极米H6区别有哪些，1.光学参数对比在亮度方面，当贝F6的亮度达到2350CVIA流明，对...。
[文，观察者网齐倩]7月10日，美国海岸警卫队网站颁布申明称，在外地期间6日和7日，美国海岸警卫队在阿拉斯加左近的白令海区域，延续两天发现了多艘中国军舰，据申明所说，美国海警巡查舰，金博尔，号在阿留申群岛经济专属区的阿姆奇怪卡，Amchitka，海峡以北约100海里处，发现了三艘中国海军船只；海岸警卫队科迪亚克航空站的直升机，HC，1...。
1、1进入爱卡汽车论坛后在首页点击进入，论坛，2跳转到论坛后，在点击，找论坛，，接着在各大论坛列表中，找一个你须要的论坛点击进入3点击，颁布新帖，，输入题目内容或许减少照片形容，编辑好后点击，发送，就可以，2、依照反常状况，名牌车在二手车市场上保值不好，由于普通是生产者不情愿花大价钱买那些豪车，再加上收车的经销商，他们也不敢花大钱压抑...。
借此时机，咱们再次向张志杰的家人、队友、中国羽毛球协会以及整个中国羽毛球界示意最深切的慰劳，张志杰在印度尼西亚日惹举行的亚洲青年羽毛球锦标赛上可怜离世，咱们正在采取一切必要措施，与亚洲羽毛球联结会和印尼羽毛球协会，PBSI，协商，将彻底审查此事，亚洲青年羽毛球锦标赛虽由亚洲羽毛球联结会管辖，但环球羽联确实有一套完整的医疗准绳和说明，可...。
登泰山记【严建设日记】2024年05月03日Friday阴雨甲辰三月十八_严建设_新浪博客,严建设,
快手自助答题解封是一个方便用户解决账号问题的平台。如果你的快手账号被封禁，你可以通过快手自助答题解封来尝试恢复你的账号。以下是提交步骤：首先，你需要打开快手APP或者网页版快手，找到“我的”选项，点击
汉呈水墨中国风字体免费版是汉呈王天喜系列相关的一款字体，在原来的基础上添加了一个水墨风格的圆圈，字形看起来比较浑厚圆润，充满水墨中国风特色，极具个性，是很多用户常用的艺术手写字体，适用于多个不同的设计领域！汉呈水墨中国风字体简介：汉呈水墨中国风字
买17宗土地14宗“有毒”？陆家嘴索赔100亿元，项目已停工
出厂专题,提供出厂的相关文章和相关资讯,在本栏目你可以看到出厂这个内容的相关各类文章很多篇,如有不足请提供给我们更多出厂的文章供大家查阅.
丨来自三哥@孙芮九月的第一波照片轰炸……
喜羊羊的游戏下载大全2022，喜羊羊作为一部非常受小朋友欢迎的动画片可以说是很多人的童年回忆了，因此由此产生的各种周边衍生产品也是层出不穷，由此衍生出的手游当然也是很受大家欢迎的啦，但是小编并没有在豌豆荚找到喜羊羊相关元素的游戏哦，不过没关系，小编找到了几款超级好玩的适合小朋友玩的手游分享给大家呢，相信小伙伴们一定也会喜欢哒，1、，奇...。
1月16日，2025腾讯产业合作伙伴大会在三亚召开，腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生表示，随着，被集成，战略深入推进，腾讯云已与伙伴共建了450多个行业解决方案，服务类伙伴数量去年同比增长超过40%，同时还向伙伴开放了50%的直销客户，伙伴收入占比已经超过1，3，未来，腾讯云将继续坚持长期主义，不做，大水漫灌，，...。
黑幕、机器人、流动行驶的车辆….今天下午，毫末智行在流动着科技与未来气息的幕布背景下，于线上正式举办，HAOMOAIDAY，，一股浓浓的技术风，活动现场，毫末智行董事长张凯、CEO顾维灏共同细数了他们近一年来的亮眼成绩单，1、截至12月用户行驶里程近400万公里；今年第四季度正式上线的智慧领航辅助驾驶系统NOH，2、截至目前，毫末智行...。
雷锋网消息，11月21日，NVIDIA在苏州召开了GTCChina2018大会，四方赶来的与会者对这场在中国举办的技术大会倍加期待，希望黄仁勋在这场技术盛会上能为中国市场带来新鲜劲爆的消息，NVIDIA也没有让各位看客失望，在大会上带来了游戏，云服务器，自动驾驶全方位的产品和技术介绍，会后，雷锋网与NVIDIA全球市场运营执行副总裁J...。
发表在联想投影仪2024，8，1309，43联想LK201是一款造型类似扫地机器人的投影仪，具体联想LK201投影仪的参数配置如何呢，下面就来详细了解一下，看看联想LK201投影仪怎么样，各方面有什么优缺点，实际是否可以满足用户的家用观影需求，联想LK201投影仪怎么样，1.光学参数在亮度方面，联想LK201的光源亮度达到1000流明...。
