谷歌大脑撰文解析 神经网络如何自行设计神经架构 AutoML (谷歌大脑项目)
google I/O 2017" href="//static.leiphone.com/uploads/new/article/740_740/201705/591d70f2b256b.png" src="http://www.gpxz.com/zdmsl_image/article/20241209162234_11319.jpg" loading="lazy">
在 Google I/O 大会上，谷歌公布了最新的机器学习算法——AutoML，随即，Quoc Le 与 Barret Aoph 大神在 Google Research Blog 上发布了一篇名为《采用机器学习探索神经网络架构》的文章。雷锋网进行了编译，并做了不改动原意的编辑和修改。
「在谷歌团队，我们成功地将深度学习模型应用于非常多的领域，从图像识别、语音识别到机器翻译等等。自然，这些工作离不开一整支工程师与科学家团队的努力。人工设计机器学习模型的过程实际上绝非坦途，因为所有可能组合模型背后的搜索空间非常庞大——一个典型的十层神经网络可能有~10种可能的神经网络组合。问题也接踵而至，为了应对这样庞大的数量级，神经网络的设计不仅耗时，而且需要机器学习专家们累积大量的经验。」
如图是 GoogleNet 的架构。神经网络的设计需要从最初的卷积架构开始，进行多年的细心调试
为了让机器学习模型的设计变得更加简单，谷歌团队一直希望能让这一过程自动化。此前谷歌也有做不少尝试，包括 evolutionary algorithms 与 reinforcement learning algorithms 等算法已经呈现了比较好的结果。而 Quoc Le 与 Barret Zoph 在此文中所展现的，是谷歌大脑团队目前在强化学习上得到的一些尝试与早期结果。
在团队一个名为「AutoML」的项目中（如图所示），左边有一个名为「控制器」（the controller）的 RNN，它设计出一个「child」的模型架构（雷锋网觉得可以称之为「雏形/子架构」），而后者能够通过某些特定任务进行训练与评估。随后，反馈的结果（feedback）得以返回到控制器中，并在下一次循环中提升它的训练设定。这一过程重复上千次——生成新的架构、测试、再把反馈输送给控制器再次学习。最终，控制器会倾向于设计那些在数据集中能获得更高准确性的架构，而反之亦然。
谷歌团队将这一方法应用于深度学习的两大数据集中，专注图像识别的 CIFAR-10 与语言建模的 Penn Treebank。在两个数据集上，系统自行设计的模型性能表现与目前机器学习专家所设计的领先模型不相上下（有些模型甚至还是谷歌成员自己设计的！）。
猜猜哪个是人类设计的神经网络架构，哪个是机器设计的？
让机器自行选择架构（machine-chosen architecture），与人类在设计神经网络的时候有一些共通之处，比如都采用了合并输入，并借鉴了此前的隐藏层。但其中也有一些亮点，比如机器选择的架构包含乘法组合 ( multiplicative combination)，如右图最左边（机器设计）的蓝色标签为「elem_mult」。对于循环神经网络而言，出现组合的情况并不多见，可能因为人类研究者并没有发现明显的优势。有意思的地方在于，此前人类设计者也提议过机器采用的乘法组合，认为这种方法能够有效缓解梯度消失/爆炸问题。这也就意味着，机器选择的架构能够对发现新的神经架构大有裨益。
此外，机器还能教会人类为何某些神经网络的运行效果比较好。上图右边的架构有非常多的渠道，梯度可以向后流动，这也解释了为何 LSTM RNNs 的表现比标准 RNN 的性能要好。
「从长远看来，我们对于机器所设计的架构进行深入的分析和测试，这能够帮助我们重新定义原本自身对架构的看法。如果我们成功，这意味着将会启发新的神经网络的诞生，也能让一些非专家研究人员根据自己的需要创造神经网络，让机器学习造福每一个人。」
参考文献：
[1] Large-Scale Evolution of Image Classifiers ,Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Quoc Le, Alex Kurakin. International Conference on Machine Learning, 2017.
[2] Neural Architecture Search with Reinforcement Learning ,Barret Zoph, Quoc V. Le. International Conference on Learning Representations, 2017.
via research.googleblog ，雷锋网编译
【GQ男士网】是中国第一个视野开阔的时尚男人网站，聚焦时尚资讯，解读每季国际男装发布会及时尚趋势，引导男士时尚品味生活和潮流消费，最全最快呈现《智族GQ》杂志内容。
火车头私有云为客户提供一整套的数据采集解决方案，解决大数据量采集及存储、突破网站防采集反爬、多端分布式采集、跨平台支持主流操作系统部署、时事舆情监控、品牌舆情监控等功能。
北京樽祥科技有限责任公司是一家专业从事仪器仪表销售公司，作为艾默生罗斯蒙特手操器国内区域总代理，减少中间环节直接面对客户。475手操器、TREX手操器德国工厂原装进口，货源品质保证。
蚌埠天球电子科技有限公司是国内专业生产孵化机的定点厂家，位于安徽省蚌埠市蚌埠工业园，占地30亩，注册资金588万元，职工80人，技术力量雄厚
乐行网提供城市公交地铁线路查询，火车高铁时刻表，票务查询等出行交通信息。
不要钱建站，企业网站建设，推广上百度首页，广告位赚钱，宣传公司形象，做网站不收费，财会业务，会赚钱网站，代理报税，网站优化，百度排名靠前，链接赚钱，会计记账，广告展示，彗星免费建站www.68lc.cn
东海县硅宝石英制品有限公司是石英制品生产专业单位，主要产品有石英管、石英玻璃管．厚壁石英管．大口径石英管．石英锅炉管．石英棒、双孔石英管、石英套管、石英水套、石英片、石英环、石英坩埚、石英仪器、各种石英弯管、球型石英管、无臭氧紫外线石英管．乳白石英管以及各种异色石英管等石英制品。
快快网络作为新一代云安全引领者，为全球客户提供DDOS防护，CC防护，WAF安全，BGP高防服务器等专业智能服务，为政企等各行业提供云安全解决方案。
四川天象人力，致力打造成为客户最具信赖的人力资源品牌服务商，公司主要从事代理招聘、劳务派遣、人事代理、生产线外包、灵活用工、校企合作等业务，一对一专属客服，为您服务~
爱开大学生网提供大学生新闻网上投稿平台，支持大学生社会实践网上投稿，包括大学生新闻、大学生社会实践、大学生活等栏目信息，大学生自己的网上投稿平台。
有好健康_是国内以奇异搞怪为主的网站
恒宇仪器专业开发生产:拉力机,万能材料试验机,拉力试验机等系列产品,用途广泛,与奥康鞋业、361、Nike、阿迪达斯等国内外企业均有合作,深受客户好评.欢迎至电全国免费热线:400-8300-665
抑郁症，似乎离我们很近又很远，我们会在社交网络上得知名人抑郁自杀的消息，但殊不知在他们背后，还有更多普通人正在饱受抑郁症的困扰，据世界卫生组织，WHO，统计，目前全球范围内大约有3.5亿人患有抑郁症，我国泛抑郁人数已超过9500万人，每10个人中就有1人饱受抑郁症的折磨，此外，抑郁症已成为自杀倾向的最大隐患，据美国国立卫生研究院，U....。
在11月16日举办的谷歌开发者大会上，有关AR技术的内容发布抓住了大量云宇宙关注者的眼球，尽管没有过多明说AR技术与元宇宙的直接关系，但其通过更新AR工具所能够达成的大量成果，对于元宇宙场景的落地都至关重要，一言以蔽之，，真实性，是这次大会上谷歌对AR内容最大的期许，而据雷锋网观察，，真实性，则体现在如下两个方面，一方面，AR需要足以...。
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
通过使用优化的数据增强方法，在CIFAR，10、CIFAR，100、SVHN和ImageNet上得到了目前最好的结果，您可以从这里找到和使用它们，在ImageNet上得到的最好的增强效果，源自，https，arxiv.org，abs，1805.09501v1AutoML——使用机器学习来改进机器学习设计，如体系结构或优化器，的想法...。
20日上午，中兴通讯发布声明表示不能接受美国商务部对中兴的制裁，而全民关于中国芯的讨论依旧在持续，在这个关键的时间节点，阿里巴巴布局芯片的一系列消息也接连曝光，继昨天下午阿里巴巴达摩院正在研发Ali，NPU神经网络芯片的消息曝光之后，今天，4月20日，上午又了解到阿里巴巴全资收购杭州中天微系统有限公司，简称中天微系统，，后者是一家嵌入...。
字幕组双语原文，时间卷积网络，时间序列的下一场革命，英语原文，TemporalConvolutionalNetworks，TheNextRevolutionforTime，Series?翻译，雷锋字幕组，君思，这篇文章回顾了几个最新的基于TCN的解决方案，我们首先介绍运动检测的案例研究，并简要回顾一下TCN架构及其相对于传统方法，如卷...。
雷锋网AI科技评论按，今日，谷歌分享了SemanticExperiences，在博客中展示了两大关于自然语言理解的互动工具，TalktoBooks是一个可以从书中的句子层面搜索书籍的全新检索模式；另一个互动内容则是Semantris，一个由机器学习驱动的单词联想游戏，地址，https，research.google.com，sem...。
雷锋网AI科技评论按，在GoogleI，O2018上，除了Google助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的SmartCompose技术同样也引得众人欢呼，近期，谷歌大脑团队首席软件工程师YonghuiWu在GoogleAIPo出了这篇详细介绍SmartCompose原理的博文，雷锋网AI科技评论将其...。
消息，12月24日，T，Mobile、Meta、Twitter、Pinterest和iHeartRadio等公司宣布，将不会参加2022年度拉斯维加斯博览会，其主要技术也不会在展览会出现，据了解，国际消费类电子产品展览会，简称CES，由美国电子消费品制造商协会，简称CTA，主办，旨在促进尖端电子技术和现代生活的紧密结合，该展始于...。
很多人关心书果星球阅读加盟怎么样，今天，我们从四个方面了解书果星球的核心产品——儿童读书会，书果星球儿童阅读馆，十余年来专注为3，14岁儿童提供阅读服务和指导，以借阅，读书会，研学营等产品，引导孩子读好书、爱读书、多读书、深度读，让，阅读不止于看书，1、读好书书果星球教研团队精选1000，本好书，融合8级儿童读物和9级儿童阅读能力分...。
芯片以及操作系统都是我们的短板弱项，‘缺芯少魂，，车规级的更是如此，在3月底的电动汽车百人会上，全国政协经济委员会副主任苗圩曾如此表示，芯片的国产替代已然成为当前科技行业的重要议题之一，再加上持续多时的车规级MCU缺货、涨价潮，车企们纷纷将目光聚焦在可替代的国产MCU上，如今，国产车规级高端MCU赛道又迎来一新选手入场，4月12日...。
公元前119年，汉武帝刘彻遣大将军卫青、骠骑将军霍去病分两路深入漠北，在距离中原最远的战场进行的一次规模最大最艰巨的战役，漠北决战的胜利是汉武帝反击匈奴之战的标志，解除了匈奴威胁，横击匈奴，开创了大汉雄风，成就了汉朝的强汉之名，刘彻的选择其实是时势使然，更是顺势而为，两千年后，在中美芯片的科技战场，也在进行一场，时势造英雄，的历史，2...。
在本届航展上，我国察打一体无人机，九天，初次亮相，这是一款可灵敏性能的重型无人机，看起来它如同只是一台无人机，但实践上它既能当运输机，也能挂导弹、挂无人机，除此之外，它还有着哪些特点，每一次性珠海航展上产生的无人机，都给咱们耳目一新的觉得，这一次性初次产生的，九天，无人机，它给咱们的觉得不只仅是新意了，而是震撼，由于它的个头超出构想，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
