和神经架构搜索初探 AutoML (神经架构搜索(NAS))
雷锋网按：本文由「图普科技」编译自 An Opinionated Introduction to AutoML and Neural Architecture Search
来自CMU和DeepMind的研究人员最近发布了一篇有趣的新论文，称为可微分网络结构搜索（DARTS），它提供了一种神经网络结构搜索的替代方法，这是目前机器学习领域的一个大热门。神经网络结构搜索去年被大肆吹捧，Google首席执行官Sundar Pichai和Google AI负责人Jeff Dean宣称，神经网络结构搜索及其所需的大量计算能力对于机器学习的大众化至关重要。科技媒体争相报道了谷歌在神经网络结构搜索方面的工作。
报道谷歌的AutoML和神经网络结构搜索的头条新闻
在2018年3月举办的TensorFlow DevSummit大会上，Jeff Dean在主题演讲（大约22:20左右开始）中宣称，未来谷歌可能会用100倍的计算能力取代机器学习专家。 他给出了需要庞大计算力的神经网络结构搜索作为例子（他给出的唯一例子），来说明为什么我们需要100倍的计算能力才能使更多人能够使用ML。
Jeff Dean在TensorFlow DevSummit大会上的主题演讲
什么是神经网络结构搜索？它是使得机器学习技术可以被非机器学习专家所使用的关键吗？
我将在这篇文章中深入研究这些问题，在下一篇文章中，我将专门研究Google的AutoML。 神经网络结构搜索是一个名为AutoML的更广泛领域的一部分。AutoML近年来受到了很多关注，我们将首先来探讨它。
目录：
• AutoML是什么?
• AutoML有用吗?
• 神经网络结构搜索是什么?
• DARTS是什么?
• 神经网络结构搜索有用吗?
• 如何让机器学习从业者更高效地工作？ AutoML vs增强机器学习
AutoML 是什么?
传统上，术语AutoML用于描述模型选择和/或超参数优化的自动化方法。这些方法适用于许多类型的算法，例如随机森林，梯度提升机器（gradient boosting machines），神经网络等。 AutoML领域包括开源AutoML库，研讨会，研究和比赛。 初学者常常觉得他们在为模型测试不同的超参数时通常仅凭猜测，而将这部分过程的自动化可以使机器学习变得更加容易。即使是对经验丰富的机器学习从业者而言，这一自动化过程也可以加快他们的速度。
业内现存有许多AutoML库，其中最早出现的是AutoWEKA，它于2013年首次发布，可以自动选择模型和超参数。其他值得注意的AutoML库包括auto-sklearn（将AutoWEKA拓展到了python环境），H2O AutoML和TPOT。 AutoML.org（以前被称为ML4AAD，Machine Learning for Automated Algorithm Design）小组，自2014年以来一直在ICML机器学习学术会议上组织AutoML研讨会。
AutoML 有用吗？
AutoML提供了一种选择模型和优化超参数的方法。它还可以用于获取对于一个问题可能性能的基准结果。这是否意味着数据科学家将被取代？ 并非如此，因为我们知道，机器学习从业者还有许多其他事情要做。
对于许多机器学习项目，选择模型不过是构建机器学习产品复杂过程中的一部分。 正如我在上一篇文章中所述，如果参与者不了解项目各个部分是如何相互关联的，那么项目必然会失败。我能想到过程中可能会涉及的30多个不同步骤。我必须要强调，机器学习（特别是深度学习）中最耗时的两个方面是清理数据（这是机器学习中不可或缺的一部分）和训练模型。 虽然AutoML可以帮助选择模型并选择超参数，但重要的是，我们仍然要理清有哪些数据科学的技能是需要的以及那些仍未解决的难题。
我将提出一些替代AutoML方法的建议，以使机器学习从业者在进行最后一步时更有效率。
神经网络结构搜索是什么?
现在我们已经介绍了AutoML的一些内容，让我们来看看该领域特别活跃的一个子集：神经网络结构搜索。谷歌首席执行官桑达·皮采Sundar Pichai在博客中写道：“设计神经网络是非常耗时的，其对专业知识的极高要求使得只有小部分科研人员和工程师才能参与设计。这就是我们创建AutoML方法的原因，有了它，神经网络也可以设计神经网络。”
Pichai所说的使用“神经网络也可以设计神经网络”就是神经网络结构搜索; 通常使用强化学习或进化算法来设计新的神经网络网络结构。这很有用，因为它使得我们能够发现比人们想象的要复杂得多的网络结构，并且这些网络结构可以针对特定目标进行优化。神经网络结构搜索通常需要大量计算力。
确切地说，神经网络结构搜索通常涉及学习像层（通常称为“单元”）之类的东西，它们可以组装成一堆重复的单元来创建神经网络：
来自Zoph等人2017年发表的论文。左边是单元堆叠的完整神经网络，右边是单元的内部结构
关于神经结构搜索的学术论文很多，所以我将在这里重点介绍几篇最近发表的论文：
• 在2017年5月举行的Google I / O大会上，Google AI研究人员Quoc Le和Barret Zoph发布了他们的研究成果（点击查看论文），AutoML这一术语迅速成为主流。该研究使用强化学习为计算机视觉领域的Cifar10问题和NLP领域的Penn Tree Bank问题寻找到了新的网络结构，并取得了与现有网络结构类似的结果。
来自Le和Zoph的博客文章：左边更简单的架构是人类设计的，右边更复杂的架构是神经网络设计的。
• 通过Learning Transferable Architectures for Scalable Image Recognition论文中提出的NASNet。这项研究在小数据集Cifar10上寻找一个网络结构构建块，然后为大型数据集ImageNet构建网络。这项研究需要大量计算，花费1800个GPU天（相当于1个GPU工作5年）来学习网络结构（谷歌团队使用500个GPU 训练了4天！）。
• Regularized Evolution for Image Classifier Architecture Search论文中提出的AmoebaNet。这项研究比NASNet需要更多的计算，它花费3150个 GPU天（相当于1 GPU近9年的时间）来学习网络结构（Google团队使用450个K40 GPU 训练了7天！）。 AmoebaNet由通过进化算法习得的“单元”组成，表明人工智能进化而来的架构可以媲美甚至超越人工制作和强化学习设计的图像分类器。 fast.ai对此架构进行了改进，学习进程加快的同时改变了训练过程中图像的尺寸。AmoebaNet已成为在单台机器上训练ImageNet最便宜的方式！
• 高效的神经网络结构搜索（ENAS）：使用的GPU小时数比现有的自动模型设计方法少得多，特别是比标准的神经网络结构搜索所需的计算力要少1000倍。这项研究仅使用单个GPU训练了16个小时！
DARTS是什么？
可微分网络结构搜索（DARTS）。这项研究是最近由卡内基梅隆大学和DeepMind的一个团队发布的，我对这个想法很感兴趣。 DARTS假定候选网络结构的空间是连续的，而不是离散的，这使得它能够使用基于梯度的方法。这比大多数神经架构搜索算法使用的黑箱搜索效率高得多。
来自DARTS，它将所有可能的网络结构空间视为连续的，而非离散的
要为Cifar-10学习一个网络结构，DARTS仅需4个GPU天，相比之下，NASNet为1800 个GPU天，AmoebaNet为3150个GPU天（准确度都相同）。这是效率的巨大提升！ 虽然还需要更多的探索，但这是一个很有前景的研究方向。 Google经常强调神经架构搜索需要巨大计算力，这说明有效的网络结构搜索方法很可能未被充分探索。
神经架构搜索有用吗？
在他的TensorFlow DevSummit主题演讲中（从22:20开始），Jeff Dean提出深度学习工作的一个重要部分是尝试不同的网络结构。这是Dean在他的简短的演讲中唯一强调的机器学习步骤，我对他的重点感到惊讶。Sundar Pichai的博文包含了类似的断言。
Jeff Dean的幻灯片显示神经网络结构搜索可以尝试20种不同的模型以找到最准确的一种。
但是，选择模型只是构建机器学习产品复杂过程中的一部分。 在大多数情况下，网络结构选择远不是最难，最耗时或最重要的问题。目前，没有证据能够证明每个问题最好用它自己独特的网络结构来建模，大多数从业者都认为不太可能会出现这种情况。
谷歌等组织致力于网络结构设计，并与其他人共享他们发现的网络结构。这样的服务是非常重要且有用的。 然而，只有那些致力于基础神经结构设计的小部分研究人员才需要基础架构搜索方法。 我们其他人可以通过迁移学习来利用他们找到的网络结构。
如何让机器学习从业者更高效地工作？ AutoML vs增强机器学习（Augmented ML）
神经网络结构搜索是AutoML领域的一部分，该领域关注的核心问题是：我们如何将模型选择和超参数优化过程自动化？ 然而，自动化忽视了人类参与的重要作用。 我想提出另一个问题：人类和计算机如何协同工作才能使机器学习效率更高？ 增强机器的重点在于弄清楚人和机器应如何更好地协同工作以发挥他们的不同优势。
增强机器学习的一个例子是Leslie Smith的学习率查询器，它可在fastai库（在PyTorch之上运行的高级API）中实现，我们在免费的深度学习课程中也将其作为关键技术进行教学。 学习率是一个超参数，可以确定模型训练的速度，甚至可以确定模型是否训练成功。 学习速率查询器允许人类通过查看生成的图表中找到合适的学习速率。它比AutoML更快地解决了这一问题，增强了数据科学家对训练过程的理解，并鼓励采用更强大的多步骤方法来训练模型。
来自Surmenok关于学习率查询器的博客文章，显示了学习率与损失之间的关系
专注于自动化超参数选择存在的另一个问题是：它忽视了某些类型的模型可能适用性更广，需要调整的超参数更少以及对超参数选择不太敏感的情况。例如，随机森林优于梯度提升机器（Grandient Boosting Machine, GBM）的重要一点是随机森林更加稳定，而GBM往往对超参数的微小变化相当敏感。因此，随机森林在业内得到广泛应用。研究有效删除超参数的方法（通过更智能的默认值或通过新模型）将产生巨大的影响。当我在2013年开始对深度学习感兴趣时，对如此多的超参数感到不知所措，我很高兴新的研究和工具帮助消除了许多超参数（特别是为初学者）。例如，在fast.ai课程中，初学者只需要选择学习率这一个超参数，我们甚至会给你一个工具来做到这一点！
揭开谷歌 AutoML 的神秘面纱
揭秘 | 谷歌自动化机器学习真的那么神吗？
版权文章，未经授权禁止转载。详情见 转载须知 。
齐家网（www.jia.com），是齐家网为了应对和满足未来装修建材家居市场，完善家装用户网购体验，依托齐家网巨大的资金和技术，而投资建立的线上交易平台；未来将建设成为互联网家装领域第一品牌。
中国管理科学学会（ChinamanagementScienceSociety，CMSS）原名中国管理科学研究会，成立于1980年，1991年更名为中国管理科学学会，是中国管理科学研究、实践的工作者自愿结成的学术性的全国性的非营利性的社会组织。
教育行业兼具口碑与名气的全案型公关公司，擅长提供整合营销服务，从策略制定到落地执行，涉及公关、新媒体营销、落地活动、品牌定位、危机处理等多个方面。该公司自2015年初服务VIPKID，负责其对外营销传播工作，帮助VIPKID成为行业独角兽，此后深耕教育行业，目前为VIPKID、好未来教育集团、掌门一对一、学而思网校、朴新教育集团、一起作业、作业帮等多家教育行业巨头客户提供全年整合营销服务。
郑州海奇仪器科技有限公司主要产品有旋转蒸发仪、玻璃反应釜、高低温玻璃反应釜、真空泵、制冷泵、旋转蒸发器等，厂家直销，欢迎咨询。
运城制版是一家专业生产各类凹印版辊的企业，多年来致力于为凹印印刷厂家提供高质量的版辊和完善的服务。上海运城制版有限公司隶属于山西运城制版集团股份有限公司，是旗下六大总公司之一。自1994年公司成立至今，经过二十多年的健康发展，产品从单一的包装版到多元化产品：包装版、烟包版、壁纸版、木纹版、花布版、皮革版、陶瓷版、激光柔版，数字印刷、数码印花等。市场从国内到海外，二十年间实现了跨越式发展，目前已成为华东地区凹版印刷行业的优秀供货商之一,在华东地区享有很高声誉，成为众多国际国内品牌首选的制版合作伙伴。公司总部位于中国上海国际汽车城—嘉定区安亭镇，地处沪宁高速，312国道的交汇处，地理位置优越，交通便利。
新媒股份
淘壶人系茶品类和收藏类的综合平台，提供宜兴紫砂壶、瓷器、建盏、银壶、铜器和茶叶等，并且销售收藏级别的老白茶、普洱茶等。平台开设有学堂、名家、百科等多个权威频道，提供职称、名人录等方便查阅。
四川策文科技有限公司
155吾爱诗词工具分享网，分享个人古诗个人见闻，唐诗三百首，宋词名篇，元曲介绍和优秀的古诗文化.
上海荣势环保科技致力于现代化建筑安全技术、节能技术产品研发、生产、销售一体化的高科技企业。公司专注于应用气凝胶技术、硅改性技术研发各类防火隔热领域内的新型环保节能材料，建筑防排烟风管系统解决。我们的产品包括气凝胶防火板，漂珠隔热板，硅晶复合板，纳米隔热板，气凝胶硅酸钙超耐板，容易加纳米硅改性树脂，TC系列气凝胶隔热涂料等。
中电华建环境系统技术（无锡）有限公司依托中国电子信息产业和中石化工建设系统强大的技术、业务和管理优势而成立的工程技术公司。工业环境治理是我们的持续稳定的经营业务，工业废气治理、工业污水集中处理、中水回用、纯水处理事业板块是支撑中电华建公司持续发展的重要的事业载体。
兔展内容生产，快速制作生成微信H5活动、H5页面、短视频、抽奖、测试、助力、裂变、红包、分销、拼团等小程序、小游戏等
在大多数机器学习竞赛中，特诊工程的质量通常决定着整个作品的得分与排名，也是参赛者们非常看重的一部分，在GitHub上，作者Nomi，专注于计算机视觉与嵌入式技术，也是tiny，dnn的原作者，向我们介绍了一个面向kaggle数据科学和离线竞赛的实用工具库nyaggle，可供开发者专用于特征工程与验证，在机器学习和模式识别中，特征工程的...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
雷锋网AI科技评论按，作为最久负盛名的机器学习顶会之一，今年NeurIPS2019在召开之前就消息不断，在今年论文审稿期间，NeurIPS2019程序委员会主席专门发布声明称，19篇论文因一稿多投被拒收，一时造成热议；而在会议近一个月前，多位黑人参会者们申请加拿大签证被拒的消息引起了AI学者们纷纷为其发声并对近年来签证问题的讨论展开了...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
雷锋网消息，7月9日，由中国计算机学会，CCF，主办，雷锋网和香港中文大学，深圳，承办的第二届CCF，GAIR全球人工智能与机器人峰会进入了第三天，在机器学习专场第三场，iPINCEO杨洋为大会带来了题为，认知分析—透过机器重新审视商业本质，的分享，阐述了当前AI技术遭遇的瓶颈——认知，让机器实现认知的条件，以及获得认知能力后，技术可...。
雷锋网按，就大量关于，杀手级机器人，的炒作来说，2017年在人工智能方面取得了一些显著的进步，阿尔法狗、冷扑大师等棋牌机器人能让顶级玩家陷入绝望，在现实世界中，机器学习正被用于改善农业，以及扩大医疗保健的覆盖面，但你最近和Siri或者Alexa对话过吗，如果有，那么你会知道，撇开这些炒作，以及踌躇满志的亿万富翁们，还有很多事情人工智能...。
大家好，我就是倪蘋，社区昵称是MLer，1，毕业于纽约大学计算机科学专业，我目前正在利物浦大学从事机器学习算法相关的研究和开发工作，研究领域包括NLP，CV和分布式计算，之前一直在关注领域内的各大顶会，后来通过AI科技评论的公众号发现了AI研习社，ai.yanxishe.com，，分享、交流的圈子又扩大了数倍，再此感谢研习社提供的交流...。
通过使用优化的数据增强方法，在CIFAR，10、CIFAR，100、SVHN和ImageNet上得到了目前最好的结果，您可以从这里找到和使用它们，在ImageNet上得到的最好的增强效果，源自，https，arxiv.org，abs，1805.09501v1AutoML——使用机器学习来改进机器学习设计，如体系结构或优化器，的想法...。
雷锋网AI科技评论按，今日，谷歌分享了SemanticExperiences，在博客中展示了两大关于自然语言理解的互动工具，TalktoBooks是一个可以从书中的句子层面搜索书籍的全新检索模式；另一个互动内容则是Semantris，一个由机器学习驱动的单词联想游戏，地址，https，research.google.com，sem...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，雷锋网AI科技评论按，2019年12月8日，14日，机器学习领域国际顶级会议NeurIPS2019于加拿大温哥华拉开帷幕，此次大会共吸引了全球1万余名专家学者共赴盛会，本年度，自然语言处理领域在深度学习浪潮下取得了显著成就，成为大会重要议题之一，百度举办了自然语言处...。
科技发展的洪流，总是跟随着一些前沿的概念而向前；目前我们熟悉的大数据、云计算、人工智能、机器学习都曾经扮演过前沿概念的角色，但现在，当人工智能已经成为一个常见词汇并被用作一个时代的标签，代表前沿科技发展的，已经是量子计算这样的新兴词汇，当然，这一词汇也不完完全全是概念，实际上也有一些大公司在积极探索并已经推出一些相应的成果，其中比较典...。
雷锋网AI科技评论按，量子优势，这个概念是科技公司大多公开表达或半公开支持一种说法，即量子计算机的计算性能超越史上最强的经典计算机，在通往，量子优势，这条道路上，IBM可谓是一位超级积极分子，日前，IBM发布博文介绍了其在，自然，上发表的一篇名为，使用量子强化特征空间的监督学习，的论文所提出的一种量子算法，称该算法有望在不远的将来让...。
月子是每个女性生完孩子，必须要做的，只有做好月子，才能让身体恢复的更加的快速，也因此可以确保身体的健康，如此以来在二十一世纪这个时代，人们对月子会所的需求量不断的增加，使得市场上的月子会所不断的涌现，欧缇蔓国际医美月子会所是一家专业的月子会所，服务周到，而且环境优雅，同时设备齐全，可以满足消费者的不同需求，由此给出的较高的评价，品牌也...。
发表在综合交流大区2020，2，611，32投影仪已经深入了我们的工作与生活，公司开会会使用到投影，很多网友在家也使用投影观看电影，而投影仪主要是由光机和光源组成，在光机里极为关键的部件就是显示芯片，也被称之为投影仪的，心脏，投影仪的显示芯片根据大小和分辨率来区分是非常多的，最小有0.2DMD显示芯片，最大有0.8左右的DMD显示芯...。
瓦罐是大众耳熟能详的快餐食品，以瓦罐烹调的方式能够牢牢锁住食材中的营养成分不流失，对人体健康而言十分有利，因此前往各家快餐店体验的顾客接踵而至，不少经营者从中受益匪浅甚至开出分店经营，那么从开店角度来看瓦罐汤加盟怎么样，文章将给出清晰的解答，江南瓦罐从事瓦罐快餐销售已有多年之久，公司推出的餐品分量足、味道好，受到消费者的肯定与好评，品...。
一手创造起来的电商巨头公司到最后却给别人了，通过股权转让，马云出局蚂蚁集团，失去集团控制权，阿里巴巴发布公告，这一时间舆论就石破天惊，马云先生将不再控制君瀚和君澳2公司持有的蚂蚁集团多数投票权，...。
在外地时期12日举办的联结国安理会会议上，中方代表呐喊以色列与联结国等人道机构展开片面协作，保证人道机构的安保和便利，中国常驻联结国代表傅聪在发言中示意，吃上饭、吃饱饭是人类最基本的需求，人道疑问不能被政治化，饥饿更不能被武器化，这是国际人道法规则的基本底线，但是，在继续13个月的加沙抵触中，平民的基本需求被重复剥夺，人道底线一再被打...。
