一场突如其来的讨论 到底什么是深度学习 SVM其实也是深度学习吗 (一场突如其来的大雨,让人猝不及防)
雷锋网 AI 科技评论按：2019 年底、2020 年初，许多机器学习界活跃的教授、研究员们投身参与了一场的突如其来的讨论：深度学习是什么？
在过去十年汹涌而来的深度学习浪潮中，大家对深度学习在应用中体现出的各种特点已经非常熟悉了，但毕竟深度学习的理论仍未建立完善。更重要的是，大家已经意识到了深度学习的种种限制，那么想要破除限制、实现更高级的智慧时，就免不了需要思考，是「继续改进深度学习就可以达到目标」，还是「我们需要在深度学习之外另起炉灶」，这里也就引出了那个看似简单，但大家尚未达成共识的问题「深度学习是什么？」
不少学者最近都参与了这个讨论，雷锋网 AI 科技评论带大家回顾一下各方观点。
Keras作者、谷歌大脑高级研究员François Chollet最先给出了自己的观点：
什么是深度学习？在 2019 年这个时间点，大家经常用到的那种深度学习定义大概是这样的：「它由一连串可微分的参数化的层组成，而且是用反向传播算法端到端地训练的」。不过这个说法在我看来太过狭隘了，它最多是 「我们现在做的深度学习」 的描述，而不是对深度学习本身的定义。
比如说，如果你有一个卷积网络模型，然后你用 ADMM 训练它的权重，它就不是深度学习了吗？一个自己学习特征的 HMAX 模型就不是深度学习了吗？甚至于，用贪婪算法逐层训练的深度神经网络就不是深度学习了吗？要我说的话，它们都是深度学习。
深度学习应该指的是一种表征学习方法，其中的模型是由一连串的模块组成的（一般都会堆成一个多层的或者金字塔形的模型，这也就是「深度」的由来），而其中的每一个模块分别拿出来训练之后都可以作为独立的特征提取器。 我在我自己的书里也就是这么定义的。
通过这样的定义，我们也就能明确深度学习不是下面这样的模型：
深度学习的定义里不需要指定固定的某种学习机制（比如反向传播），也不需要指定固定的使用方式（比如监督学习还是强化学习），而且也不是一定要做联合的端到端学习（和贪婪学习相反）。这才是深度学习「是什么」的本质属性、根本结构。这之外的描述仅仅是「我们是如何做深度学习的」。
清晰的定义也就划分出了明确的边界，有的东西是深度学习，有的东西不是。2019 年随处可见的这种深度神经网络自然是深度学习，而用演化策略 ES、ADMM、虚拟梯度之类的反向传播替代方案训练的深度神经网络当然也是深度学习。
基因编程就不是深度学习，快速排序不是深度学习，SVM 也不是。单独一个全连接层不是深度学习，但很多个全连接层堆在一起就是；K-means 算法不是深度学习，但把许多个 K-means 特征提取器堆叠起来就是。甚至我自己在 2011 到 2012 年间，收集视频数据的位置的成对的共同信息矩阵，然后把矩阵分解堆叠在上面，也是深度学习。
一般的人类软件工程师用语言写出的程序不是深度学习，给这些程序加上参数、能自动学习几个常量，也仍然不是深度学习。一定要用成串连起来的特征提取器做表征学习，这才是深度学习。它的本质在于通过深度层次化的特征来描述输入数据，而这些特征都是从数据里学习到的。
根据定义也能看出来， 深度学习是一种逐步完善的、一点点优化的从数据中提取表征的方法 。以深度学习现在的形式来看，它至少是 C1 连续的（甚至到无限阶都是连续的）。这一条可能不那么关键，但「逐步优化」的这一条也是深度学习的固有属性。
所以深度学习和以往的符号运算 AI、常规编程都完全不同，它的基础结构就是离散的、以数据流为核心的，而且通常也不需要任何中间层的数据表征。
想用深度学习做符号运算也不是不可能，但需要引入很多额外的步骤。可话又说回来，深度学习模型也就只能囊括所有程序中的很小很小的一部分而已，没必要做什么都要用深度学习。
还可以再拓展一个问题：大脑是「深度学习」吗？我认可的只有这一种答案：大脑是一个复杂得难以想象的东西，它把许许多多结构不同的东西包括在内，而我们对大脑的了解还太少；大脑是不是深度学习，我们还给不出确定的答案。我有一个直觉是，大脑总体来说不是深度学习，不过其中的某一些子模块可以用深度学习来描述，或者是部分符合深度学习的，比如视觉皮层就有深度层次化的特征表征，即便这些表征不都是学习得到的；视觉皮层也是深度学习的研究中重要的灵感来源。
我可以再补充一句，如果用树形结构来比喻的话，我们对现代的深度学习的理解和使用，主要还停留在早些时候发展的「现代机器学习」的这一枝上，和神经科学之间没多大关系。神经科学带来的影响主要在于高层次的新观念启发，而不是直接的模仿借鉴。
在另一条故事线上，深度学习三驾马车之一的 Yoshua Bengio 和「一直以来的深度学习黑粉」 Gary Marcus 的年度拌嘴留下了一个经典问题：「深度学习是否已经足够了？」（"Is DL enough?"）这也再次引出了「深度学习到底是什么」的讨论。2011 年图灵奖得主、贝叶斯网络之父 Judea Pearl 就表示「因为深度学习没有清晰的定义，所以我没办法回答深度学习是不是已经足够了」。
有一种据说来自Yann LeCun 的定义是这样的： 深度学习是一种方法论，是把多个参数化的模块组合成图（可以是动态图），构成模型，然后用基于梯度的方法优化它。LeCun 本人表示，如果这么定义深度学习的话，那深度学习还远远不足以解决目前已经遇到的问题，因为这个定义下的模型架构、优化目标、优化方法都有了具体的限制。
讨论中也有人提出，如果直接给出深度学习的定义有争议，不如我们列一列都有什么东西不是深度学习？LeCun 给出的答案是：逻辑回归、核方法、朴素贝叶斯、树&森林、K-means、K-NN 都不是深度学习，因为它们都不学习数据表征；此外，通过 0 阶方法（非梯度）优化的高度不可微分模型也不是深度学习，即便它们可以学习数据表征。
一两天的讨论之后，学者之间没能立刻形成广泛一致的共识。Judea Pearl 觉得有点失望，他自己做了这样一个总结：
LeCun 在下面和他继续讨论了起来：
Judea Pearl 没有继续参与这个讨论，不过，对比François Chollet 和 Yann LeCun 给出的答案，不难看出他们的大部分意见是一致的，只不过 LeCun 认为基于梯度的优化方法也是深度学习的一部分，而Chollet 认为不用基于梯度的方法也可以 ——Chollet 定义下的深度学习就要更宽一些。
那么回到前面那个问题，即便认可Chollet 的更宽一些的深度学习的定义，那么深度学习就够了吗？按照他的态度来说，也不够；我们有那么多种各式各样的方法，不需要死守深度学习不放。即便只是今天的已经能用深度学习的问题，也不是时时刻刻都需要用一个基于深度学习的解决方案。
从深度学习视角看旧模型
不过站在今天的深度学习的视角来看，一些经典方法看起来也变得有趣了。深度学习研究员、Fast.ai 创始人 Jeremy Howard 也参与了深度学习边界的讨论，他说逻辑回归现在看起来就像深度学习，它是一个一层深度的、参数化的函数模块，可以在数据样本上用基于梯度的方法训练。甚至，以他自己的感受来说，把 SVM 看作用 HingeLoss 损失函数和 L1 正则化的神经网络要好学、好教得多。
LeCun 也表示赞同： 「一个 SVM 就是一个两层的神经网络，其中，第一层的每一个神经元都会通过核函数把输入和某个训练样本做对比（所以其实第一层是一种无监督学习的平凡形式：记忆），然后第二层会计算这些输出的（经过训练后的）线性组合。」
很多参与讨论的网友都表示被这一条见解震惊了，其中有个人就说「有一次工作面试的时候他们让我实现 SVM 然后用梯度下降训练它，我心想卧槽这不就是个 Hinge Loss 的神经网络吗。本来这也不算多大的事，但是突然意识到以后觉得真的很神奇。」
也有网友接着追问：「可以不只有两层吧？你可以用很多层学习一个核函数，然后用最后一层计算核方法的预测规则。只要你施加一些规则，保证这个核是 Mercer 核，网络中起到核的作用的层的数量就可以不受限制」。LeCun 回答：「核函数可以任意复杂。但如果核函数是学习得到的，那这就已经是深度学习了…… 其实这就是我们训练 Siamese 网络，也就是度量学习（metric learning）的时候做的事情。这就像是训练一个相似度的核。最后只要你愿意的话，也可以在上面再增加一个线性层。」
祝福深度学习的新十年
文章结尾我想引用李飞飞高徒、特斯拉 AI 负责人 Andrej Karpathy 的一条推特作为结尾。
今天已经有网友会在 Reddit 上提问「想要用神经网络之外的方法做分类任务，理论上有可能吗？」但其实也就大概八年前你更容易看到的问题是「想要用神经网络方法做分目标识别，理论上有可能吗？」这几年的变化可真有意思。
我们乐于看到深度学习继续发展，理论更加完善、应用更加丰富、资源利用更加高效，但同时也希望更多研究人员和开发者可以意识到，深度学习并不是那个唯一的、最终的解决方案。我们期待在 2020 年、在这个新十年里看到更高级的、补充深度学习的不足的新方法。
雷锋网 AI 科技评论报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
-购物-女性购物网址
《我就是要红》是一款好玩的娱乐圈互动小说，免费文字avg，可以玩的视觉小说。本游戏的作者是【情商女王】。你原本只是个七八线小明星，却被暗害毁容。换脸隆胸不换心，抱着复仇的决心重回娱乐圈。逆袭的路上，冷漠的霸道总裁迅速让你搏出位，邪魅风流的投资人为你豪掷千金。你在这个名利被无限放大的修罗场，披着华丽的战袍，戴着奢华的皇冠，一步步走向属于你的王座，复仇恋爱两不误！
厦门卡昆卡信息科技有限公司（以下简称：卡昆卡）成立于2017年，是以网络游戏研发为主的企业。公司致力于创造优秀的互动娱乐产业品牌。公司诚意打造特色网络游戏。卡昆卡-2017
永康市欣瀚激光科技有限公司，位于中国五金之都——浙江永康。我们提供防盗门、防火门、非标门、不锈钢保温杯壶，不锈钢咖啡壶、烧烤炉、垃圾桶、校具、健身休闲用品、休闲运动车、工具箱、工具车、电控柜这些行业的激光焊接行业应用解决方案。电话：139-0589-4526
简繁体互转工具为您提供繁体字在线转换工具可以进行汉字简体转换繁体,可实现简体字转换为繁体字,繁体字转换为简体字,繁体转简体,简繁互转换等
国药励展通过全年30余场国际水准的大中型商贸展览，结合1200余场专业会议与学术研讨，为来自全球近20,000家展商提供提高生产力与竞争力的创新解决方案，全年展出面积130余万平米，来自全球150多个国家的专业观众63万人。秉承“服务全行业，共同谋发展”的企业理念，国药励展始终以追求卓越服务与不断创新为最高目标,以实际行动推动大健康产业的和谐发展。
永乐中村（苏州）物业服务有限公司
江苏宋氏金属制品有限公司_从事钣金加工，物流仓储货架，金属制品加工，五金加工，激光切割我司具有20多年生产历史，公司拥有一支经验丰富的工程技术人员和质量管理团队，有刻苦钻研、勤劳、认真负责的员工队伍，在物流仓储货架、金属制品加工方面有这多年的经验
卡米星校是专业的教育信息化全场景服务商，产品覆盖培训机构“品牌传播、招生营销、教务管理、经营分析、排课教学、家校互动、家校互联、多校区管理”等核心环节，为校区日常经营管理决策提供数据支持，助力校长降低经营成本，提升管理效率，实现可持续盈利增长。
中共西乌珠穆沁旗委员会组织部默认栏目
![广州华美[官方网站]](http://www.gpxz.com/zdmsl_image/jietu/jt_19067.png "广州华美[官方网站]")
广州华美医疗美容医院,是较早开展医疗美容的品牌,具有正品联盟示范单位等资质,总占地面积15000平方米,分东、西两院。
腾云网为您提供最新最全的软件应用和游戏下载，让你一次玩个够
护肤品对我们来说，已经成为日常生活中必不可少的物品，无论男女，每日早晚洗脸后，都会用护肤品，而随着时代的变化，人们的爱美意识逐渐增强，在护肤品的选择上更注重功能性，如美白、祛斑、抗皱等，艾诗缇作为日本知名的美容护肤品品牌，自上市以来便受到广大消费者的追捧，不过还有些女性对这个品牌并不是很熟悉，那么，艾诗缇怎么样，艾诗缇化妆品品牌隶属于...。
韩剧韩流韩国的饮食等等都在我们非常流行，韩国料理可以说在的餐饮市场上发展得相当快速，在市场上的需求量大，开一家正宗的韩国料理店一定生意不错，很多韩国料理的品牌在我国的各大城市都开设了自己的加盟分店，并且一些成熟的品牌的料理做法简单口味正宗，为很多的创业者带来了商机，接下来就和小编一起来了解一下韩国料理加盟要多少钱，韩国料理提供团购生意...。
在国内有着很多发展出色的酒店品牌，以连锁化的形式在国内诸多城市地区建立了品牌门店，受到了很多消费者的喜爱，说到尚客优酒店相信很多人都比较的熟悉了，尚客优酒店在国内中端酒店市场有着出色的发展布局，市场的发展号召力显著，而且备受消费者的青睐，尚客优酒店在国内诸多城市地区都有着品牌门店的发展建立，是很多加盟合作客户青睐的项目选择，那么，尚客...。
现在人们的消费升级，人们在装修新房的时候，就会选择环保，高品质的装修材料，在新房装修的时候，吊顶就是必须的一项工程，主要在厨房或者在卫生间、阳台安装，市面上有很多的吊顶品牌，其中奥华电气吊顶就是一个连锁的吊顶品牌，在国内发展众多的专卖店，很多网友就想要了解，奥华电气吊顶的质量怎么样，消费者认可吗，奥华电气吊顶的质量怎么样奥华电气吊顶的...。
现在在电商的冲击之下越来越多的店铺开始倒闭了，但是餐饮行业不仅没有受到影响，反而生意是越来越好了，于是越来越多的人发现了这样的如此好的商机，选择加盟这样的项目，所以今天小编就为你介绍一下餐饮怎么样以及餐饮有哪些这两个问题，希望可以对你有一些帮助，那么首先小编就先对餐饮怎么样这个问题做一下介绍，首先我要说的是餐饮行业的收银真的是非常的好...。
12月16日，vivoY300正式发布，省流就是，顶天外放3扬声器，大电池，天玑6300，1399元起，8，128，vivoY300是天玑6300，双2.4G的A76，6颗2G的A55，CPU略强于G99和天玑700，720，弱于骁龙4Gen1，695，，LPDDR4x内存，UFS2.2闪存；6.77英寸120Hz中置打孔OLED直...。
科技界从来不缺神话，经过2016大数据、物联网、人工智能、AR，VR等突破性的洗礼，2017年科技界精彩再续，各类黑科技大招一触即发，3月28日，在深圳，双创周，的举办地深圳软件产业基地，国家高新技术企业神画科技带来了一场盛大的，创·神话，触·梦想，主题发布，搭载基于触控技术而创新性研发出的投影电子白板技术的神画TT系列正式在发布会上...。
2016年9月，国内首台公安智能安保机器人AnBot，中文名，深圳小安，在深圳机场正式上岗，24小时自动巡逻，并配备了电防暴叉、电击枪的深圳小安立刻受到了一众国内外媒体的关注，其实，它还可以进行智能语音交互，回答关于补办身份信息、航班动态等方面的提问，小安的语音交互系统使用的是灵聚智能的技术，深圳小安机器人，成立于2013年6月的...。
近日，库克频繁出现在媒体中，并且先后在深圳和日本等地亮相，而在他近期的讲话中，库克的言行举止均透露出对VR、AR、AI、汽车四个，保密，方向的重视，近日，库克在接受媒体专访时着重讲述了自己对VR和AR的看法，为何更看好AR库克的观点是，相比于虚拟现实VR，增强现实具备增强人类体验的能力，是人感知的延伸，使得它比虚拟现实技术更可能成功，...。
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
近日，基于存算一体技术的大算力计算芯片公司后摩智能宣布完成3亿元人民币Pre，A轮融资，本轮融资由启明创投领投，现有投资方经纬中国追加投资，和玉资本、中关村启航、沃赋资本、华清辰瑞跟投，现有投资方红杉资本中国基金、联想创投、弘毅创投、IMO创投全部继续跟投，本轮募集资金将用于加速芯片产品技术研发、团队拓展，早期市场布局及商业落地，后摩...。
发表在当贝投影仪2024，3，1816，09当贝X5是一款画质出众的高端ALPD激光投影仪，同时还拥有丰富的功能，配备有画面位移功能，具体当贝X5怎么调整画面高度呢，下面就来详细了解当贝X5怎么调整画面高度的详细操作方法，看看具体该如何操作，当贝X5怎么调整画面高度，1.打开投影设置在当贝X5主界面找到设置并点击打开；2.进入画面设置...。
讯飞输入法怎样用1、在APPStore里，查找，讯飞输入法，，点击并下载，2、在，iPhone，界面找到，设置，，并点击出来，3、在，设置，中找到，通用，这项，点击出来，4、在，通用，外面找到，键盘，这项，并点出来，5、进入，键盘，模块，并点击外面的，键盘，6、进入之后，选用，讯飞，输入法，并点击出来，7、进入界面后，将，准许齐全访...。
梦见自己梳头什么意思你知道梦见自己梳头什么意思吗，生存中很多人为了内在笼统的良好会选用经常的梳头，这是留意笼统的体现，那么假设在梦中梦见自己梳头会是什么意思呢，上方是我搜集整顿的关于梦见自己梳头的梦幻剖析，感兴味的好友们一同来了解一下吧，梦见自己梳头什么意思1心思学解梦梦见自己梳头梳子是一种有许多齿的日罕用品，它在梦中产生示意生存中某...。
我这边是二手，旧装载机是要看车况的，所以，有兴味的最好到现场看看，新的多少钱在35万左右，二手的多少钱在16，17万左右的好的1，2年的机子，廉价的在13万左右，3，4年的机子，咨询模式见我的用户名，二手装载机哪里好二手装载机有很多网络平台，倡导在外地二手装载机市场实地看车，选购二手装载机，不只有看服务器的外表新旧，更要关心服务器的配...。
