一场突如其来的讨论 到底什么是深度学习 SVM其实也是深度学习吗 (一场突如其来的大雨,让人猝不及防)
雷锋网 AI 科技评论按：2019 年底、2020 年初，许多机器学习界活跃的教授、研究员们投身参与了一场的突如其来的讨论：深度学习是什么？
在过去十年汹涌而来的深度学习浪潮中，大家对深度学习在应用中体现出的各种特点已经非常熟悉了，但毕竟深度学习的理论仍未建立完善。更重要的是，大家已经意识到了深度学习的种种限制，那么想要破除限制、实现更高级的智慧时，就免不了需要思考，是「继续改进深度学习就可以达到目标」，还是「我们需要在深度学习之外另起炉灶」，这里也就引出了那个看似简单，但大家尚未达成共识的问题「深度学习是什么？」
不少学者最近都参与了这个讨论，雷锋网 AI 科技评论带大家回顾一下各方观点。
Keras作者、谷歌大脑高级研究员François Chollet最先给出了自己的观点：
什么是深度学习？在 2019 年这个时间点，大家经常用到的那种深度学习定义大概是这样的：「它由一连串可微分的参数化的层组成，而且是用反向传播算法端到端地训练的」。不过这个说法在我看来太过狭隘了，它最多是 「我们现在做的深度学习」 的描述，而不是对深度学习本身的定义。
比如说，如果你有一个卷积网络模型，然后你用 ADMM 训练它的权重，它就不是深度学习了吗？一个自己学习特征的 HMAX 模型就不是深度学习了吗？甚至于，用贪婪算法逐层训练的深度神经网络就不是深度学习了吗？要我说的话，它们都是深度学习。
深度学习应该指的是一种表征学习方法，其中的模型是由一连串的模块组成的（一般都会堆成一个多层的或者金字塔形的模型，这也就是「深度」的由来），而其中的每一个模块分别拿出来训练之后都可以作为独立的特征提取器。 我在我自己的书里也就是这么定义的。
通过这样的定义，我们也就能明确深度学习不是下面这样的模型：
深度学习的定义里不需要指定固定的某种学习机制（比如反向传播），也不需要指定固定的使用方式（比如监督学习还是强化学习），而且也不是一定要做联合的端到端学习（和贪婪学习相反）。这才是深度学习「是什么」的本质属性、根本结构。这之外的描述仅仅是「我们是如何做深度学习的」。
清晰的定义也就划分出了明确的边界，有的东西是深度学习，有的东西不是。2019 年随处可见的这种深度神经网络自然是深度学习，而用演化策略 ES、ADMM、虚拟梯度之类的反向传播替代方案训练的深度神经网络当然也是深度学习。
基因编程就不是深度学习，快速排序不是深度学习，SVM 也不是。单独一个全连接层不是深度学习，但很多个全连接层堆在一起就是；K-means 算法不是深度学习，但把许多个 K-means 特征提取器堆叠起来就是。甚至我自己在 2011 到 2012 年间，收集视频数据的位置的成对的共同信息矩阵，然后把矩阵分解堆叠在上面，也是深度学习。
一般的人类软件工程师用语言写出的程序不是深度学习，给这些程序加上参数、能自动学习几个常量，也仍然不是深度学习。一定要用成串连起来的特征提取器做表征学习，这才是深度学习。它的本质在于通过深度层次化的特征来描述输入数据，而这些特征都是从数据里学习到的。
根据定义也能看出来， 深度学习是一种逐步完善的、一点点优化的从数据中提取表征的方法 。以深度学习现在的形式来看，它至少是 C1 连续的（甚至到无限阶都是连续的）。这一条可能不那么关键，但「逐步优化」的这一条也是深度学习的固有属性。
所以深度学习和以往的符号运算 AI、常规编程都完全不同，它的基础结构就是离散的、以数据流为核心的，而且通常也不需要任何中间层的数据表征。
想用深度学习做符号运算也不是不可能，但需要引入很多额外的步骤。可话又说回来，深度学习模型也就只能囊括所有程序中的很小很小的一部分而已，没必要做什么都要用深度学习。
还可以再拓展一个问题：大脑是「深度学习」吗？我认可的只有这一种答案：大脑是一个复杂得难以想象的东西，它把许许多多结构不同的东西包括在内，而我们对大脑的了解还太少；大脑是不是深度学习，我们还给不出确定的答案。我有一个直觉是，大脑总体来说不是深度学习，不过其中的某一些子模块可以用深度学习来描述，或者是部分符合深度学习的，比如视觉皮层就有深度层次化的特征表征，即便这些表征不都是学习得到的；视觉皮层也是深度学习的研究中重要的灵感来源。
我可以再补充一句，如果用树形结构来比喻的话，我们对现代的深度学习的理解和使用，主要还停留在早些时候发展的「现代机器学习」的这一枝上，和神经科学之间没多大关系。神经科学带来的影响主要在于高层次的新观念启发，而不是直接的模仿借鉴。
在另一条故事线上，深度学习三驾马车之一的 Yoshua Bengio 和「一直以来的深度学习黑粉」 Gary Marcus 的年度拌嘴留下了一个经典问题：「深度学习是否已经足够了？」（"Is DL enough?"）这也再次引出了「深度学习到底是什么」的讨论。2011 年图灵奖得主、贝叶斯网络之父 Judea Pearl 就表示「因为深度学习没有清晰的定义，所以我没办法回答深度学习是不是已经足够了」。
有一种据说来自yann LeCun 的定义是这样的： 深度学习是一种方法论，是把多个参数化的模块组合成图（可以是动态图），构成模型，然后用基于梯度的方法优化它。LeCun 本人表示，如果这么定义深度学习的话，那深度学习还远远不足以解决目前已经遇到的问题，因为这个定义下的模型架构、优化目标、优化方法都有了具体的限制。
讨论中也有人提出，如果直接给出深度学习的定义有争议，不如我们列一列都有什么东西不是深度学习？LeCun 给出的答案是：逻辑回归、核方法、朴素贝叶斯、树&森林、K-means、K-NN 都不是深度学习，因为它们都不学习数据表征；此外，通过 0 阶方法（非梯度）优化的高度不可微分模型也不是深度学习，即便它们可以学习数据表征。
一两天的讨论之后，学者之间没能立刻形成广泛一致的共识。Judea Pearl 觉得有点失望，他自己做了这样一个总结：
LeCun 在下面和他继续讨论了起来：
Judea Pearl 没有继续参与这个讨论，不过，对比François Chollet 和 Yann LeCun 给出的答案，不难看出他们的大部分意见是一致的，只不过 LeCun 认为基于梯度的优化方法也是深度学习的一部分，而Chollet 认为不用基于梯度的方法也可以 ——Chollet 定义下的深度学习就要更宽一些。
那么回到前面那个问题，即便认可Chollet 的更宽一些的深度学习的定义，那么深度学习就够了吗？按照他的态度来说，也不够；我们有那么多种各式各样的方法，不需要死守深度学习不放。即便只是今天的已经能用深度学习的问题，也不是时时刻刻都需要用一个基于深度学习的解决方案。
从深度学习视角看旧模型
不过站在今天的深度学习的视角来看，一些经典方法看起来也变得有趣了。深度学习研究员、Fast.ai 创始人 Jeremy Howard 也参与了深度学习边界的讨论，他说逻辑回归现在看起来就像深度学习，它是一个一层深度的、参数化的函数模块，可以在数据样本上用基于梯度的方法训练。甚至，以他自己的感受来说，把 SVM 看作用 HingeLoss 损失函数和 L1 正则化的神经网络要好学、好教得多。
LeCun 也表示赞同： 「一个 SVM 就是一个两层的神经网络，其中，第一层的每一个神经元都会通过核函数把输入和某个训练样本做对比（所以其实第一层是一种无监督学习的平凡形式：记忆），然后第二层会计算这些输出的（经过训练后的）线性组合。」
很多参与讨论的网友都表示被这一条见解震惊了，其中有个人就说「有一次工作面试的时候他们让我实现 SVM 然后用梯度下降训练它，我心想卧槽这不就是个 Hinge Loss 的神经网络吗。本来这也不算多大的事，但是突然意识到以后觉得真的很神奇。」
也有网友接着追问：「可以不只有两层吧？你可以用很多层学习一个核函数，然后用最后一层计算核方法的预测规则。只要你施加一些规则，保证这个核是 Mercer 核，网络中起到核的作用的层的数量就可以不受限制」。LeCun 回答：「核函数可以任意复杂。但如果核函数是学习得到的，那这就已经是深度学习了…… 其实这就是我们训练 Siamese 网络，也就是度量学习（metric learning）的时候做的事情。这就像是训练一个相似度的核。最后只要你愿意的话，也可以在上面再增加一个线性层。」
祝福深度学习的新十年
文章结尾我想引用李飞飞高徒、特斯拉 AI 负责人 Andrej Karpathy 的一条推特作为结尾。
今天已经有网友会在 Reddit 上提问「想要用神经网络之外的方法做分类任务，理论上有可能吗？」但其实也就大概八年前你更容易看到的问题是「想要用神经网络方法做分目标识别，理论上有可能吗？」这几年的变化可真有意思。
我们乐于看到深度学习继续发展，理论更加完善、应用更加丰富、资源利用更加高效，但同时也希望更多研究人员和开发者可以意识到，深度学习并不是那个唯一的、最终的解决方案。我们期待在 2020 年、在这个新十年里看到更高级的、补充深度学习的不足的新方法。
雷锋网 AI 科技评论报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
优采云是一个一站式文章采集、生成、发布云端平台，支持关键词采集、定向采集、全自动伪原创、AI生成原创文章、全自动发布到网站和自媒体，是站长和自媒体人必备的SEO工具。
新浪财经新闻直播为您提供每日最新财经新闻,今日国内、国际财经新闻头条.新浪财经新闻直播-坚持做最好的财经直播频道，给百姓最真的财经动态.
新浪财经-保险频道,中国保险门户网站,为您提供最专业保险资讯和保险产品,含保险超市,险种比较,理财规划,覆盖社保,商业保险,医疗保险,人寿保险,养老保险,车险等...
人民网于1998年开始推出网上音视频节目，后专设多媒体频道，2007年更名为人民宽频频道，2008年推出人民播客，2010年3月人民电视开播。目前已经形成以新闻类视频节目为主，同时囊括文化、娱乐、体育、生活、社会等各类综合内容的业务格局。本页面汇总每日最新视频新闻。
4399大鱼吃小鱼小游戏大全收录了国内外大鱼吃小鱼类小游戏、大鱼吃小鱼2中文版、大鱼吃小鱼单机游戏、大鱼吃小鱼无敌版、大鱼吃小鱼下载。好玩就拉朋友们一起来玩吧！
浙江东高电气有限公司（原温州市东高电气有限公司）。是一家研发、制造、销售，高端熔断器、隔离开关、避雷器等产品为一体的高新技术企业。
四川省乐山通给水处理设备有限责任公司是一家集四川污水处理,给水处理生产销售安装于一体的厂家,公司主营四川一体化净水器,四川全自动净水器,四川除草除砂取水头等的研发销售业务.通给水处理在整个水处理行业具有丰富的经验和业绩,同时可以根据客户不同的需求，提供切实所需的专业服务.有需要欢迎来电13881375086洽谈业务.
锦州金洋模具制造有限公司_锦州金洋模具制造有限公司主要以生产渗碳、渗硼模具，合金模具为主，具有20多年的砖模具和冷拔管模具生产经验，在金属材料热处理技术上上以辽宁工业大学为坚实后盾，控制金属材料热处理涨缩技术；控制金属渗硼淬火、异型渗硼模具淬火、超薄渗硼模具淬火的变型技术）。因此在耐磨材料模具制造领域中居国内领先地位。
免费SSL证书申请是一个完全免费的SSL证书申请平台，提供Let
PP停车是“神州路路通”公司发布的一款集找车位、免费停车、移动支付停车费及停车场内找车等功能于一体的手机应用。我们努力为您解决一切停车难题。
二维火，专注餐饮云收银系统的研发和应用，致力于帮助餐饮等行业实现互联网信息化，例如手机扫码点餐/支付、手机管理店铺、会员营销互动、中央厨房等，实现O2O线上线下融合，节省经营成本，提高服务效率。开店就用二维火，生意一定更红火！
KuhuSoft酷虎成立于2007年10月,在繁华大都市上海成立，公司旨在为广大用户提供专业的互联网技术服务与视觉文化服务.
近日，有Android用户发现，打开Chrome浏览器时会弹出一个对话窗，没错，搜索的老祖宗Google居然推荐自己的用户，改用搜狗搜索，，这一举动多少让老司机们有些错愕，两个问题，第一，为什么不是Google，第二，为什么是搜狗，当然，第一个问题不成立，因为世界上根本没有这么一个网站，实际上，Chrome浏览器内置的搜索引擎很多，即...。
罗马的建成非一日之功，需要精准的施工图纸，和不断地努力，智慧城市建设亦离不开行之有效的技术架构，当AI与IoT的深度融合成为现实，智慧城市这座摩天大楼也终于找到技术基底，面对城市AIoT这个万亿市场，不少企业摩拳擦掌，要在时代浪潮下，踏浪前行，留下足迹，他们有的是以技术出身的纯正AI公司，有的是传统企业经历过技术转型之后的翘楚，还有不...。
麦芽地网站上传播的，Wirelurker，木马估计让不少人震惊，未越狱的iPhone并非想象中安全，隐私泄露、远程控制这类病毒木马还是能存在，PANW的研究报告中显示，，Wirelurker，至少存在了6个月之久，受感染软件被下载超过35万次，直到被外媒曝光，苹果才反应过来修复，在这起事件中，，Wirelurker，木马传播网站麦芽地...。
雷锋网消息，11月到14日到18日，2018中国国际高新技术成果交易会，简称高交会，如期在深圳会展中心举行，在知名公司聚集和人气最旺的1号展馆，不仅有连续参展的企业，也有不少新加入的公司，从行业看，VR、智能穿戴、物联网相关厂商依旧吸关注，而AI、智慧城市也开始出现在更加重要的位置，缺席的芯片巨头与AI明星初创公司的亮相与往年的高交会...。
学校强制剪头发，可以向教育主管部门投诉处理，保护未成年人的工作，应当遵循下列原则，1、尊重未成年人的人格尊严；2、适应未成年人身心发展的规律和特点；3、教育与保护相结合，法律规定公民有人身权利和财产权利，人身权利包括人格权和身份权，中华人民共和国公民都有生命权、健康权、身体权等，身体权是指保持人身体的完整性的权利，如头发、指甲的完整性...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
现代人的生存离不开手机，手机的日经常常使用曾经超越打电话和发短信这么便捷的配置，随着手机配置的始终更新，铃声这一项也变得越来越关键，三星手机作为手机市场的领军者，其领有的不同铃声资源也是十分丰盛的，上方就为大家引见一些三星手机铃声大全，宿愿可以满足各位不同需求的听觉享用！首先，咱们来看看经典的三星短信铃声——，达拉达拉，置信这个铃声...。
如今有越来越多人在经常使用iPhone手机，有些新用户不知道如何装置迅雷，接上去小编就给大家引见一下详细的操作步骤，详细如下，1.首先第一步依据下图所示，找到并点击，Safari阅读器，图标，2.第二步关上软件后，依据下图所示，先在搜查框中输入，扎比，，接着点击关系链接，3.第三步在跳转的页面中，依据下图所示，点击，运行下载，图标，4...。
如何使用语音命令控制电视的开关? 使用带有语音控制系统的遥控器。这种遥控器通常会有一个麦克风部分接收用户的语音指令。用户只需按下特定的按钮，遥控器就会处于语音识别模式。打开海信智能电视进入主界面。按遥控器上的“设置”按键，再选择里面的“通用
喜瑞薄片饲料怎么样物美价廉。喜瑞鱼饲料采用的是稻草粉、豆饼、花生饼制作而成，效果很好。同时价格低。喜瑞鱼饲料的市场价格在29元一袋，相比于其他五十元一袋的饲料实惠很多。喜瑞环寿命没有限制使用寿命。喜瑞环是可以清洗重复使用的，没有限制的使用寿命。但是其保质期为孙姿三年。喜瑞环的技术来自于Siporax这家公司，Siporax公司的过滤技术非常权威，NASA航天飞机就使用该公司生产的滤材对太空废水进行过滤。因为运营和资金问题，Siporax后来被喜瑞收购。喜简洞瑞将Siporax的技术应用于自己的过滤器材上，
雕塑争议回应6个不知道让人哑然
动网论坛,动网论坛是使用量最多、覆盖面最广的免费中文论坛也是国内知名的技术讨论站点希望我们辛苦的努力可以为您带来很多方便,您可以免费下载。
奶茶取材自然新鲜，且不添加任何色素与添加剂，故奶茶是健康品质的饮品，深受年轻群体的青睐，市场中，奶茶的店面品牌迭出，其中，阿水大杯茶凭借着其出色、健康的品质成为奶茶项目中较为知名的品牌，阿水大杯茶在产品制作过程中，是有着严苛的品质标准要求，并且坚持古法制作工艺，充分还原奶茶的经典风味，所以阿水大杯茶是很受欢迎的，那么现在加盟阿水大杯茶...。
苹果公司的发布会历来都是极具人气，堪称科技界的，春晚，，今年也不例外，根据TwitterData账户发布的可视化数据，可以看出此次发布会在全世界社交网络上的热度非常之高，如下图所示，不同颜色代表不同新品发布时的反响，蓝色代表iPhone6，红色代表AppleWatch，绿色代表ApplePay，访问还可进一步了解完整的互动地图，...。
今年春节，以，95后，和，00后，为代表的Z世代，流行找源头工厂定制平替年货，作为源头厂货直销平台，1688的数据显示，今年1月份，，平替，一词的日均搜索人数同比增长1821%，搜索次数同比增长1587%，源头平替成了年轻人的消费新主张，大量年轻人涌入1688，春节回乡之前上1688严选购买穿戴甲和假发，甚至找工厂定制，今年1月份，穿...。
高新兴接下来想做的事情是要给每一辆车都配上专属，身份证，成立于1997年的高新兴集团是最顶尖的智慧城市系统解决方案提供商之一，他们即将为全国车辆打造的这张身份证学名叫做，汽车电子标识，，也可以称之为，汽车电子车牌，汽车电子标识形似，居民身份证，，其中嵌有专属电子芯片，储存了包括车牌号码、车辆保险、车辆年检等相关信息，它可直接贴于汽...。
只要你会用智能手机，导航会看，具有亲和力，能吃苦耐劳，沟通能力良好，具有团队精神，积极上进，对服务行业有热情，立刻加入我们微顶跑腿大家庭。
