LeCun提出的 AI教父Yann 到底是个啥 Reddit热议 能量模型 研究了个寂寞 (Lecun提出卷积神经网络)
“能量自监督学习到底是什么鬼？”不少Reddit网友评论说。
刚刚，深度学习教父Yann LeCu登上了Reddit热搜。一位不知名的开发者发表了一篇题为“Yann LeCun提出基于能量的自监督学习到底是什么”的帖子，引发众多网友讨论。
讨论的焦点之一是，基于能量的自监督学习模型能做什么？有什么优势或意义？
这位开发者刚刚看完LeCun最新的主题演讲，他说，Yann LeCun似乎是在建议训练一个有条件的潜在变量模型，它可以根据输入和潜在变量预测输出（类似于pix2pix GAN或VAE）；同时，它也可以处理图像、视频或者音频等不同类型。
但有关优化生成模型的方法有很多，比如OpenAI通过iGPT预训练预测缺失像素，采用“对比预测编码法”，通过对比损失来进行丢失信息预测。这些方法在实际应用中均取得不错的成果。
相比之下，基于能量的自监督学习好像并没有特别之处，也没有相关的成功应用案例。
Reddit上，超过95%的网友对这一观点表示了赞同。
另外，还有一位网友透露，最近3-4年很多专家都对它很着迷，他们认为基于能量的模型是深度学习的『未来』。
那么，代表ML未来的『能量模型』到底是什么？
AI的未来：『能量』SSL模型
Yann LeCun，是2018年图灵奖得主之一，与Geoffrey Hinton 和 Yoshua Bengio二人被合称为深度学习三巨头。同时，他自己也被称为“CNN之父”。
LeCun在在业界和学术界颇具影响力。目前，他在Facebook公司担任人工智能研究院院长一职，同时也在纽约大学、Courant 数学科学研究所、神经科学中心和电气与计算机工程系等担任要职。
2019年11月，LeCun代表Facebook参加了《Using Physical Insights for Machine Learning》主题研讨会，并发表了名为《基于能量的自监督学习（Energy-Based Self-Supervised Learning）》的主题演讲。
在这篇演讲中，LeCun详细介绍了基于能量的学习方法在解决现有挑战方面的可能性。
近几年，深度学习在计算机感知、自然语言理解和控制方面取得了重大进展。但这些成功在很大程度上都依赖于监督学习或无模型强化学习。其中，监督学习是从标记的训练数据来推断一个功能的机器学习任务。强化学习分为有模型和无模型两种策略，前者区别与后者的特点是，有模型的方法主要学习前向状态转移模型p(st+1|st,at)，而无模型方法则不是。
从现有研究来看，无论是监督学习，还是无模型强化学习都存在明显的局限性。前者需要人类提供大量数据标签，后者需要机器学习动作回报最大化。
也就是说，监督学习只适用于特定任务，即使是学习简单的任务；强化学习也需要与环境进行大量的交互。例如，它在游戏和仿真工作中十分有效，但在现实世界很难奏效。
但如果存在一款模型能够像人类或动物那样，只需要少量观察和互动就能学习大量与任务无关的知识，那么这些现实困境就可以被很好的解决。而这款模型必须依靠自监督学习（Self-Supervised Learning，简称SSL）方法。
LeCun认为，SSL是深度学习的『未来』，基于能量的SSL可以在回避概率的同时处理不确定性。以下是基于能量的SSL模型：
标量值能量函数F（x，y）可以被测量，包括：
同时，它也有无条件的模型版本。
在训练方面，首先将能量函数参数化，在获取训练数据，最后计算出新Shape。这个过程通常有两种方法，一是对比法（Contrastive Methods），二是建构法（Architectural Methods）。
其中对比法涉及三种策略：
C1：数据点能量下推，其它位置上推：最大似然（Max likelihood）。
C2：数据点能量下推，选择位置上推：最大似然和MC/MMC/HMC，对比散度，度量学习，噪声对比估计，比率匹配，噪声对比估计，最小概率流，对抗生成器GAN
C3：训练一个函数，将数据流形上的点映射到数据流形上的点：去噪自动编码器，屏蔽自动编码器（如BERT）
建构法涉及三种策略：
A1：建立机器使低能量物质的体积有界：PCA，K-均值，高斯混合模型，平方ICA。
A2：使用正则化项来度量具有低能量的空间体积：稀疏编码、稀疏自动编码器、LISTA、变分自动编码器
A3：F（x，y）=C（y，G（x，y）），使G（x，y）相对于y尽可能“恒定”：收缩自动编码器，饱和自动编码器。
A4：最小化梯度，最大化数据点周围的曲率：分数匹配
在此基础上，LeCun还展示了关于视频预测的应用实例。他表示，无监督学习会成为未来的主流，能解决我们的学习系统难以处理的众多问题，研究无监督和预测性前向模型（predictive forward model）的建立，也会是接下来几年的挑战。
（文末获取LeCun完整PPT内容）
网友评论：『能量』的意义在哪？？
实际上，LeCun的能量SSL理论还处在“ppt阶段”。
目前还未有大量的成功应用案例，而他在PPT中也仅展示了自动驾驶预测视频的结果。一位网友表示，他曾利用能量SSL模型做过一项测试。
如上文所述，在能量函数F（x，y）最小化上，LeCun提供了两种训练方法：对比法和和建构法。但在这个过程中，他认为有多个不合理之处。比如：自动编码器的潜在变量在哪里？按构造，有没有事先分配样本的潜在权利？
如果训练的每一个SSL模型都可以解释为基于潜在变量的能量模型，这可能是不正确的。如果抛开潜在变量，认为每个模型都是基于能量的模型，可以勉强接受，但这还有什么意义呢？
它仅仅能够作为一种解释性理论，似乎并不具备应用的价值。
还有一位网友表示，LeCun所作的可能是一项“基础性研究”，就像Hinton研究胶囊网络（CapsulesNet）一样。基础性研究成功的可能性很低，通常是其他人在此研究之上开创应用。
另一位网友表示，Yann基于能量的学习方法确实启发了基于深层能量的强化学习（RL）研究，软演员-评论家（Soft Actor-Critic，SAC）模型已经在多个RL基准上实现了SOTA。
那么，你同意这位网友的看法吗？你认为『能量模型』的价值在哪里？
相关链接：
PPT文件：
演讲视频：
原创文章，未经授权禁止转载。详情见 转载须知 。
找好学校就上求学指南（www.qiuxue360.com）专业的教育培训门户网站!汇集众多优秀会计培训学校、英语培训学校、建工培训学校、IT培训学校，口才培训学校等；帮助学员快速找到好学校！
新余花店,为您提供专业、优质的新余网上订花,送花,新余鲜花预定服务。鲜花种类繁多：玫瑰花、百合,康乃馨,婚礼鲜花、会议用花、开业花篮等，保证191%新鲜花材。汇聚了新余附近花店电话、地址、价格，18年新余鲜花速递服务,支持新余地区可先送花,后付款。
招标投标平台,服务全国的电子招标投标平台.
分享炒股经验、分享炒股技巧、让你在炒股的路上少走弯路，让你在炒股的路上少交学费...
什么是五代数字展馆——数字展厅,以一套空间布局+N套数字内容+定制智控后台,打造视觉、内容符合企业形象的数字展厅,实现多主题内容自由切换,满足多类受众需求。科技主题馆等数字化展馆展厅设计施工一体化解决方案提供商,资质齐全,经验丰富、数字化展馆展厅设计施工一体化解决方案提供商
沈阳育才家教网是沈阳最大的最受学生群体欢迎的家教网，免费提供教育机构老师、优秀大学生，10年品牌经验，成功辅导上万名学生，免费预约老师热线欢迎致电!
www.qinshi17.com为您专业生产实验台-通风柜-药品柜-气瓶柜
掌店易pro-药店收银软件管理系统 | 简单好用，省钱省心
职业装,工作装,四川大川制衣有限责任公司
电妈妈充电站
网页游戏平台,XY.COM,手游,H5游戏,网页游戏,网页游戏排行榜,网页游戏开服表,网页游戏资讯和网页游戏开服礼包,玩精品网页游戏上xy.com.
药智网创立于2006年，是国内较早对医药数据开展深度加工、结构化重构、大数据挖掘、大数据成果输出与赋能的健康产业大数据服务商。历经近二十载发展，药智网形成了集“药智数据、药智医械数据、天然产物AI平台、AI成药性(ADMET)预测平台、药品评价与遴选系统、药智咨询、药智传媒、药智汇通、慧通人才、药智产业大脑等”于一体的健康产业大数据服务与赋能平台，拥有个人会员150万，B端和G端用户5万余家。
据市场调研机构IDC统计数据显示，2020年全球AR，VR头显出货量达到710万台，预计2024年将达到7670万台，2018年5月29日，在当年增强现实世界博览会，AWE，前夕，高通推出了全球首款扩展现实，XR，专用平台——骁龙XR1平台，对于XR，AR、VR、MR的统称，行业来说，这是一个值得被记住的日子，在此之前，XR行业还没有...。
作为三大基础软件之一的数据库，时隔多年再次迎来资本热捧，这股势头蔓延到整个一、二级市场，Snowflake、MongoDB、Databricks、Clickhouse等公司，市值或者估值都攀上了新高点，其中，2009年MongoDB1.0正式面世，Clickhouse走向生产场景是在2011年，Snowflake成立于2012年，Da...。
发表在峰米投影仪2021，6，1114，33峰米激光电视cinema2是近段时间上市的新品激光电视，购买时还会附赠幕布，是一款性价比相当高的激光电视，并且这款设备还支持安装第三方软件，具体该如何操作呢，下面就分享峰米激光电视cinema2怎么安装软件的详细教程，一、准备工作1.峰米激光电视cinema2一台；2.连接网络的电脑一台；3...。
找服饰项目商机，迎女人心内衣投资惊喜，神州加盟网领先服饰品牌代理加盟领域，第一时间与您共享女人心内衣招商最新投资信息[更多]...。
在当下人们的生活中，对饮食上面有较高的要求，不仅要美味，而且更加注重健康，因此市场上出现很多的养生汤店铺，根据人们身体所需的营养成分，熬制出更多受欢迎的营养汤品，由于味道鲜美，营养价值均衡，所以赢得消费者的追捧，也得到快速且稳定的发展，很多创业者意识到这个项目的未来发展空间，于是产生加盟想法，所以想要知道，养生汤加盟怎么样，大家都很清...。
张淼怡vs陈晓旭：一黛不如一黛，颜值是小问题？87版凭啥能封神？,陈晓旭,张淼怡,林黛玉,林芳兵,薛宝钗
cognitive的意思，认知的，释义，认知的、感知的、看法的，造句1、Therefore，emotionstudyisonepartofcognitivestudy，因此，以人类情感的钻研导致了探求人类认知的基本组成局部之一，2、Aschildrengrowolder，theircognitiveprocessesbecomesha...。
斯柯达欧雅在碰撞测试中的体现中，关于乘员包全到达了4星规范，车身坚挺，装备了一系列安保设施，如前排双安保气囊、座椅内置侧气囊、预紧式安保带和安保带拉力限度器，为车内人员提供了良好的防护，在正面碰撞测试中，欧雅的体现得分为11分，占满分的69%，虽然车身变形较小，气囊和安保带施展了作用，但仪表板后的部件或者对驾驶员膝盖形成必定损伤，脚...。
提起塔罗牌看运势，大家都知道，有人问怎样自己用塔罗牌测今日运势，另外，还有人想问塔罗牌的每日运势牌型是什么啊，你知道这是怎样回事，其实塔罗牌在线占卜财运，上方就一同来看看怎样自己用塔罗牌测今日运势，宿愿能够协助到大家！塔罗牌看运势1、塔罗牌看运势，怎样自己用塔罗牌测今日运势，依据我的阅历，新手理论状况下是不可驾驭宏大的排阵的，而占卜...。
以WPS2019版本为例，1，WPS中自带在线，云字体，配置，可在，云字体，间接下载装置您所需的字体即可，下载实现后WPS会智能装置，2，自行在网络高低载好自己所需的字体，手动启动装置，WIN7的字体装置门路，C，\Windows\Fonts，装置实现后重启WPS即可经常使用新装置的字体，有哪些字体下载好网站，我来为你提醒那些隐匿于网...。
△丹麦首相弗雷泽里克森，资料图，丹麦警方7日晚说，丹麦首相弗雷泽里克森今日在首都哥本哈根受到一名女子殴打，目前该女子已被拘捕，丹麦首相府示意，弗雷泽里克森是在首相官邸左近受到一名女子袭击与殴打的，弗雷泽里克森对这一事情，感到震惊，丹麦警方说，该名女子已被拘捕，警方将开展深化考查，警方没有泄漏更多细节，有报道说，事发时弗雷泽里克森并未...。
重庆分类目录网站将2013年09月共29个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
酒店之于我国有着特殊的市场地位，这是因为很多游客和出差商务办公的人士都需要在酒店寄宿，酒店似乎已经成为一座城市中不可或缺的存在，市场中，酒店的品牌也是越来越多，而当旅游经济快速发展时，酒店行业也迎来了高速发展期，那现在开一家酒店还是很有优势的，对于酒店创业可选择加盟的形式进行，加盟酒店更是需要拥有充足的资金费用，那像100万可以加盟什...。
雷锋网按，网信办于2月4日发布，互联网用户账号名称管理规定，，对公众使用微博、微信等上网的账号名称，包括头像和简介，进行规范，明确提出网上昵称不准违反法律、危害国家安全、破坏民族团结、侮辱诽谤他人等，九不准，规定共十条，自3月1日起施行，看到这则新闻，我的第一反应是王麻子这个名字不能当ID了，这个ID构成双重违规，第一重在侮辱性，姓...。
寿司是日本的传统美食，后来传入中华，并发展成为中华民众喜爱的食品之一，有投入者想要做寿司这一行，不知道外带寿司店加盟哪一家好，中之禾餐饮就是一个不错的选择，这家店在提供堂食的同时，也为消费者提供外送业务，您可以经过网络预定或者打电话预定的方式来选择您喜爱的寿司类型，中之禾餐饮提供的寿司种类繁多，营养丰富，口感多样，深受广大消费者的喜爱...。
今日融资快报机械臂公司StandardBots获6300万美元融资，亚马逊、三星等参投StandardBotsInc.是一家为制造业和物流业开发机械臂的初创公司，该公司已获得6300万美元的B轮新资金，本轮融资由GeneralCatalyst领投，亚马逊工业创新基金、SamsungNext和几家老投资者也参与了该公司的投资，AI临床洞...。
智能锁市场的萌芽到发展，实则带有被动意味，2017年，中国智能锁按下快进键，经3年发酵，目前已聚集超1500家企业和3500个品牌，真实上演千锁之战，智能家居兴起之初，各种音箱、照明等智能设备被当作客厅经济的明日之星轮番出世，大手笔投入之后，此番热情非但未得到市场买账，反而痛迎吐槽，昂贵、难用，压根不智能，一些企业冷静下来复盘分析，市...。
