LeCun提出的 AI教父Yann 到底是个啥 Reddit热议 能量模型 研究了个寂寞 (Lecun提出卷积神经网络)
“能量自监督学习到底是什么鬼？”不少reddit网友评论说。
刚刚，深度学习教父Yann LeCu登上了Reddit热搜。一位不知名的开发者发表了一篇题为“Yann LeCun提出基于能量的自监督学习到底是什么”的帖子，引发众多网友讨论。
讨论的焦点之一是，基于能量的自监督学习模型能做什么？有什么优势或意义？
这位开发者刚刚看完LeCun最新的主题演讲，他说，Yann LeCun似乎是在建议训练一个有条件的潜在变量模型，它可以根据输入和潜在变量预测输出（类似于pix2pix GAN或VAE）；同时，它也可以处理图像、视频或者音频等不同类型。
但有关优化生成模型的方法有很多，比如OpenAI通过iGPT预训练预测缺失像素，采用“对比预测编码法”，通过对比损失来进行丢失信息预测。这些方法在实际应用中均取得不错的成果。
相比之下，基于能量的自监督学习好像并没有特别之处，也没有相关的成功应用案例。
Reddit上，超过95%的网友对这一观点表示了赞同。
另外，还有一位网友透露，最近3-4年很多专家都对它很着迷，他们认为基于能量的模型是深度学习的『未来』。
那么，代表ML未来的『能量模型』到底是什么？
AI的未来：『能量』SSL模型
Yann LeCun，是2018年图灵奖得主之一，与Geoffrey Hinton 和 Yoshua Bengio二人被合称为深度学习三巨头。同时，他自己也被称为“CNN之父”。
LeCun在在业界和学术界颇具影响力。目前，他在Facebook公司担任人工智能研究院院长一职，同时也在纽约大学、Courant 数学科学研究所、神经科学中心和电气与计算机工程系等担任要职。
2019年11月，LeCun代表Facebook参加了《Using Physical Insights for Machine Learning》主题研讨会，并发表了名为《基于能量的自监督学习（Energy-Based Self-Supervised Learning）》的主题演讲。
在这篇演讲中，LeCun详细介绍了基于能量的学习方法在解决现有挑战方面的可能性。
近几年，深度学习在计算机感知、自然语言理解和控制方面取得了重大进展。但这些成功在很大程度上都依赖于监督学习或无模型强化学习。其中，监督学习是从标记的训练数据来推断一个功能的机器学习任务。强化学习分为有模型和无模型两种策略，前者区别与后者的特点是，有模型的方法主要学习前向状态转移模型p(st+1|st,at)，而无模型方法则不是。
从现有研究来看，无论是监督学习，还是无模型强化学习都存在明显的局限性。前者需要人类提供大量数据标签，后者需要机器学习动作回报最大化。
也就是说，监督学习只适用于特定任务，即使是学习简单的任务；强化学习也需要与环境进行大量的交互。例如，它在游戏和仿真工作中十分有效，但在现实世界很难奏效。
但如果存在一款模型能够像人类或动物那样，只需要少量观察和互动就能学习大量与任务无关的知识，那么这些现实困境就可以被很好的解决。而这款模型必须依靠自监督学习（Self-Supervised Learning，简称SSL）方法。
LeCun认为，SSL是深度学习的『未来』，基于能量的SSL可以在回避概率的同时处理不确定性。以下是基于能量的SSL模型：
标量值能量函数F（x，y）可以被测量，包括：
同时，它也有无条件的模型版本。
在训练方面，首先将能量函数参数化，在获取训练数据，最后计算出新Shape。这个过程通常有两种方法，一是对比法（Contrastive Methods），二是建构法（Architectural Methods）。
其中对比法涉及三种策略：
C1：数据点能量下推，其它位置上推：最大似然（Max likelihood）。
C2：数据点能量下推，选择位置上推：最大似然和MC/MMC/HMC，对比散度，度量学习，噪声对比估计，比率匹配，噪声对比估计，最小概率流，对抗生成器GAN
C3：训练一个函数，将数据流形上的点映射到数据流形上的点：去噪自动编码器，屏蔽自动编码器（如BERT）
建构法涉及三种策略：
A1：建立机器使低能量物质的体积有界：PCA，K-均值，高斯混合模型，平方ICA。
A2：使用正则化项来度量具有低能量的空间体积：稀疏编码、稀疏自动编码器、LISTA、变分自动编码器
A3：F（x，y）=C（y，G（x，y）），使G（x，y）相对于y尽可能“恒定”：收缩自动编码器，饱和自动编码器。
A4：最小化梯度，最大化数据点周围的曲率：分数匹配
在此基础上，LeCun还展示了关于视频预测的应用实例。他表示，无监督学习会成为未来的主流，能解决我们的学习系统难以处理的众多问题，研究无监督和预测性前向模型（predictive forward model）的建立，也会是接下来几年的挑战。
（文末获取LeCun完整PPT内容）
网友评论：『能量』的意义在哪？？
实际上，LeCun的能量SSL理论还处在“ppt阶段”。
目前还未有大量的成功应用案例，而他在PPT中也仅展示了自动驾驶预测视频的结果。一位网友表示，他曾利用能量SSL模型做过一项测试。
如上文所述，在能量函数F（x，y）最小化上，LeCun提供了两种训练方法：对比法和和建构法。但在这个过程中，他认为有多个不合理之处。比如：自动编码器的潜在变量在哪里？按构造，有没有事先分配样本的潜在权利？
如果训练的每一个SSL模型都可以解释为基于潜在变量的能量模型，这可能是不正确的。如果抛开潜在变量，认为每个模型都是基于能量的模型，可以勉强接受，但这还有什么意义呢？
它仅仅能够作为一种解释性理论，似乎并不具备应用的价值。
还有一位网友表示，LeCun所作的可能是一项“基础性研究”，就像Hinton研究胶囊网络（CapsulesNet）一样。基础性研究成功的可能性很低，通常是其他人在此研究之上开创应用。
另一位网友表示，Yann基于能量的学习方法确实启发了基于深层能量的强化学习（RL）研究，软演员-评论家（Soft Actor-Critic，SAC）模型已经在多个RL基准上实现了SOTA。
那么，你同意这位网友的看法吗？你认为『能量模型』的价值在哪里？
相关链接：
PPT文件：
演讲视频：
原创文章，未经授权禁止转载。详情见 转载须知 。
浙江奥泰克自动化技术有限公司
杭州万通汽车是万通汽修教育旗下旗舰院校，开设汽车美容、汽车装潢、汽车检测维修等汽修技术。学汽修咨询电话:0571-56396999
分析两个网站SEO数据竞争情况。
【官网】起翌软件针对不同行业特点厂商及分销商、连锁店、零售商、本地生活服务、社区O2O、批发市场、百货商场、跨境电商等业态提供专业的场景化定制解决方案。主营业务：APP开发、微信定制开发、网站个性化定制、软件开发，为客户打造一站式解决方案。咨询热线：
【星辉检测】电话：15330902886，辽宁省内及沈阳防雷装置检测公司，沈阳防雷检测，沈阳防静电检测公司，雷击风险评估机构，专业化的防雷检测团队，甲级资质，第一时间出报告，高效服务。
全自动保管箱,尾钞保管箱,指纹锁,管理软件,银行保管箱,金库门,金融机具
彩妆主要是涂敷于脸面及指甲等部位，利用色彩的变化，赋予皮肤色彩，修整肤色或加强眼、鼻部位的阴影，以增强立体感，使之更具有魅力。同时，也可用于遮盖雀斑、伤痕和痣等皮肤的缺陷。
天津中盛恒智网络科技有限公司,中盛恒智,中盛传媒,PR发稿公司,传媒公司,发稿公司
三江官网，系上市公司三江购物官方网站，三江超市，让老百姓“用较少的钱，过更好的生活。”
锐56攻略网专注于为玩家提供最新、最全面的游戏攻略和资讯。我们致力于通过详尽的游戏指南、技巧分享和深度评测，帮助玩家在游戏中快速提升水平。无论是热门大作还是独立游戏，锐56攻略网都为您带来专业、实用的游戏解决方案，成为您征服游戏世界的最佳伙伴。
福州全屋定制厂家-福州整体衣柜|橱柜订制厂家-福州金佰盛全屋定制,福州金佰盛是一家专业从事福州整体衣柜,福州整体衣柜定制,福州整体衣柜厂家,福州整体橱柜,福州整体橱柜定制,福州整体橱柜厂家,整体衣柜,整体衣柜定制,整体橱柜,整体橱柜定制,榻榻米定制,酒柜定制,橱柜定制,衣帽间定制,电视柜定制,书柜定制等家具定制的厂家，欢迎来电咨询：13799406237
宝宝天龙八部发布网-汇聚最新资讯与精彩活动。精心策划各类玩法，打破传统枷锁，为玩家提供更多天龙八部SF创新体验。高度还原天龙私服游戏画面，让你沉浸于江湖世界。加入我们天龙八部私服发布网，感受热血战斗，争霸武林的刺激与激情。
雷锋网AI科技评论消息，已经举办了14届的2018中国计算机大会，CNCC2018，将于2018年10月25日，27日在杭州国际博览中心，G20会场，举行，大会同期仍将举办规模更大的科技创新展，届时雷锋网将作为独家战略合作媒体进行全程跟踪报道，CNCC大会是国内规格最高的计算机会议，每届都会有很多大牛嘉宾莅临现场，就在今天CNCC20...。
新品iPhone终于来了，今年的苹果一口气发布了三款新iPhone，还有新的AppleWatch，那到底有什么提升呢，我们一起来看看吧，5分钟看完iPhoneXS发布会所有新品，三款新iPhone中，哪台iPhone最值得购买?iPhoneXS与iPhoneXR极速上手试玩，谁最强?关注我们的微博@爱搞机关注我们的微信公众号，爱搞机，...。
声明，1.以上内容仅代表投诉者本人，不代表黑猫投诉立场，2.未经授权，本平台案例禁止任何转载，违者将被追究法律责任，3.黑猫投诉处理投诉不收取任何费用，凡以黑猫投诉名义收费的均为冒充、欺骗行为，请及时报警并与黑猫官方反馈，举报邮箱heimaotousu@vip.sina.com，4.请大家选择官方渠道解决消费纠纷，不要轻信第三方机构或...。
代码说明，本页面的认证代码为555广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在555广告联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提升5...。
海澜之家，成立于1997年，是隶属于海澜之家股份有限公司的知名男装品牌，以，男人的衣柜，著称，提供多样化的服装选择，以其时尚设计和高品质而受到消费者青睐，雅戈尔，自1979年成立以来，隶属于雅戈尔集团股份有限公司，专注于西装的设计、制作与销售，其西装以简约自然风格和上乘质量而闻名，深受商务人士喜爱，七匹狼，1990年创立，隶属于福建七...。
平时人们在外出用餐的时候，越来越注重营养美味和便捷，因此猪脚饭迅速成为市场新宠，每天的销量都十分可观，想要做餐饮项目的人们，对此还是很感兴趣的，不过没有经验和技术，很难在市场上立足，此时只要能够寻求一个实力品牌助阵，所有难题都能迎刃而解，那么加盟猪脚饭需要多少加盟费?加盟猪脚饭需要多少加盟费?其实猪脚饭这个餐饮项目本身就属于小成本项目...。
[全球时报驻美国特约记者李准全球时报特约记者王逸柳玉鹏]北约10日宣布，华盛顿峰会宣言，，毫无依据地污蔑中国，已成为俄罗斯对乌克兰抗争的选择性允许者，，还称，中国的野心和胁迫政策正在对北约的利益、安保和价值形成应战，按，纽约时报，的说法，这是北约初次，参与华盛顿的行列，地下谴责中国，为俄罗斯提供军事允许，，是一个严重转变，彭博资讯社...。
优视频、爱奇艺等，1、优视频是一个收费的电视剧观看平台，不须要注册，可以观看标清和高清视频，提供了丰盛的影视资源，播放速度快，并且没有广告打扰，除了优视频，还有其余一些收费的电视剧观看平台，如钛影视、NO视频和优酷网等，2、爱奇艺是一个可以收费观看电视剧的网站，外面领有丰盛的影视资源，并且每天更新也较快，除了抢手资源，还有很多其余类型...。
2024年维也纳新年音乐会_胖小_新浪博客,胖小,
震荡反复中上下都正常（10日收评）_首山_新浪博客,首山,
惠频道（HuiFM）是一款精巧实用的桌面小工具，每天由专人在淘宝、京东、易迅、一号店、当当网、亚马逊等知名网站上定时搜寻最新发布的优惠信息，搜集汇总后推送给大家。惠频道只有这些吗?当然不是啦，更多资讯、教程与特色等你来一一体验吧。如果你需要这样一款惠频道的话，赶快到完美下载安装使用吧。
蛋仔派对这款多人休闲游戏想必很多玩家们都非常喜欢玩，官方会不定时发放一系列兑换码，让你领取相应的福利奖励，而本站此次要为喜欢这款游戏的小伙伴们带来的正是蛋仔派对最新兑换码大全，一起来看看吧~蛋仔派对通用兑换码通用礼包码全渠
现在购房的人非常多，人们因为各种原因纷纷购买了新房，购买新房就需要装修，每个人花费大量的资金购买房子以后都想要装修一个舒适，美观，大方，漂亮的房子，在装修的过程中，对家居建材行业的需求很大，需要很多种材料，瓷砖就是不可少的一项，瓷砖有品牌可以选择，惠万家瓷砖就受到不少加盟商的好评，消费者也比较认可，那么惠万家瓷砖招代理吗，怎么样呢，惠...。
麻辣烫是现在很多年轻小伙伴都非常喜欢吃的美食，因此在餐饮市场获得了广阔的发展空间，面对这样的市场现象，也引得了一些创业者的关注，不过，关于麻辣烫的品牌还是比较多的，其中比较有名气的当属好友麻辣烫，很多人在吃过之后都非常的满意，并且对其频频点赞，那么，好友麻辣烫可以加盟吗，就成为了广大加盟商需要提前了解的开店前提，好友麻辣烫可以加盟吗好...。
今天我来说说，什么叫家庭影院中音响的双线分音，一、什么叫双线分音?常规的音箱只有一组输入接线柱，从功放出来的全频带信号用一组喇叭线送到音箱，在音箱内部才通过分频器将高、低音分开，双线分音，Bi，wiring，则用两组喇叭线来连接功放和音箱，让高、低音分道扬镳各走各的道，大家互不牵扯，双线分音需要把分频器的高音通道和低音通道的输入端分开...。
水晶，是一种非常稀缺的矿物质，后来，经过现代化的技术以及设备制作，它便成为了非常精美的饰品，石头记水晶，晶莹剔透，款式时尚，价格大众化，造型别致，做工精良，在市场上备受消费者以及智慧之选者的青睐，那么，石头记水晶加盟前景怎么样，下面，请看小编的详细介绍，石头记水晶加盟前景怎么样，众所周知，我国是一个拥有13.68亿人口基数的我国，其中...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
