剑桥高级机器学习讲师Ferenc Huszár评马腾宇新作 它改变了我对上下文学习的思考方式 (剑桥gao)
根据 Ferenc Huszár 的介绍，他是在 ICLR 审稿期间阅读到马腾宇等人的这篇工作，觉得该论文所取得的成果十分引人入胜，并进行了深入思考。
ICLR 2022 在去年11月公布初审结果，马腾宇团队有3篇工作入选，《将上下文学习视作隐式贝叶斯推理的阐释》（An Explanation of In-Context Learning as Implicit Bayesian Inference）便是其中之一。
马腾宇与Percy Liang分别为斯坦福大学计算机系的助理教授与副教授，是人工智能领域的著名新秀，都曾获得斯隆研究奖，其研究工作受到同行关注。
的专访介绍，马腾宇主要从事人工智能基础理论的研究工作，课题覆盖非凸优化、深度学习及理论等等。这篇被 ICLR 2022 接收的工作也是从理论出发，研究上下文学习/（In-Context Learning）与隐式贝叶斯推理之间的关系。
当前，GPT-3等大规模预训练语言模型进行上下文学习的表现惊人：模型只需基于由输入—输出示例组成的提示进行训练，学习完成下游任务。在没有明确经过这种预训练的情况下，语言模型会在正向传播过程中学习这些示例，而不会基于“分布外”提示更新参数。
但研究者尚不清楚是什么机制让上下文学习得以实现。
在这篇论文中，马腾宇等人研究了在预训练文本具有远程连贯性的数学设置下，预训练分布对上下文学习的实现所起到的作用。在该研究中，对语言模型进行预训练需要从条件文本中推断出潜在的文档级别概念，以生成有连贯性的下一个标记。在测试时，该机制通过推断提示示例之间共享的潜在概念，并应用该概念对测试示例进行预测，从而实现上下文学习。
他们证明了：当预训练分布是混合隐马尔可夫模型时，上下文学习是通过对潜在概念进行贝叶斯推理隐式地产生的。即便提示和预训练数据之间的分布不匹配，这种情况依旧成立。
与自然语言中用于上下文学习的混乱的大规模预训练数据集不同，他们生成了一系列小规模合成数据集（GINC），在这个过程中，TransFormer 和 LSTM 语言模型都使用了上下文学习。除了聚焦预训练分布效果的理论之外，他们还实证发现，当预训练损失相同时，缩放模型的大小能够提高上下文（预测）的准确性。
Ferenc Huszár 是剑桥大学计算机系的高级机器学习讲师，对贝叶斯机器学习有深入的研究。2016年与2017年，他在基于深度学习的图像超分辨率与压缩技术上取得两大突破（如下），谷歌学术引用了超过1万4。
Ferenc Huszár 对马腾宇等人的工作给予了高度评价。AI科技评论对 Ferenc 的点评做了不改原意的整理：
我喜欢这篇论文，因为它与可交换性（exchangeability）相关，这是我最喜欢的概念和想法之一。它让我想起了我在2015年（当时还处于深度学习的发展早期）的想法——利用可交换序列模型实现大规模通用学习机。在那篇旧博文中，我对可交换模型做了如下思考：
老实说，在我读到马腾宇等人发表的这篇论文之前，我从来没有把大型可交换序列模型视作通用学习工具的动机和使用GPT-3进行上下文学习的最新趋势联系起来。事实上，我对后者深表怀疑，认为它本质上就是必然存在根本缺陷的另一种黑客行为。但是这篇论文将这些点都联系起来了，这也是它为什么如此吸引我的原因，因为我永远无法想到“提示黑客行为”和上下文学习竟然完全一样。
1）将可交换序列作为隐式学习机
在探讨这篇论文前，让我们先来温习下关于可交换序列和隐式学习的已有概念。
可交换序列模型是一个序列概率分布
中，对于任意一个置换 π，该分布都是对标记的置换不变量。
de Finetti 定理将这些序列模型与贝叶斯推理联系在一起，假设任意分布都可以分解成混合独立同分布（I.I.D.）序列模型：
因此，前一步的预测分布（用来预测序列的下一个标记）总能分解成贝叶斯积分：
计算得到的贝叶斯后验，计算的贝叶斯公式为：
在这种情况下，如果我们有一个可交换序列模型，就可以将这些前一步的预测分布视作隐式执行的贝叶斯推理。关键是，即便我们并不知道θ个 π 是什么，以及可能性
是什么，也能实现这一操作。我们不必明确指出公式的这些组成部分是什么，de Finetti 定理都能够确保这些组成部分都存在，而只需要让预测
与可交换序列模型保持一致。
这一想法驱使我通过构建这一模型，来尝试设计总是能够产生可变换分布的循环神经网络（当时Transformer 还没有出现）。最终证明这种想法很难实现，不过这一想法最后衍生出了 BRUNO（名字取自Bruno de Finetti）这一工作。
BRUNO 是一个用于可交换数据的灵活的元训练模型，拥有小样本概念学习能力。这个想法后来在 Ira Korshunova 的博士论文中得到多种方式的拓展。
2）从可交换序列到混合隐马尔可夫模型（HMM）
但GPT-3是一个语言模型，很明显语言标记是不可交换的，所以两者联系是什么？
伴随着de Finetti 型定理出现了一些引人关注的泛化成果，可交换性的概念也出现了一些有趣的扩展。Diaconis、Freedman（1980）等人定义，偏导可交换性（Partial exchangeability），指的是能确保序列可被分别为混合马尔可夫链的序列分布的不变属性。因此，可以说，使用偏导可交换过程对马尔可夫链进行贝叶斯推理，与使用可交换过程对独立同分布（I.I.D.）数据生成过程进行推理的方式非常相似。
马腾宇等人在这篇论文中，假设使用的序列模型是混合隐马尔可夫模型。这比 Diaconis 和Freedman 提出的偏导可交换混合马尔可夫链更具泛化性。
我不知道是否混合隐马尔可夫模型能用可交换性此类的不变性来表征，但这不打紧。实际上这篇论文根本没有提及可交换性，其关于隐式贝叶斯推理的核心论点是：每当使用由简单分布组成的序列模型时，可以将前一步的预测阐释为“对一些参数隐式地进行贝叶斯推理”。虽然互联网上人类语言的分布不太可能遵循多观察隐马尔可夫模型（Multi Observation Hidden Markov Model，MoHMM）分布，但假设GPT-3输出的序列可能是混合隐马尔可夫模型的某些部分，这种说法就是合理的。并且如果真是这样，预测下一个标记就会对一些参数（作者所指的“概念”）隐式地进行贝叶斯推理。
3）上下文学习和隐式贝叶斯推理
这篇论文的核心思想是，也许上下文推理能够利用这种与语言统计模型密切相关的隐式贝叶斯推理来解决问题。语言模型能够学习隐式地对任何概念进行概率推理，因为要想在预测下一个标记的任务上表现得好，就必须进行这种推理。如果模型具备这种隐式学习能力，那它就能够操纵这种能力去执行其他同样需要这种推理的任务，包括小样本分类等等。
我认为这是一个非常有意思的泛化想法。 但令我稍感遗憾的是，作者聚焦的关键问题是特定性和人为性： 虽然多观察隐马尔可夫模型可以用来“补全”从某个特定的隐马尔可夫模型（混合组成部分的其中一个）中提取的序列，但如果让多观察隐马尔可夫模型补全它们根本无法直接生成的序列，例如一个人为构建的嵌入了小样本分类任务的序列，会发生什么？这就变成了一个分布不匹配的问题。
论文关键的发现在于，即便这种分布不匹配，多观察隐马尔可夫模型中的隐式推理机制也能够识别正确的概念，并且能在小样本任务中使用这种分布来做出正确的预测。
这一分析为嵌入序列中的上下文学习任务与多观察隐马尔可夫模型分布的相关性，做出了强有力的假设（具体细节请阅读原论文）。从某种程度上来说， 作者研究的上下文任务，与其说是一个分类任务，不如说是一个小样本序列补全任务。
总而言之，这是一篇值得思考的、有意思的论文，它显著地改变了我对整个上下文学习以及将语言模型训练成小样本学习工具的研究方向的思考方式。
版权文章，未经授权禁止转载。详情见 转载须知 。
宁波宏旺交通设施有限公司长期从事公路划线,车位划线,热熔标线,冷漆标线施工等工程项目,拥有一支强有力的生产,安装施工队伍,完全能够胜任承担各类大型复杂的交通标志,标线,护栏工程任务及市政工程.施工技术经验丰富,行业口碑优良,费用合理,业务咨询热线13186857210.
女神的秘密(www.nsdmm.com)是仙女姐姐们对护肤品使用心得的分享驿站！站内提供专业的护肤品知识，帮助你有针对性地选择于已适用的产品。同时分享国内外护肤品品牌，新品上市，打折促销，优惠券等活动信息。
中国节能环保集团有限公司是唯一一家主业为节能减排、环境保护的中央企业。拥有各级子公司338家，上市公司5家，分布在国内近30个省市及境外近40个国家和地区，致力于成为质量优秀的科技型服务型跨国经营企业集团。
万普拓展培训，中国体验式培训专家，安徽拓展训练行业龙头企业，万普企业管理有限公司(WAYPOO)是安徽省专业从事体验式企业培训和拓展训练的机构，是知名的安徽拓展训练服务提供商。
安捷星车辆GPS定位器是一款专业的车辆定位管理设备，能够进行GPS/北斗双模定位，公司拥有自主知识产权的配套GPS定位平台及“安捷星”注册商标；宽幅电压使安捷星可做为各种车型的汽车gps定位器，包括轿车、越野车、货车、集装箱车、卡车、半挂车、工程车、冷藏车等。佳禾抽奖软件是公司推出的抽奖软件，专业从事：抽奖活动、抽奖软件开发、抽奖策划等；安捷星GPS车辆管理系统适用大中小型企事业车辆管理与定位
宁波盛技机械有限公司专业制造压铸模和切边模，公司具有全套精密、精良的加工设备，先进、合理、规范的生产制造工艺，产品远销发达国家，我们竭诚为广大客户提供优质的服务。欢迎您随时光临、洽谈业务，电话:0574-55889808。
广州宽馨养老服务有限公司，坐落于风景宜人的广州市花都区，具体位于天贵路54号二楼257室，是一家专注于提供高品质养老服务的专业机构。我们致力于为广州及花都地区的老年人打造一个温馨、舒适、安全的养老环境，涵盖养老院、长期护理保险（长护险）服务以及专业护理院等多种服务形式。
找百吨折臂吊租赁选西安百盾折臂吊装,我公司专业从事起重搬运设备出租,随车吊租赁,平台升降车,吊车,叉车等吊装设备的租赁销售服务.我们拥有技术过硬,经验丰富的专业队伍,凭借着强大的运作实力,优良的服务赢得广泛的认可和信赖，欢迎致电咨询.
东风李尔汽车座椅有限公司_公司成立于2004年3月，主要从事汽车座椅及其零部件的研发、制造、销售和服务，是国内综合实力当先的汽车座椅供应商。
旗幻数码商贸-我的B2C精选管家
安徽丰辰网络信息技术有限公司成立于2015年，致力于为广大企业及个人用户提供优秀互联网建设及推广服务，多年来累计服务客户超过2500家。公司主要服务项目包括但不限于网站建设、微信公众号、小程序开发、服务器空间、网络推广、400电话、企业邮箱等，以帮助客户轻松、快速、高效的应用互联网，提高企业竞争能力。
浙江兆磊电子设备有限公司是国内领先的是一家集研发、生产、销售和服务于一体的LED显示屏与LED照明产品应用与方案供应商，致力于全球低碳、节能、环保事业。
雷锋网9月19日消息，一年一度的杭州云栖大会又开幕了，2016年，马云宣布了新零售、新制造、新金融、新技术、新能源这5新；2017年，最劲爆的事件，还属阿里宣布投资1000亿建立，达摩院，而2018年呢，雷锋网记者在现场为你带来新鲜报道，在上午进行的主会场，随着开场歌舞表演结束，正式进入演讲环节，首先是政府领导致欢迎词，杭州市领导，...。
创维的2020春季新品发布会从8K摄像机开始，除去8K摄像机，当然还有创维的AIoT产品及生态，去年，在创维春季发布会上，创维电视正式对外发布了大屏AIoT生态战略，并命名为，创维Swaiot，，与此同时，创维Swaiot也成了创维AIoT战略的代名词，4月27日，在今年的春季新品发布会上，创维进一步推出移动智慧屏，并对外公布了包括多...。
死神作为一部深受全球粉丝喜爱的日本动漫作品，其剧情丰富、角色鲜明，每一集都精心制作，为观众呈现了一个充满激情与感动的世界，然而，在众多精彩纷呈的篇章中，番外篇以其独特的魅力独树一帜，为粉丝们提供了更加多元化的观看体验，本文将从不同角度探讨死神中的番外篇，特别是关于死神都第几集是番外篇的话题，首先，从内容角度来看，番外篇通常不会影响主线...。
让机器学会，读心术，，情感计算如何解决实际场景需求，雷锋网公开课详解Serverless服务，它会颠覆你对云的理解，雷锋网公开课覃超点评F8大会，还是记忆中的Facebook，黑科技程度没两样，雷锋网公开课微信小程序开发科普，让你1小时内从入门到上手，雷锋网公开课AI如何助你成为，画家，雷锋网公开课...。
实业救国论的概念诞生于19世纪末，20世纪初成为一种颇为流行的论调，实业泛指农、工、商、交通等，作为实业救国的代表人物张謇极力宣扬实业救国论，他身体力行创办了纱厂、面粉厂等多种企业，兴办学校，企图实现以实业所得来资助教育，用教育来改进实业，凭实业发展而救国的目标，同时也涌现出了一批实业家，中国船王、北碚之父——卢作孚；中国民族化学工...。
发表在当贝投影仪2024，7，1010，52三千预算买投影，在众多投影仪中看中了当贝D6X和坚果N1，于是将两款投影仪都买来体验了，最终看看哪个更符合要求，下面就分享当贝D6X和坚果N1的实测体验，看看我最终究竟留下了哪一款，当贝D6X和坚果N1实测体验分享，在光源技术方面，当贝D6X和坚果N1采用的都是三色激光技术，亮度方面，当贝D...。
希腊版摩伊拉，Moirai，是希腊神话中的命运三女神的总称，是宙斯，Zeus，和正义女神忒弥斯，Themis，的女儿，这三位掌管万物命运的女神分别是，克罗托，Clotho，、拉切西斯，Lachésis，、阿特洛波斯，Atropos，最小的克罗托掌管未来和纺织生命之线，二姐拉切西斯负责维护生命之线，最年长的阿特洛波斯掌管死亡，负责切断...。
都说国内做达人投放水很深也很卷，身为一位做过国内投放和海外投放的运营者，今天想聊聊这个话题，其实海外达人投放谁也很深，1.卖家兼达人和国内不一样，tiktok是国外的抖音，因为先有抖音再有tiktok，有了前车之鉴很多外贸人都布局tiktok，不管是国内还是国外每个人都想做第一个吃螃蟹的人，所以很多海外达人都是电商起家，在选择这类型的...。
全球时报，全球网报道记者邢晓婧，13日，外交部发言人林剑掌管例行记者会，中阿卫视记者提问称，当天早上，胡塞武装发言人叶海亚宣布申明称，胡塞武装在红海袭击了美国的航空母舰，由于美国始终地侵略也门的领土，中方如何评论美国始终地在中东侵犯中东国度领土的行为，林剑对此示意，红淡水域是关键的国际货物和动力贸易通道，各方应依法独特保养红淡水域的...。
宝马745li的多少钱为117.00万元，作为上流奢侈轿车，宝马745li领有多项先进的安保和温馨性性能，让驾驶者和乘客都能享遭到最初级别的行车体验，该车装备了I.S.I.S整合台式智慧防护系统，经过高科技传感器实时监测车辆形态，为驾乘者提供全方位的包全，双前座空气囊含乘客座位感知器、双前座侧边空气囊、双后座侧边空气囊以及一体式前后座...。
初到阿斯塔纳【哈萨克斯坦】_秋天的枫叶_新浪博客,秋天的枫叶,
如何利用Laravel实现定时任务功能引言：在开发应用程序时，有时需要在特定的时间点或间隔执行一些任务，例如生成报表、发送电子邮件或清理缓存。Laravel提供了一个强大的定时任务功能，可以帮助我们轻松地实现这些需求。本文将介绍如何使用Laravel中的定时任务功能，并提供具体的代码示例。一、配置定时任务首先，我们需要在Laravel项目中配置定时任务。打开
2019年1月的AI语音芯片市场十分热闹，1月2日，云知声召开发布会推出多模态AI芯片战略，并公布今年布局的3款AI芯片，1月4日，思必驰召开发布会发布其第一代AI语音芯片TAIHANG，1月21日，猎豹移动旗下AI公司猎户星空联合瑞芯微电子宣布推出专门针对智能音箱和物联网设备的AI语音芯片，加上此前出门问问、Rokid已经发布的AI...。
警方通报长沙一家5口死亡，这是怎么回事呢，调查之后发现，系长沙男子杀害家人后自杀，5月24日晚，长沙市公安局开福分局根据群众报警线索，在开福区某小区一居民家中发现住户郭某颖，男，29岁，等5人死亡，公安机关初步查明，犯罪嫌疑人郭某颖因欠下高额债务与家人产生矛盾，在家中杀害4名家人后畏罪自杀身亡，目前案件正在进一步侦查中，警方通报长沙一...。
找服饰项目商机，迎女人心内衣投资惊喜，神州加盟网领先服饰品牌代理加盟领域，第一时间与您共享女人心内衣招商最新投资信息[更多]...。
央视记者代表中国中央电视台的官方立场和权威声音，央视记者是中国中央电视台的专职新闻工作者，他们代表央视这一国家级媒体机构，对外传递最新的国内外新闻信息，他们的职责是采集、报道各类新闻事件，涉及政治、经济、文化、社会等各个领域，因此，央视记者的言行举止都代表着央视的官方立场和态度，他们的报道具有权威性和公信力，能够影响公众舆论和社会认知...。
11月12日至17日，第十五届中国国际航空航天博览会将在广东珠海举办，据悉，本届航展空间由上届的10万平方米优化至45万平方米，新建2个新展馆，总共将启用13个展馆，室内展览面积达12万平方米，其中，为顺应无人系统迅速开展的趋向，初次开拓中国航展无人机无人船展示区，斗门莲洲，，面积约33万平方米；全新扩建金凤台观演区，大幅拓宽了观看航...。
