不可能三角 预训练语言模型的下一步是什么 (不可能三角谁提出的)
编译 | 王玥
近年来，大规模预训练语言模型（PLM）显著提高了各种NLP任务的性能。由BERT和GPT-2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等。此外，这些PLM的规模为中等（即大小低于1B参数），令模型可以做出广泛且快速的微调与适应。
然而在许多真实的、特别是新颖的NLP场景中，由于预算或时间限制，用于有效微调的标记数据非常有限。这就刺激了零样本和少样本NLP模型的开发。
从GPT-3开始，超大规模 PLM (SL-PLM)在只给出任务描述和一些手工示例的情况下，在一般的NLP任务上表现出了优越的性能。这种能力以前在中等规模的PLM中没有观察到。然而，这些SL-PLM前所未有的超大规模在很大程度上阻碍了其广泛应用。人们甚至很难获得足够的计算资源来加载这样的模型，更不用说有效的部署和微调了。因此我们认为，目前还没有一种轻量级PLM在监督学习和一般NLP任务的零/少样本学习场景中都具有出色的性能。这导致了在实际场景中使用这些PLM时需要投入大量的额外工作。
对于PLM来说，似乎产生了中等规模，零/少样本学习能力和微调能力三者不可同时出现的困境。日前，微软认知服务研究小组研究员朱晨光（Chenguang Zhu）及 Michael Zeng在其新论文《Impossible TrIangle: What’s Next for Pre-trained Language Models?》中将这种困境称为“不可能三角”。
据悉，朱晨光本科毕业于清华姚班，后取得斯坦福大学计算机系博士学位，毕业后进入微软公司，现为微软公司自然语言处理高级研究员。此前，AI科技评论对朱晨光博士做过一次人物专访，更多内容可看：《 朱晨光：一个从不通宵的AI研究员
PLM的不可能三角包含了在实际场景中部署模型所需的三个属性，分别是：
图为描述当前PLM障碍的不可能三角形，这个三角形描绘了三个PLM关键属性：P1，即模型规模适中，P2，即SoTA少样本学习能力，以及P3，即SoTA监督学习能力。这三个属性对应于PLM实际应用中的三个要求：P1是使用合理数量的计算资源进行高效部署；P2对应标记数据为零或很少的情况；而P3对应标记数据相对丰富的情景。
不可能三角形存在的一个原因是，在当前阶段，只有当PLM达到极大的规模并具有足够的模型容量时，才会拥有强大的少样本学习能力。虽然iPET设计了中等大小的PLM，从而实现比GPT-3更佳的少样本学习性能，但已经被后来的SL-PLM（如PaLM）超越。随着模型规模的增大，我们可以观察到零样本/少样本学习性能的不连续改善。例如，与参数为8B和62B的模型相比，参数为540B的PaLM在许多任务上的准确性都有了巨大飞跃。因此，开发出一个具有SoTA零/少样本学习性能的中等大小模型，同时又保持高超的监督学习能力，仍然是一个巨大的挑战。
虽然没有一个PLM能实现不可能三角中的所有三个特性，但许多PLM已经具备了其中的一or两个属性：
由于不可能三角的存在，学界和工业界采取了许多措施来解决实践中所使用的PLM所缺少的能力。总结如下:
以上提到的这些额外工作拖慢了训练和部署PLM模型的进程。而且对于不同下游任务或产品，需要不断进行这些工作。因此，如果一个PLM能够实现这个不可能三角形，则将大大加快模型训练和实用的过程。
虽然目前在NLP模型中存在不可能三角形，但研究者认为可以通过三阶段的方法来解决这个问题。
阶段1：开发PLM以达到三角形中的某些属性，并同时改进其他缺失的属性。例如，提高一个具有SoTA监督学习能力的中等规模模型在少样本学习上的效果；或将具有SoTA少样本学习能力的SL-PLM压缩成更小的模型，并使其具有更好的监督学习性能。
阶段2：在一个或几个NLP任务上实现具有所有三个期望属性的PLM。为了实现这一点，可以利用目标任务的特殊性。例如，在某些任务上，模型性能对于训练数据规模的依赖性较小，零/少样本学习和监督学习性能之间的差距较小，等等。
阶段3：在第一阶段和第二阶段的基础上开发在通用NLP任务上实现所有三个属性的PLM。可能使用到的方法有：i) 用更大数据预训练一个中等规模模型; ii) 更好地进行知识蒸馏; iii) 泛化数据增强方法等。一旦一个PLM在通用NLP任务中具备了不可能三角形的所有三个特性，将很大程度上改变整个NLP研究和应用的格局，促进快速、高效和高质量的模型开发和部署。
版权文章，未经授权禁止转载。详情见 转载须知 。
狗窝宠物网（Gouwo.net）专注分享实用的宠物知识。
下载之家提供新鲜安全的绿色软件、系统软件下载服务.所有软件均由下载之家严格检测,无病毒木马、诱导广告.安全下载绿色软件就到下载之家.
沈阳雨昕建材有限公司是一家生产新型绿色环保节能产品的建材公司
吉林省金融控股集团股份有限公司（以下简称“吉林金控”）是经吉林省政府批准成立的国有金融投资企业，是省委、省政府为充分发挥吉林省在东北亚地区的独特区位优势，推动建设东北亚区域性金融中心、发展壮大地方国有金融资本、优化金融资源配置、深化金融国有资产管理体制改革、加快发展金融服务业、增强金融对经济发展的支撑作用、促进经济结构转型升级，推动东北亚区域经济合作与发展组建的大型国有金融投资企业。
浙江耀昇工贸有限公司座落于武义县下陈工业区，是一家致力于甲级防盗门的研究、开发、制造、销售为体的专业型企业。公司厂房面积2.5万平方米，员工200多人，产值1亿元。
北斗星空自动化科技公司专业生产固定式测斜仪、倾角仪，依靠自己的安全监测预警系统，适用于桥梁监测、边坡监测、房屋监测等常见基础设施，提供在线监测解决方案。
北京云巢联讯科技有限公司是一家国内的私有云解决方案提供商，专注于私有云基础桌面云产品的研发和服务。
第一运程网每日生肖运程与运势,掌握每日运势变化,让你提前规划生活与工作,获取好运与机会。
河北广特紧固件制造有限公司以研发、生产、销售地铁螺栓、地铁管片螺栓系列紧固件产品为一体的综合型企业，本公司下属各厂技术力量雄厚，以机械为主，以及精湛的手工操作技艺专业生产各种规格地铁管片螺栓系列产品。
卦无忧是传统思想和民俗文化内容知识网站，提供传统民俗文化,国学大全,星座生肖,起名打分,姻缘配对,黄历吉日等数百项免费知识内容大全。
上海境捷模型设计有限公司专业为您提供模型制作公司|船舶模型制作|工业机械模型制作|上海工业模型制作公司的相关信息，想要了解更多模型制作公司|船舶模型制作|工业机械模型制作|上海工业模型制作公司的详情，请联系我们。
江阴市八达塑业有限公司
ChatGPT在产业界掀起商业化与资本狂潮的同时，也给自然语言处理，NLP，研究界抛出了许多问题，NLP正在重新成为最热的研究领域之一，但也在面临以ChatGPT为代表的大规模预训练语言模型带来的冲击，ChatGPT将如何重塑NLP技术，NLP的下一步要如何走，在2月24日深圳人才研修院由鹏城实验室主办的第四届OpenI，O启智开发者...。
大规模预训练语言模型能否实现认知智能，自GPT，3问世以来，关于这个问题的讨论从来没有停止，也一直没有定论，作为NLG领域的标杆模型，GPT，3在X，to，Text系列任务中表现极佳，文章写作、图表分析、聊天对话都能轻松实现，NLG，NaturalLanguageGeneration，是自然语言处理领域的一个分支，区别于NLU，更侧重...。
消息，3月26日，vivo发布折叠旗舰vivoXFold3系列，以219克的最小重量，创下了大内折叠机型的轻薄新纪录，媲美主流直板旗舰，在这次发布会上，vivo手机行业全球首发了半固态电池技术，大幅提升电池抗低温性能，配合领先行业的二代硅材料，再次突破手机电池中难以实现的容量大、电池薄、充电快，不可能三角，，并搭载蓝海电池最大容...。
信贷产品对小微企业来说本身是一个错误的产品，对于出资者来说也是一个风险和回报不对称的产品，近日在，2021全球财富管理论坛，上，香港交易所集团原行政总裁李小加语惊四座，在他看来，银行等金融机构的信贷产品通常有着僵硬的还本付息节奏，与小微企业风险多元、多变之间存在难以调和的矛盾；同时在利息低、风险高的双重因素下，小微信贷规模难以做大...。
编译，王玥近年来，大规模预训练语言模型，PLM，显著提高了各种NLP任务的性能，由BERT和GPT，2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等，此外，这些PLM的规模为中等，即大小低于1B参数，，令模型可以做出广泛且快速的微调与适...。
一款理想的医疗大模型是解决医疗不可能三角，创造生产力价值，近日，在，医健AI掘金志，对话京东健康技术产品部智能算法部负责人王国鑫，他指出，医疗绝对供给量不足是造成医疗，不可能，三角，成本、质量、可及性的根本原因，但在这一冰层下，还隐藏着医疗结构性供给不足的问题，过去分级诊疗曾是解决这一问题的主要手段，通过将大量常见病、多发...。
编者按，从花旗银行高级副总裁，到摩根大通执行董事，黄又钢一路走来，见证了美国金融科技从无到有的十年，随着中国金融科技的快速发展，一批顶尖金融人才回国创业，黄又钢也是其中一员，在纽约，每个人都走得很快，这是黄又钢30年前初到美国的体会，第一次去美国的时候，已在纽约生活了半年的太太陪他去逛街，他发现太太的步子走得飞快，而之前在北京，她...。
明基4K投影主要划分两条线，一条是以W1700、TK800为代表的星辰4K系列，它们小巧便携，价位亲切可人，适合应用于客厅影院；而另一条开辟较早的高端4K系列，蜚声于家庭影音室领域，它们规格高，价格也有些小傲娇，腹部贴有4KUHD的灿金标记，高雅的全黑色，统一着装，，方便融于影音室的放映环境，星辰4KW1700，热爱电影的文艺青年它热...。
停靠江苏南通的明思克号航母起火后现状，舰岛损毁重大8月16日晚，江苏省南通市消防接济支队官网微博通报，2024年8月16日16时许，苏锡通园区长江边一废旧航母在撤除革新时出现火灾，南通消防部门没有间接点名这艘，废旧航母，的名字，但据南边都市报和读特资讯报道，通报所称的，废旧航母，是，明斯克，号，其曾在深圳停靠16年，于2016年前往江...。
本文系网易沸点上班室，谈心社，栏目，群众号，txs163，出品，每天降级，成熟女演员，有危机吗，很多人说有，从外界的目光看，陶虹或者算，当事人，一个，但她还是有些不同，分开荧幕多年，一朝回归就凭，小欢欣，里的宋倩冷艳众人，微博上一群90后回想童年期间的看剧光阴——，阳光璀璨的日子，春光璀璨猪八戒，白色，……，求求陶虹再多演点戏，，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
