不可能三角 预训练语言模型的下一步是什么 (不可能三角谁提出的)
编译 | 王玥
近年来，大规模预训练语言模型（PLM）显著提高了各种NLP任务的性能。由BERT和GPT-2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等。此外，这些PLM的规模为中等（即大小低于1B参数），令模型可以做出广泛且快速的微调与适应。
然而在许多真实的、特别是新颖的NLP场景中，由于预算或时间限制，用于有效微调的标记数据非常有限。这就刺激了零样本和少样本NLP模型的开发。
从GPT-3开始，超大规模 PLM (SL-PLM)在只给出任务描述和一些手工示例的情况下，在一般的NLP任务上表现出了优越的性能。这种能力以前在中等规模的PLM中没有观察到。然而，这些SL-PLM前所未有的超大规模在很大程度上阻碍了其广泛应用。人们甚至很难获得足够的计算资源来加载这样的模型，更不用说有效的部署和微调了。因此我们认为，目前还没有一种轻量级PLM在监督学习和一般NLP任务的零/少样本学习场景中都具有出色的性能。这导致了在实际场景中使用这些PLM时需要投入大量的额外工作。
对于PLM来说，似乎产生了中等规模，零/少样本学习能力和微调能力三者不可同时出现的困境。日前，微软认知服务研究小组研究员朱晨光（Chenguang Zhu）及 Michael Zeng在其新论文《Impossible Triangle: What’s Next for Pre-trained Language Models?》中将这种困境称为“不可能三角”。
据悉，朱晨光本科毕业于清华姚班，后取得斯坦福大学计算机系博士学位，毕业后进入微软公司，现为微软公司自然语言处理高级研究员。此前，AI科技评论对朱晨光博士做过一次人物专访，更多内容可看：《 朱晨光：一个从不通宵的AI研究员
PLM的不可能三角包含了在实际场景中部署模型所需的三个属性，分别是：
图为描述当前PLM障碍的不可能三角形，这个三角形描绘了三个PLM关键属性：P1，即模型规模适中，P2，即SoTA少样本学习能力，以及P3，即SoTA监督学习能力。这三个属性对应于PLM实际应用中的三个要求：P1是使用合理数量的计算资源进行高效部署；P2对应标记数据为零或很少的情况；而P3对应标记数据相对丰富的情景。
不可能三角形存在的一个原因是，在当前阶段，只有当PLM达到极大的规模并具有足够的模型容量时，才会拥有强大的少样本学习能力。虽然iPET设计了中等大小的PLM，从而实现比GPT-3更佳的少样本学习性能，但已经被后来的SL-PLM（如PaLM）超越。随着模型规模的增大，我们可以观察到零样本/少样本学习性能的不连续改善。例如，与参数为8B和62B的模型相比，参数为540B的PaLM在许多任务上的准确性都有了巨大飞跃。因此，开发出一个具有SoTA零/少样本学习性能的中等大小模型，同时又保持高超的监督学习能力，仍然是一个巨大的挑战。
虽然没有一个PLM能实现不可能三角中的所有三个特性，但许多PLM已经具备了其中的一or两个属性：
由于不可能三角的存在，学界和工业界采取了许多措施来解决实践中所使用的PLM所缺少的能力。总结如下:
以上提到的这些额外工作拖慢了训练和部署PLM模型的进程。而且对于不同下游任务或产品，需要不断进行这些工作。因此，如果一个PLM能够实现这个不可能三角形，则将大大加快模型训练和实用的过程。
虽然目前在NLP模型中存在不可能三角形，但研究者认为可以通过三阶段的方法来解决这个问题。
阶段1：开发PLM以达到三角形中的某些属性，并同时改进其他缺失的属性。例如，提高一个具有SoTA监督学习能力的中等规模模型在少样本学习上的效果；或将具有SoTA少样本学习能力的SL-PLM压缩成更小的模型，并使其具有更好的监督学习性能。
阶段2：在一个或几个NLP任务上实现具有所有三个期望属性的PLM。为了实现这一点，可以利用目标任务的特殊性。例如，在某些任务上，模型性能对于训练数据规模的依赖性较小，零/少样本学习和监督学习性能之间的差距较小，等等。
阶段3：在第一阶段和第二阶段的基础上开发在通用NLP任务上实现所有三个属性的PLM。可能使用到的方法有：i) 用更大数据预训练一个中等规模模型; ii) 更好地进行知识蒸馏; iii) 泛化数据增强方法等。一旦一个PLM在通用NLP任务中具备了不可能三角形的所有三个特性，将很大程度上改变整个NLP研究和应用的格局，促进快速、高效和高质量的模型开发和部署。
版权文章，未经授权禁止转载。详情见 转载须知 。
平安银行信用卡官方网站为您提供最新最全的信用卡产品介绍,最新刷卡特惠信息,便捷还款方式介绍,信用卡商城热卖商品推荐,积分查询兑换,信用卡疑难问题解答等服务.
加盟星是百度招商加盟行业垂直搜索引擎，打造权威项目认证和评估体系，精准直连创业者和项目方，提供一站式项目咨询和服务，助力轻松创业。为创业者提供各类加盟品牌，包括加盟费用、加盟条件、加盟电话、加盟政策、加盟扶持等创业者关心的招商加盟项目信息，帮助创业者直联项目方，获得最新最全的项目信息。
南昌大学中国乡村振兴研究院
21理财网专注原油期货、黄金期货、白银期货、恒指期货、恒生指数、纳指、德指、道指、天然气、美精铜、股指期货直播室喊单,国际外盘期货直播间22小时在线喊单,EIA非农行情直播.
河南新乡德诚振动电机生产厂家专业制造各种振动筛电机，卧式震动电机有XT振动电机、ZFB震动电机、ZDJ振打电机、yzs振动电机、yzo振动电机等，立式振动电机有yzsl、yzul立式振动电机等。
全国项目代理机构网站，为全国各地科技企业提供从前期规划到后期售后的一站式项目代理服务，包括对于各省市各地项目条件、奖补、流程的深度解读、代理申请等，公司拥有高效、专业化的项目申报团队，具有多年项目申报经验和良好的社会资源背景。欢迎大家前来咨询。
南京艾凌节能技术有限公司简称艾凌节能，是因永磁调速技术而成立，专做产品：永磁调速器，永磁耦合器，永磁联轴器，永磁调速器系统，套筒式永磁调速器。永磁调速节能方案提供者和实践者。从此开启了完全自主知识产权的研究和产业化。
床垫,德国床垫,德国芬诺贝德床垫,芬诺贝德床垫,进口床垫,进口床垫品牌,德国进口床垫,fennobed
汇率呀汇率网提供全球200多种常见货币汇率实时查询、兑换换算服务,今日美元对人民币汇率,中国银行、工商银行、农业银行、建设银行、招商银行等银行今日外汇牌价汇率。
深圳市粤通汽车租赁有限公司在汽车租赁行业规模较大并具影响力的深圳汽车租赁公司之一，为提供深圳企业租车,会议租车,港澳直通车,商务租车等服务。
MyPrice下载站是一个免费提供手机游戏下载、手机app软件下载,手游攻略等好玩的游戏信息,里面的内容非常受广大玩家欢迎,后面还有更多精彩有趣内容等你来体验.
论坛描述
手机游戏中有不少合成类型的手游，这些游戏的主要玩法就是把同样的物品进行融合，这样就能合成出更加高级的物品，那么免费的合成车的游戏叫什么?今天小编就给大家介绍五个合成类的游戏，这些游戏中有很多可以合成的东西，合成这些东西的时候玩家也会感觉非常解压，1、，赛车精英，这款游戏中会出现很多型号的赛车哦，玩家们只需要找到两个相同的赛车，然后把两...。
近日，东北成了热门旅游地，广西一批小朋友在东北旅行时，被当地一路守护的故事在网络上引发热议，为了答谢东北，老铁，对孩子们的暖心守护，广西各地市花式回礼发出一车又一车的柑橘、柿饼投喂东北，老铁，1月6日为了感谢广西，砂糖橘，，黑龙江省抚远市准备了10万盒优质抚远蔓越莓发往南宁，向市民免费进行发放，没想到，黑龙江回赠广西，老表，10万盒...。
最近，老缪去上海保时捷体验中心感受了一下全新一代的保时捷911，大家也都知道，911作为保时捷的灵魂车型，每一代之间的外形变化都不大，所以保时捷的设计师常常被人调侃为世界上最轻松的职业，正因为911实在太过经典，任何前卫或大胆的设计都有可能招来风险，比如996那一代的泪眼大灯就被粉丝们称为最不保时捷的911，其实我个人觉得还好，那是我...。
哄睡陪聊标准聊天话术晚安这样回复，想你一整晚霸道总裁型，晚什么安，我巴不得你想我想的睡不着觉浪漫温柔回复，我会带着月光的温柔，星星的浪漫，顺着撩人的微风，进入你甜美的梦里，与你相依相偎冷淡无情回复，拜拜，明天见直男直白回复，不早了，早点休息吧暧昧调情回复，月亮偷偷地钻进了云的怀里，你还有多久才能钻进我的被窝里，我不要和你说晚安，我要和...。
字节跳动被曝寻求95亿美元贷款,贷款,融资,银团,偿债,字节跳动
明锐，作为上汽公众的卓越代表，于2021年3月9日正式推向市场，这款车型以其共同的设计和丰盛的暗藏性能备受注目，其中，一项有目共睹的特性是紧急刹车爆闪，它在关键时辰提供安保保证，明锐的性能设计奇妙而适用，许多设置都可以依据用户需求启动共性化暗藏，例如，在后排座椅局部，儿童锁性能可以灵敏管理，只有繁难的操作，即可锁定或解锁后座的双扇车门...。
电脑笔记本玩模拟器很卡，是由于电脑的性能性能无余以允许模拟器的流利运转，模拟器关于手机以及电脑等设施都是须要必定的性能性能能力够的流利运转，当你的笔记本电脑性能性能无余时，你可以经过降落模拟器的性能性能来提高模拟器运转流利度，小小影视在线播放观看收费小小影视是手机中的在线影院，会聚了超多的电影、电视剧等等视频内容，而且最重要的是齐全收...。
2024年哈理工应聘者效果更正事情2024年7月，有网友发布信息称，在哈尔滨理工大学举行的一次性招聘考试中，某考生的口试效果由47分更正为85分，成为相应岗位口试第一名，因3...学长学姐们，我是西安理工大大一学电子的学生，我应该怎么规划我的大学生活才能为以后做好准备啊，1.进入大学，就是一个新的环境，接触新的人，你的所有过去对于他们...。
7月12日，奇瑞艾瑞泽8高能版正式上市，为谋求驾驶乐趣的用户带来更高质量的选用，新车换装鲲鹏能源2.0TGDI发起机，并可经常使用92号汽油，在提供强悍性能的同时，统筹了燃油经济性，分为驰、劲、御三个版本，售价在12.99到14.69万元，并至高享用恣意车型的1.8万元置换礼，不区分本品与他品，此外，新车驳回了高通骁龙8155芯片，索...。
达尔优EK828RGB键盘驱动是这款EK828RGB单手机械键盘的官方驱动软件，这款键盘按键数50，全键无冲突，采用机械青轴，支持自定义键位，安装驱动可以对键盘进行调整！基本参数系统介面:PC可用的USB口按键冲突：全键无冲突LED灯：RGB多组模式轴体：机械青轴键帽工艺：ABS按键数:50自定义键位：支持其它：滚轮调节音量尺寸：33.7x198x207mm重量：5705g产品特色人体工程学设计
KMS2038数字激活套件是一款由国外高手mephistooo2创建的KMS激活工具集，该工具集包含了4种不同的激活方法，KMS注入、数字、KMS2038和在线激活。
宝宝早教软件当中有丰富多样的内容，提供基础的学习内容还有丰富多样的儿歌，以及互动游戏，这些内容可激发孩子的学习兴趣，培养创造力及想象力，那么宝宝早教app排行榜前十名有哪些，这些软件可收集孩子的学习数据以及情况，精准定位并推送出适合孩子的学习内容，接下来小编推荐几款，由趣味情景动画与专业的基础知识相结合在一起，让孩子在学习时有趣有效又...。
现在的人们对于饮食的要求越来越高，广大市民更加喜欢营养健康的美食，螺蛳粉是符合当下消费者饮食标准的产品，在市场上比较受消费者的欢迎，自然稻螺蛳粉是业内大名鼎鼎的品牌，研发的产品种类多样化，让人们每次前来用餐都不重样，俘获万千消费者的芳心，接下来和小编一起来了解自然稻螺蛳粉好吃吗，是正宗的吗，自然稻螺蛳粉公司比较注重产品的质量，在制作产...。
明天就是坑爹、坑娃、坑基友的愚人节了，一大波谣言即将袭来，你准备好了吗?在愚人节开个玩笑逗个乐子，无伤大雅，但愚人有度，据了解，每年的愚人节，都是网络谣言集中爆发的高峰期，而在日常生活中，谣言在网络上的传播也让广大用户深受其害，今天，微信安全团队发布了愚人节谣言预警，盘点了近几年愚人节当天朋友圈传播较广的谣言，请注意擦亮眼睛，辨明真伪...。
乂学教育&，朋友印象创始人，栗浩洋在由中国计算机学会，CCF，主办，雷锋网，公众号，雷锋网，和香港中文大学，深圳，联合承办的CCF，GAIR全球人工智能和机器人峰会的机器人专场上，乂学教育&，朋友印象创始人栗浩洋也发表了其，用人工智能打造教学机器人提升十倍教育效率，的主题演讲，在演讲中，栗浩洋介绍了其对传统学习和教育的看法...。
和华为之间，我没感觉到特别强大的竞争压力，博世永远不会去造车，这是华为无法比拟的优势，1月29日的博世智能出行创新体验日上，独立后首位上任的博世智能出行集团董事会总裁王伟良主动回应博世在面对华为时的压力，王伟良认为，华为事实上已经参与了造车，正在形成自己的汽车品牌，但博世永远不会造车，且已经用100多年的行动证明了这点，全世界所有...。
