不可能三角 预训练语言模型的下一步是什么 (不可能三角谁提出的)

不可能三角:预训练语言模型的下一步是什么?

编译 | 王玥

近年来,大规模预训练语言模型(PLM)显著提高了各种NLP任务的性能。由BERT和GPT-2开始,自监督预训练范式和监督的微调范式取得了巨大的成功,并刷新了许多自然语言处理领域的最先进成果,如语义相似度、机器阅读理解、常识推理和文本摘要等。此外,这些PLM的规模为中等(即大小低于1B参数),令模型可以做出广泛且快速的微调与适应。

然而在许多真实的、特别是新颖的NLP场景中,由于预算或时间限制,用于有效微调的标记数据非常有限。这就刺激了零样本和少样本NLP模型的开发。

从GPT-3开始,超大规模 PLM (SL-PLM)在只给出任务描述和一些手工示例的情况下,在一般的NLP任务上表现出了优越的性能。这种能力以前在中等规模的PLM中没有观察到。然而,这些SL-PLM前所未有的超大规模在很大程度上阻碍了其广泛应用。人们甚至很难获得足够的计算资源来加载这样的模型,更不用说有效的部署和微调了。因此我们认为,目前还没有一种轻量级PLM在监督学习和一般NLP任务的零/少样本学习场景中都具有出色的性能。这导致了在实际场景中使用这些PLM时需要投入大量的额外工作。

对于PLM来说,似乎产生了中等规模,零/少样本学习能力和微调能力三者不可同时出现的困境。日前,微软认知服务研究小组研究员朱晨光(Chenguang Zhu)及 Michael Zeng在其新论文《Impossible Triangle: What’s Next for Pre-trained Language Models?》中将这种困境称为“不可能三角”。

据悉,朱晨光本科毕业于清华姚班,后取得斯坦福大学计算机系博士学位,毕业后进入微软公司,现为微软公司自然语言处理高级研究员。此前,AI科技评论对朱晨光博士做过一次人物专访,更多内容可看:《 朱晨光:一个从不通宵的AI研究员



不可能三角

不可能三角:预训练语言模型的下一步是什么?

PLM的不可能三角包含了在实际场景中部署模型所需的三个属性,分别是:

图为描述当前PLM障碍的不可能三角形,这个三角形描绘了三个PLM关键属性:P1,即模型规模适中,P2,即SoTA少样本学习能力,以及P3,即SoTA监督学习能力。这三个属性对应于PLM实际应用中的三个要求:P1是使用合理数量的计算资源进行高效部署;P2对应标记数据为零或很少的情况;而P3对应标记数据相对丰富的情景。

不可能三角形存在的一个原因是,在当前阶段,只有当PLM达到极大的规模并具有足够的模型容量时,才会拥有强大的少样本学习能力。虽然iPET设计了中等大小的PLM,从而实现比GPT-3更佳的少样本学习性能,但已经被后来的SL-PLM(如PaLM)超越。随着模型规模的增大,我们可以观察到零样本/少样本学习性能的不连续改善。例如,与参数为8B和62B的模型相比,参数为540B的PaLM在许多任务上的准确性都有了巨大飞跃。因此,开发出一个具有SoTA零/少样本学习性能的中等大小模型,同时又保持高超的监督学习能力,仍然是一个巨大的挑战。

虽然没有一个PLM能实现不可能三角中的所有三个特性,但许多PLM已经具备了其中的一or两个属性:




改善措施

由于不可能三角的存在,学界和工业界采取了许多措施来解决实践中所使用的PLM所缺少的能力。总结如下:

以上提到的这些额外工作拖慢了训练和部署PLM模型的进程。而且对于不同下游任务或产品,需要不断进行这些工作。因此,如果一个PLM能够实现这个不可能三角形,则将大大加快模型训练和实用的过程。




展望未来

虽然目前在NLP模型中存在不可能三角形,但研究者认为可以通过三阶段的方法来解决这个问题。

阶段1:开发PLM以达到三角形中的某些属性,并同时改进其他缺失的属性。例如,提高一个具有SoTA监督学习能力的中等规模模型在少样本学习上的效果;或将具有SoTA少样本学习能力的SL-PLM压缩成更小的模型,并使其具有更好的监督学习性能。

阶段2:在一个或几个NLP任务上实现具有所有三个期望属性的PLM。为了实现这一点,可以利用目标任务的特殊性。例如,在某些任务上,模型性能对于训练数据规模的依赖性较小,零/少样本学习和监督学习性能之间的差距较小,等等。

阶段3:在第一阶段和第二阶段的基础上开发在通用NLP任务上实现所有三个属性的PLM。可能使用到的方法有:i) 用更大数据预训练一个中等规模模型; ii) 更好地进行知识蒸馏; iii) 泛化数据增强方法等。一旦一个PLM在通用NLP任务中具备了不可能三角形的所有三个特性,将很大程度上改变整个NLP研究和应用的格局,促进快速、高效和高质量的模型开发和部署。

不可能三角:预训练语言模型的下一步是什么?

版权文章,未经授权禁止转载。详情见 转载须知 。

不可能三角:预训练语言模型的下一步是什么?

全局中部横幅
西域

西域自主研发的一站式MRO工业品采购商城,依托百万产品连接十万级客户和数千供应商,通过自主知识产权的自动分单、派单系统及上下游对接技术形成B2B在线闭环交易,对产品、报价、订单、执行跟踪、物流等信息进行集成化管理,西域作为MRO数字供应链专家,志在连接企业一切核心需要。

BT下载网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

海淘网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

美空油价网

美空油价网_提供今日最新油价调整最新消息,最新油价下一个调油价日期,油价今晚24时起下调等资讯.

免费PHP网站源码模板,小程序,插件软件资源下载平台!

码源源码是一个专业的免费网络资源分享平台,免费提供各种PHP网站源码、游戏源码、模板插件、软件工具、网络教程、活动线报等,为中国站长提供一站式资源下载。

山明王

东方哲学应用传承传递传播

鞍山信息网

鞍山人信息网,鞍山信息港是一个什对鞍山百姓生活服务的网站,网站可以免费发布鞍山二手信息,鞍山房产出售、出租信息,鞍山招聘信息,鞍山人才信息,鞍山交友信息,鞍山号吧信息等.

湖南新湘电力设备有限公司

湖南新湘电力设备有限公司是专业从事系列电缆桥架设计、制作、销售、安装的一体化企业,主要产品有:槽式、托盘式、梯级式、组合式及大跨距等系列桥架联系方式:17773332372

深圳斯维尔

THS斯维尔-中国领先的建设行业软件及解决方案服务商,国家级高新技术企业。斯维尔基于BIM核心技术,专业提供工程造价软件、建筑设计、工程管理软件和信息化系统解决方案。

酸雾净化塔

山东蓝海环保科技有限公司生产销售酸雾净化塔,不锈钢酸雾吸收塔,玻璃钢净化塔,玻璃钢吸收塔,玻璃钢酸雾净化塔,尾气吸收塔,废气喷淋塔,PP洗涤塔,玻璃钢脱硫塔,玻璃钢管道烟囱等废气设备。

集装箱干燥剂

TOPSORB是集装箱干燥剂领域领先的专业干燥剂生产厂家,专营集装箱干燥剂,蒙脱石粘土干燥剂,氯化钙干燥剂,矿物干燥剂,小包装高吸湿干燥剂,货柜干燥棒,粮食谷物防潮防霉专用剂,海运防霉棒,集装箱充气袋,缓冲包装材料,集装箱配套集成,集装箱运输防霉剂等产品的研发生产及销售的专业厂家。联系电话:021-34625284

全局底部横幅