不可能三角 预训练语言模型的下一步是什么 (不可能三角谁提出的)

不可能三角:预训练语言的下一步是什么?

编译 | 王玥

近年来,大规模预训练语言模型(PLM)显著提高了各种NLP任务的性能。由BERT和GPT-2开始,自监督预训练范式和监督的微调范式取得了巨大的成功,并刷新了许多自然语言处理领域的最先进成果,如语义相似度、机器阅读理解、常识推理和文本摘要等。此外,这些PLM的规模为中等(即大小低于1B参数),令模型可以做出广泛且快速的微调与适应。

然而在许多真实的、特别是新颖的NLP场景中,由于预算或时间限制,用于有效微调的标记数据非常有限。这就刺激了零样本和少样本NLP模型的开发。

从GPT-3开始,超大规模 PLM (SL-PLM)在只给出任务描述和一些手工示例的情况下,在一般的NLP任务上表现出了优越的性能。这种能力以前在中等规模的PLM中没有观察到。然而,这些SL-PLM前所未有的超大规模在很大程度上阻碍了其广泛应用。人们甚至很难获得足够的计算资源来加载这样的模型,更不用说有效的部署和微调了。因此我们认为,目前还没有一种轻量级PLM在监督学习和一般NLP任务的零/少样本学习场景中都具有出色的性能。这导致了在实际场景中使用这些PLM时需要投入大量的额外工作。

对于PLM来说,似乎产生了中等规模,零/少样本学习能力和微调能力三者不可同时出现的困境。日前,微软认知服务研究小组研究员朱晨光(Chenguang Zhu)及 Michael Zeng在其新论文《Impossible Triangle: What’s Next for Pre-trained Language Models?》中将这种困境称为“不可能三角”。

据悉,朱晨光本科毕业于清华姚班,后取得斯坦福大学计算机系博士学位,毕业后进入微软公司,现为微软公司自然语言处理高级研究员。此前,AI科技评论对朱晨光博士做过一次人物专访,更多内容可看:《 朱晨光:一个从不通宵的AI研究员



不可能三角

不可能三角:预训练语言的下一步是什么?

PLM的不可能三角包含了在实际场景中部署模型所需的三个属性,分别是:

图为描述当前PLM障碍的不可能三角形,这个三角形描绘了三个PLM关键属性:P1,即模型规模适中,P2,即SoTA少样本学习能力,以及P3,即SoTA监督学习能力。这三个属性对应于PLM实际应用中的三个要求:P1是使用合理数量的计算资源进行高效部署;P2对应标记数据为零或很少的情况;而P3对应标记数据相对丰富的情景。

不可能三角形存在的一个原因是,在当前阶段,只有当PLM达到极大的规模并具有足够的模型容量时,才会拥有强大的少样本学习能力。虽然iPET设计了中等大小的PLM,从而实现比GPT-3更佳的少样本学习性能,但已经被后来的SL-PLM(如PaLM)超越。随着模型规模的增大,我们可以观察到零样本/少样本学习性能的不连续改善。例如,与参数为8B和62B的模型相比,参数为540B的PaLM在许多任务上的准确性都有了巨大飞跃。因此,开发出一个具有SoTA零/少样本学习性能的中等大小模型,同时又保持高超的监督学习能力,仍然是一个巨大的挑战。

虽然没有一个PLM能实现不可能三角中的所有三个特性,但许多PLM已经具备了其中的一or两个属性:




改善措施

由于不可能三角的存在,学界和工业界采取了许多措施来解决实践中所使用的PLM所缺少的能力。总结如下:

以上提到的这些额外工作拖慢了训练和部署PLM模型的进程。而且对于不同下游任务或产品,需要不断进行这些工作。因此,如果一个PLM能够实现这个不可能三角形,则将大大加快模型训练和实用的过程。




展望未来

虽然目前在NLP模型中存在不可能三角形,但研究者认为可以通过三阶段的方法来解决这个问题。

阶段1:开发PLM以达到三角形中的某些属性,并同时改进其他缺失的属性。例如,提高一个具有SoTA监督学习能力的中等规模模型在少样本学习上的效果;或将具有SoTA少样本学习能力的SL-PLM压缩成更小的模型,并使其具有更好的监督学习性能。

阶段2:在一个或几个NLP任务上实现具有所有三个期望属性的PLM。为了实现这一点,可以利用目标任务的特殊性。例如,在某些任务上,模型性能对于训练数据规模的依赖性较小,零/少样本学习和监督学习性能之间的差距较小,等等。

阶段3:在第一阶段和第二阶段的基础上开发在通用NLP任务上实现所有三个属性的PLM。可能使用到的方法有:i) 用更大数据预训练一个中等规模模型; ii) 更好地进行知识蒸馏; iii) 泛化数据增强方法等。一旦一个PLM在通用NLP任务中具备了不可能三角形的所有三个特性,将很大程度上改变整个NLP研究和应用的格局,促进快速、高效和高质量的模型开发和部署。

不可能三角:预训练语言的下一步是什么?

版权文章,未经授权禁止转载。详情见 转载须知 。

不可能三角:预训练语言的下一步是什么?

全局中部横幅
银行信用卡

平安银行信用卡官方网站为您提供最新最全的信用卡产品介绍,最新刷卡特惠信息,便捷还款方式介绍,信用卡商城热卖商品推荐,积分查询兑换,信用卡疑难问题解答等服务.

加盟星平台

加盟星是百度招商加盟行业垂直搜索引擎,打造权威项目认证和评估体系,精准直连创业者和项目方,提供一站式项目咨询和服务,助力轻松创业。为创业者提供各类加盟品牌,包括加盟费用、加盟条件、加盟电话、加盟政策、加盟扶持等创业者关心的招商加盟项目信息,帮助创业者直联项目方,获得最新最全的项目信息。

期货直播室

21理财网专注原油期货、黄金期货、白银期货、恒指期货、恒生指数、纳指、德指、道指、天然气、美精铜、股指期货直播室喊单,国际外盘期货直播间22小时在线喊单,EIA非农行情直播.

XT振动电机,ZFB震动电机,ZDJ振打电机

河南新乡德诚振动电机生产厂家专业制造各种振动筛电机,卧式震动电机有XT振动电机、ZFB震动电机、ZDJ振打电机、yzs振动电机、yzo振动电机等,立式振动电机有yzsl、yzul立式振动电机等。

项目代理

全国项目代理机构网站,为全国各地科技企业提供从前期规划到后期售后的一站式项目代理服务,包括对于各省市各地项目条件、奖补、流程的深度解读、代理申请等,公司拥有高效、专业化的项目申报团队,具有多年项目申报经验和良好的社会资源背景。欢迎大家前来咨询。

永磁调速器

南京艾凌节能技术有限公司简称艾凌节能,是因永磁调速技术而成立,专做产品:永磁调速器,永磁耦合器,永磁联轴器,永磁调速器系统,套筒式永磁调速器。永磁调速节能方案提供者和实践者。从此开启了完全自主知识产权的研究和产业化。

fennobed

床垫,德国床垫,德国芬诺贝德床垫,芬诺贝德床垫,进口床垫,进口床垫品牌,德国进口床垫,fennobed

美元兑人民币汇率

汇率呀汇率网提供全球200多种常见货币汇率实时查询、兑换换算服务,今日美元对人民币汇率,中国银行、工商银行、农业银行、建设银行、招商银行等银行今日外汇牌价汇率。

【粤通租车】深圳租车公司

深圳市粤通汽车租赁有限公司在汽车租赁行业规模较大并具影响力的深圳汽车租赁公司之一,为提供深圳企业租车,会议租车,港澳直通车,商务租车等服务。

手机游戏下载大全

MyPrice下载站是一个免费提供手机游戏下载、手机app软件下载,手游攻略等好玩的游戏信息,里面的内容非常受广大玩家欢迎,后面还有更多精彩有趣内容等你来体验.

全局底部横幅