Jurassic (jurassic world)

文章编号:36767 资讯动态 2024-11-30 神经模型JurassicX符号推理

Jurassic-X: 让神经模型学会符号推理

近期,一家以色列NLP研究机构AI21 Labs开发了一个名叫Jurassic-X的算法系统,它基于该实验室提出来的MRKL(它与miracle谐音)系统。Jurassic-X的前身是对标GPT-3的Jurassic-1,然而却克服了它们不擅于推理、更新昂贵、不能有效处理时序数据等缺点。

Jurassic-X: 让神经模型学会符号推理



MRKL系统

MRKL的全称是模块化推理、知识和语言系统(Modular Reasoning, Knowledge and Language),它试图将现有的神经网络模型,如大规模语言模型LLM,和外部知识库,以及过去流行的符号专家系统结合在一起,从而来兼顾神经模型和符号推理能力。

这一系统是针对现有的大规模语言模型的诸多缺点进行的改进。在GPT-3以及Jurassic-1等大规模语言模型进行预训练,之后应用在多个下游任务,常常有两种极端的方式:

(1)多个任务直接通过零样本学习的方式进行。这种方式无需更新任何参数,从而保证了多功能性(versatility);

(2)在每个任务上都对于大规模语言模型进行微调。这种方式不仅需要大量的资源,具有很差的迁移性,还会经常导致在一个任务微调完之后,其余任务表现得很差——灾难性遗忘(catastrophic forgetting)的困境。

基于MRKL系统的Jurassic-X则主要借鉴了类似于prompt learning的方式,来冻结大部分模型原有的参数,仅更新一部分任务相关的参数来避免上述问题。之后会对这块的方法有一个初步的介绍。

同时,仅仅依赖神经语言模型,也会有很多本质上的问题:它们对于外部知识无法高效利用,尤其对于一些时序更新的数据,例如新冠疫情最新的数据以及货币汇率等信息,它们的推理能力很弱,例如最简单的算术题(自然语言给出的)有时候都会犯错。

Jurassic-X: 让神经模型学会符号推理

问题:在最近的一个月里,哪一家清洁能源公司有最大的份额增长?

这是一个组合的“多专家”问题:首先模型会从例如百科库WIKI接口中获取有哪些清洁能源公司,之后它会从日历中获取上个月指的是什么时候,以及从数据库中获取相应的份额增长;之后在汇总了上述信息后,它可以通过一个计算器去计算“最大的增长”,最后通过语言模型来给出答案。

要完成这些目标需要训练离散的专家系统,将他们的接口和神经网络之间进行平滑,并在不同的模块之间去选择等等。一些技术细节可以参考 ,之后会针对其中在下游任务上的训练方式做一个简要的介绍,更详细的技术细节可以参考

财富杂志从商业角度分析了MRKL以及Jurassic-X反映了当代AI的四个趋势: 通用性、基于LLM、混合系统、减少权重训练。




通用性和基于LLM

MRKL致力于仅使用 单一模型 解决各种各样的自然语言任务,而并不是像现阶段很多模型只能解决特定的单一任务,这是朝着通用人工智能的必经之路。例如,一个流畅的机器人对话系统不仅仅能顺畅地完成对话,还可以同时对某些话语进行情感分析。事实上,GPT-3等大规模模型已经显示出它的在多个任务上零样本学习的巨大潜力了,而大规模语言模型预训练,多个任务共享该模型进行微调早已成为研究界熟悉的训练范式了,商业上紧跟其后,也是预料之中。

Jurassic-X: 让神经模型学会符号推理




混合系统

尽管基于神经模型的方式获得了令人印象深刻的性能,不过GPT-3在涉及到一些哪怕是很简单的推理时也会犯一些低级错误,尤其涉及到比较复杂的语言描述,例如多个数相加;涉及到最新的消息,例如纽约现在的天气。它仅仅从过去训练好的数据中进行推断天气情况,难以迁移到新的场景下,而如果用更新的数据,则需要重新训练模型,而这需要巨大的代价。

Jurassic-X: 让神经模型学会符号推理

不同专家系统之间的连接

因此MRKL使用了代表当代AI在商业角度下的第三个趋势——使用神经和符号结合的混合系统。MRKL融合了不同的模块,有些模块使用了深度学习,有些则使用符号推理模式的专家系统,例如直接从某些数据知识库中进行检索等模块,来获取更新的信息。

MRKL中一个出色的设计被称作是路由(router)的模块,它可以根据用户的问题匹配一个专家系统:例如如果问题涉及到数学,它会转向一个计算器,如果问题涉及到汇率,它会路由到一个汇率转换器,如果是天气的话,它会转到一个天气网站等等;如果路由对于问题不确定,它会先通过Jurassic-1等语言模型利用上下文推断出应该转向哪个专家模块。




权重更新方式

MRKL还采用了prompt tuning的方式对于模型的下游任务进行更新,如上述,这种方式避免了灾难性遗忘的微调模式以及零样本学习的低性能。与传统的prompt tuning方式相比,Jurassic-X使用了更加精细的设计:(1)依赖于模型输入的prompt学习方式。(2)检索增强的prompt生成方式。(3)递归式地应用冻结了的LM模型。 中做了更加详细的技术介绍,感兴趣的读者可以直接阅读论文。

Jurassic-X: 让神经模型学会符号推理




应用实例

博客中介绍了几种MRKL的应用场景举例,都是一些值得关注和实用的一些话题,涉及到方方面面可能出现在日常场景中的问题。

用人类语言去阅读和更新数据库

Jurassic-X: 让神经模型学会符号推理

问题:买玫瑰味的洗发水

Jurassic-X会从人类语言中提取中关键信息,并从商店清单中去检索产品,加入到购物车的数据库中。这在智能助理,电子商务等都有应用前景。

对于当下问题的文本生成

Jurassic-X: 让神经模型学会符号推理

问题:谁是当下的美国总统

Jurassic-X会融合当下及时更新的外部数据库,例如维基百科去产生更及时的数据。

Jurassic-X: 让神经模型学会符号推理

问题:公司的655400份份额被94个员工平均分配,每个员工得到多少?

Jurassic-X会通过语言模型提出去关键信息,并且应该去寻找一个“数学专家”,也就是计算器,从而得出正确结果。

Jurassic-X: 让神经模型学会符号推理

问题:更多的人住在Tel Aviv还是Berlin?

Jurassic会将组合型问题分解为若干子问题:Tel Aviv的人口是多少?Berlin人口是多少?哪个数字更大?等,解决了每个子问题后再把它们汇总在一起。更重要的是,这样也增加了可解释性,说明了模型给出答案的依据。

Jurassic-X: 让神经模型学会符号推理

问题:100美元可以换多少摩洛哥币?

Jurassic会把语言模型和一些及时更新的知识库融合在一起,从而容易获取到实践性敏感的动态信息。

Jurassic-X: 让神经模型学会符号推理

问题:克林顿是否曾经当选过美国总统

这里涉及到Clinton的歧义问题,问题的答案取决于哪个Clinton,是Bill Clinton还是他的妻子。Jurassic-X可以做出更加明确、透明的回答,而其他神经模型则不行。




AI21实验室位于以色列的一家自然语言处理的研究机构;它同时也是一个商业机构,旨在将现有的NLP技术快速部署到商业应用中。创始人包括从斯坦福大学退休了的人工智能教授Yoav Shoham;一家自动驾驶公司Mobileye的创始人Amnon Shashua,以及众包平台CrowdX创始人Ori Goshen。这家公司的口号是“重构人们的读写方式,朝向更美好的未来”(reimaging the way people read and write, for the better)。

Jurassic-X: 让神经模型学会符号推理

Jurassic-X: 让神经模型学会符号推理

版权文章,未经授权禁止转载。详情见 转载须知 。

Jurassic-X: 让神经模型学会符号推理

全局中部横幅
搞笑频道

爱奇艺搞笑频道拥有大量高清搞笑视频,包含搞笑短片、搞笑配音、爆笑节目、童趣萌宠、雷人囧事、幽默短片等形态。视频内容类型具体有欢乐精选视频、娱乐八卦、雷人搞笑短片、影视剧吐槽、幽默风趣短片、童趣萌宠、恶搞短片、相声小品、猎奇等。爱奇艺原创频道是专业的原创视频平台,用户可以上传分享,在线观看高清原创视频。

盛世收藏网

盛世收藏网论坛是收藏行业内潜力满满的Web2.0互动交流平台。丰富高质的论坛内容和精彩不断的定期活动,得到了众网友的认同,励志成为业界领先的专业的论坛。盛世收藏网

自由钢琴

自由钢琴(AutoPiano)是利用HTML5技术开发的在线钢琴应用,致力于为钢琴爱好者、音乐爱好者提供一个优雅、简洁的平台,在学习工作之余可以在线弹钢琴,享受音乐、生活的美好。自由钢琴支持自动演奏和手动演奏,简单易学,快来试试吧~

企业传书

企业传书是一款私有化部署的即时通信聊天软件,适用于企业运营办公、私域运营、客户管理、粉丝经营,帮助企业降低客户管理成本,提高运营效率。企业传书具有群内加好友管控、群内发言管控、消息强制撤回等群管控功能;提供管理后台进行用户、群聊管理和功能配置;在云服务器进行私有化部署,保护企业数据资产;提供专属人工客服和全程运维服务,让您专注业务。企业传书支持iOS、安卓、网页版等主流平台,覆盖常见运营办公场景。

PP导航网

本站专注于提供最新、最全的AI工具导航,包括各类人工智能应用、智能软件和技术工具,汇集了各类常用、精选和优质的网址资源,包括新闻、娱乐、购物、学习等多个领域。方便您快速找到所需网站,节省搜索时间,助您轻松探索、选择和使用各类AI工具,提高工作效率,创造更多价值。

铸铁压滤机,厢式压滤机,板框压滤机,压滤机滤板滤框,不锈钢压滤机,铝合金压滤机

泊头市赛腾铸造机械有限公司生产保温压滤机,厢式压滤机,板框压滤机,压滤机滤板滤框,不锈钢压滤机,铝合金压滤机等并承揽异型产品铸造加工定做.服务热线:13292743296。

上海酥明玻璃制品公司

专门从事玻璃装饰8年的公司,一直专注于玻璃装饰行业的服务与发展,与各大城市的建筑性公司建立了良好合作关系,主要服务范围有:酒店、KTV、酒吧、会所、办公楼等

元龙(福建)日用品有限公司

元龙(福建)日用品有限公司创建于2009年10月,旗下品牌有婴才、圆梦、卡拉博士、夜王、亲之爱等,是一家集研发、生产、销售为一体的综合型企业,公司主要生产纸尿裤,电热蚊香液,婴幼儿洗护用品等。

张家港市壮大机械制造有限公司

张家港市壮大机械制造有限公司主营:螺旋上料机,弹簧上料机,立式搅拌机,立混烘干机,自动上料机,真空粉末上料机,螺旋给料机,U型上料机,PVC管材扩口机,高速混合机,高速混合机组,除尘器系列,搅拌桨叶配件,管材切割机,振动筛,颗粒风送等产品专业生产加工。我们的产品质量 获得业界的认可,欢迎各界朋友来本公司参观指导和业务洽谈:我们期待与您的合作。

西乌珠穆沁旗党建网

中共西乌珠穆沁旗委员会组织部默认栏目

全局底部横幅