Jurassic (jurassic world)

文章编号:36767 资讯动态 2024-11-30 神经模型JurassicX符号推理

Jurassic-X: 让神经模型学会符号推理

近期,一家以色列NLP研究机构AI21 Labs开发了一个名叫Jurassic-X的算法系统,它基于该实验室提出来的MRKL(它与miracle谐音)系统。Jurassic-X的前身是对标GPT-3的Jurassic-1,然而却克服了它们不擅于推理、更新昂贵、不能有效处理时序数据等缺点。

Jurassic-X: 让神经模型学会符号推理



MRKL系统

MRKL的全称是模块化推理、知识和语言系统(Modular Reasoning, Knowledge and Language),它试图将现有的神经网络模型,如大规模语言模型LLM,和外部知识库,以及过去流行的符号专家系统结合在一起,从而来兼顾神经模型和符号推理能力。

这一系统是针对现有的大规模语言模型的诸多缺点进行的改进。在GPT-3以及Jurassic-1等大规模语言模型进行预训练,之后应用在多个下游任务,常常有两种极端的方式:

(1)多个任务直接通过零样本学习的方式进行。这种方式无需更新任何参数,从而保证了多功能性(veRSAtility);

(2)在每个任务上都对于大规模语言模型进行微调。这种方式不仅需要大量的资源,具有很差的迁移性,还会经常导致在一个任务微调完之后,其余任务表现得很差——灾难性遗忘(catastrophic forgetting)的困境。

基于MRKL系统的Jurassic-X则主要借鉴了类似于prompt learning的方式,来冻结大部分模型原有的参数,仅更新一部分任务相关的参数来避免上述问题。之后会对这块的方法有一个初步的介绍。

同时,仅仅依赖神经语言模型,也会有很多本质上的问题:它们对于外部知识无法高效利用,尤其对于一些时序更新的数据,例如新冠疫情最新的数据以及货币汇率等信息,它们的推理能力很弱,例如最简单的算术题(自然语言给出的)有时候都会犯错。

Jurassic-X: 让神经模型学会符号推理

问题:在最近的一个月里,哪一家清洁能源公司有最大的份额增长?

这是一个组合的“多专家”问题:首先模型会从例如百科库WIKI接口中获取有哪些清洁能源公司,之后它会从日历中获取上个月指的是什么时候,以及从数据库中获取相应的份额增长;之后在汇总了上述信息后,它可以通过一个计算器去计算“最大的增长”,最后通过语言模型来给出答案

要完成这些目标需要训练离散的专家系统,将他们的接口和神经网络之间进行平滑,并在不同的模块之间去选择等等。一些技术细节可以参考 ,之后会针对其中在下游任务上的训练方式做一个简要的介绍,更详细的技术细节可以参考

财富杂志从商业角度分析了MRKL以及Jurassic-X反映了当代AI的四个趋势: 通用性、基于LLM、混合系统、减少权重训练。




通用性和基于LLM

MRKL致力于仅使用 单一模型 解决各种各样的自然语言任务,而并不是像现阶段很多模型只能解决特定的单一任务,这是朝着通用人工智能的必经之路。例如,一个流畅的机器人对话系统不仅仅能顺畅地完成对话,还可以同时对某些话语进行情感分析。事实上,GPT-3等大规模模型已经显示出它的在多个任务上零样本学习的巨大潜力了,而大规模语言模型预训练,多个任务共享该模型进行微调早已成为研究界熟悉的训练范式了,商业上紧跟其后,也是预料之中。

Jurassic-X: 让神经模型学会符号推理




混合系统

尽管基于神经模型的方式获得了令人印象深刻的性能,不过GPT-3在涉及到一些哪怕是很简单的推理时也会犯一些低级错误,尤其涉及到比较复杂的语言描述,例如多个数相加;涉及到最新的消息,例如纽约现在的天气。它仅仅从过去训练好的数据中进行推断天气情况,难以迁移到新的场景下,而如果用更新的数据,则需要重新训练模型,而这需要巨大的代价。

Jurassic-X: 让神经模型学会符号推理

不同专家系统之间的连接

因此MRKL使用了代表当代AI在商业角度下的第三个趋势——使用神经和符号结合的混合系统。MRKL融合了不同的模块,有些模块使用了深度学习,有些则使用符号推理模式的专家系统,例如直接从某些数据知识库中进行检索等模块,来获取更新的信息。

MRKL中一个出色的设计被称作是路由(router)的模块,它可以根据用户的问题匹配一个专家系统:例如如果问题涉及到数学,它会转向一个计算器,如果问题涉及到汇率,它会路由到一个汇率转换器,如果是天气的话,它会转到一个天气网站等等;如果路由对于问题不确定,它会先通过Jurassic-1等语言模型利用上下文推断出应该转向哪个专家模块。




权重更新方式

MRKL还采用了prompt tuning的方式对于模型的下游任务进行更新,如上述,这种方式避免了灾难性遗忘的微调模式以及零样本学习的低性能。与传统的prompt tuning方式相比,Jurassic-X使用了更加精细的设计:(1)依赖于模型输入的prompt学习方式。(2)检索增强的prompt生成方式。(3)递归式地应用冻结了的LM模型。 中做了更加详细的技术介绍,感兴趣的读者可以直接阅读论文。

Jurassic-X: 让神经模型学会符号推理




应用实例

博客中介绍了几种MRKL的应用场景举例,都是一些值得关注和实用的一些话题,涉及到方方面面可能出现在日常场景中的问题。

用人类语言去阅读和更新数据库

Jurassic-X: 让神经模型学会符号推理

问题:买玫瑰味的洗发水

Jurassic-X会从人类语言中提取中关键信息,并从商店清单中去检索产品,加入到购物车的数据库中。这在智能助理,电子商务等都有应用前景。

对于当下问题的文本生成

Jurassic-X: 让神经模型学会符号推理

问题:谁是当下的美国总统

Jurassic-X会融合当下及时更新的外部数据库,例如维基百科去产生更及时的数据。

Jurassic-X: 让神经模型学会符号推理

问题:公司的655400份份额被94个员工平均分配,每个员工得到多少?

Jurassic-X会通过语言模型提出去关键信息,并且应该去寻找一个“数学专家”,也就是计算器,从而得出正确结果。

Jurassic-X: 让神经模型学会符号推理

问题:更多的人住在Tel Aviv还是Berlin?

Jurassic会将组合型问题分解为若干子问题:Tel Aviv的人口是多少?Berlin人口是多少?哪个数字更大?等,解决了每个子问题后再把它们汇总在一起。更重要的是,这样也增加了可解释性,说明了模型给出答案的依据。

Jurassic-X: 让神经模型学会符号推理

问题:100美元可以换多少摩洛哥币?

Jurassic会把语言模型和一些及时更新的知识库融合在一起,从而容易获取到实践性敏感的动态信息。

Jurassic-X: 让神经模型学会符号推理

问题:克林顿是否曾经当选过美国总统

这里涉及到Clinton的歧义问题,问题的答案取决于哪个Clinton,是Bill Clinton还是他的妻子。Jurassic-X可以做出更加明确、透明的回答,而其他神经模型则不行。




AI21实验室位于以色列的一家自然语言处理的研究机构;它同时也是一个商业机构,旨在将现有的NLP技术快速部署到商业应用中。创始人包括从斯坦福大学退休了的人工智能教授Yoav Shoham;一家自动驾驶公司Mobileye的创始人Amnon Shashua,以及众包平台CrowdX创始人Ori Goshen。这家公司的口号是“重构人们的读写方式,朝向更美好的未来”(reimaging the way people read and write, for the better)。

Jurassic-X: 让神经模型学会符号推理

Jurassic-X: 让神经模型学会符号推理

版权文章,未经授权禁止转载。详情见 转载须知 。

Jurassic-X: 让神经模型学会符号推理

全局中部横幅
HeyFriday

FridayAI智能写作平台,一键生成高质量原创内容!FridayAI-国内顶尖算法模型,AI自动生成原创文章,60+丰富写作模板,十大写作场景全覆盖,支持改写,续写,扩写,搜索引擎优化,全场景媒体运营神器!

综艺节目

360娱乐综艺节目频道提供最新、最热、最全的大陆、港台地区的综艺节目资讯、综艺节目收视、视频排行榜。上千档综艺节目在线观看,更有独家策划的热点综艺专题,让您大饱眼福!

【瑞方人力】数字化人力资源服务外包标杆品牌

瑞方人力|成都劳务派遣公司,成都人力资源事务外包提供企业劳务派遣,人力资源事务外包,岗位外包等服务.近30家分支机构专注人力资源事务外包服务13年,合作客户覆盖全国100多个城市.

青岛中兴盛智能科技有限公司

青岛中兴盛智能科技有限公司坐落于风景优美的青岛市。公司成立于2003年,主要从事自动化及工业机器人系统集成及智能装备的设计与研发,致力于汽车装备自动化生产线、智慧工厂智能仓库,港口设备电器自动化、工业视觉检测设备等,为客户提供先进的高端智能制造装备与系统集成解决方案,提供从研发、设计、制造、项目管理等一整套解决方案。公司长期为国内外知名车企提供数字化工厂解决方案、智能输送设备、白车身柔性焊装生产线、工厂自动化系统。秉承为客户至上的理念,长期服务于上汽通用、上海汽车、上汽通用五菱、比亚迪、上汽大通等知名制造领导厂商,成为他们的重要合作伙伴和优秀供应商。

爱宠天地

宠物怎么养?找专业宠物训养【爱宠天地网】,这里专业教你如何训养宠物,如宠物狗,宠物猫,宠物兔,宠物猪等。我们的宠物品种齐全,有多年经验的词养师和一流的服务团队在线解答,或者上门解决宠物喂养等问题。

绣娘丝绸

绣娘,苏州绣娘,瑞富祥、瑞富祥丝绸、苏州绣娘真丝、绣娘丝绸购买、苏绣、苏州丝绸、丝绸、真丝制品、真丝围巾、真丝连衣裙、苏州丝绸品牌

长春SEO

长春网站优化专注长春seo,搜索引擎优化推广,整站优化,✅长春seo优化✅长春百度排名✅长春seo外包✅长春关键词排名,长春网站优化公司专注于服务企业公司进行长春网站优化,提供长春seo服务,长春seo优化以及百度优化、对企业网站进行整站优化和对网站版块及布局等局部优化调整,手法正规。年网络优化经验,服务过家企业客户,网站优化成功率高达%以上。保证网站优化后在百度首页拥有长期稳定排名,使让企业网站更容易被搜索引擎收录,排名更靠前

龙湖集团

龙湖集团1993年创建于重庆,发展于全国,构建高质量发展模式,聚焦开发、运营、服务三大板块,发挥地产开发、商业投资、资产管理、物业管理、智慧营造五大航道协同效应,实现一二线高能级城市的全面布局。

武汉拓谷生物技术有限公司

武汉拓谷生物科技有限公司是一家专业从事化妆品原料研究及开发的科技服务型公司,公司产品主要是以化妆品活性原料为主,涉及发酵、合成及天然植物提取来源的符合国家法律规范的原料

企讯网

企讯网(114my.cn)企业信息资讯服务网站,朝阳企讯通旗下专业提供企业互联网一站式网络营销服务,为您提供全面的各行业最新资讯信息,找网络营销解决方案就上企讯网,咨询:400-612-0769。

东莞车管所

专业代办东莞新车上牌,东莞车辆过户,东莞车辆转入,提档,解押,年审,补证换证等疑难杂症!正规备案平台,收费合理,绝不二次收费,办结再付款!专业人员为您全程办理,免去您来回奔波之苦,避免黑中介的灰色收费!公司全体员工以“专业、诚信、快捷”的服务理念,赢得众多客户的信任与好评,取得良好的社会效益和经济效益!

全局底部横幅