基于转移的语义依存图分析 哈工大 2018 录用论文解读 AAAI (基于转移的语言是什么)

文章编号:43302 资讯动态 2024-12-09 2018语义依存图哈工大AAAI

雷锋网AI科技评论按 :语义依存是中文语义的深层分析,完善的语义表示体系对语义依存分析有重要作用。本文介绍的工作来自哈工大 SCIR 实验室录用于 AAAI 2018 的论文《A Neural Transition-Based Approach for Semantic Dependency Graph Parsing》。

在近期雷锋网 GAir 大讲堂举办的线上公开课上,来自哈尔滨工业大学在读博士生王宇轩分享了一篇他在 AAAI 2018 投中的论文:基于转移的语义依存图分析。

以下是王宇轩同学在线上直播课上的分享内容,雷锋网编辑做了简要回顾,完整视频回放链接请点击:

分享内容:

同学们,大家好,今天主要分享的是用一种基于转移的方法来进行语义依存图的分析。

首先介绍一下什么是语义依存分析。语义依存图是近年来提出的对树结构句法或语义表示的扩展,它与树结构的主要区别是允许一些词拥有多个父节点,从而使其成为有向无环图(direct edacyclic graph,DAG)。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

右上图是2012年和北京语言大学合作定义和标注的语义依存树,通过一些依存弧把句子中有语义关系的词连接起来。它是树结构,所以成为语义依存树。右下角是语义依存图结构,因为在依存树里面,有一些词之间的关系受限于树结构,不能很好刻画,所以就引入了依存图概念。

语义依存图与传统树结构的区别

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

左上第一个是句法依存树,中间为语义依存树,最下面是语义依存图。图结构与原来传统的树结构表示最大的不同就是存在有多个父节点,比如图中的“我们”存在两个父节点。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

上图左边三个结构是另一种语义依存图结构。它们是在英文语料上进行标注,并且有三种标注规范,分别是DM、PAS、PSD。由此可以看出在同一个句子中,由于标注规范不同,图结构也是不同的。这是依存图的第二个特点,具有多种标注规范。第三个特点事具有非投射性,弧之间有交叉。

语义依存图实际上就是有向无环图, 这篇论文的目的就是提出一个能适应多种标注规范的有向无环图的一个分析器。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

我们采用的是基于转移的语义依存分析方法。该方法主要分为两部分结构,一是预测,二是执行。预测部分是由一个分类器实现。执行部分需要一个转移算法 ,包括一些预定义的转移动作等。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

关于转移系统

首先有个缓存(buffer),用来保存将要处理的词。接下来是一个栈(stack),保存正在处理的词。还需要有一个存储器(memory),用来记录已经生成的弧。最后是一个deque, 暂时跳过一些词。转移状态包括一个保存正在处理中的词的栈(Stack),一个保存待处理词的缓存(Buffer),和一个记录已经生成的依存弧的存储器。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

用来处理传统依存树结构的转移系统,以Choi等人在2013年提出的转移系统为例。

生成图中标红的弧线,首先要通过一个LEFT-REDUCE转移动作,LEFT是生成一条由缓存顶的词指向栈顶词的一条弧,REDUCE,是指生成弧之后,将栈顶词消除掉。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

如何生成图中黄色的弧,首先执行一个LEFT-PASS转移动作,暂时不把“他”消除,经过一系列转移动作,再执行LEFT-REDUCE交互, 消除“他”。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

接下来是用一个具体例子介绍整个转移系统,包括更多的转移动作,具体可观看 视频回放。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

基于转移的语义依存分析方法中的分类器

图中的分类器存在一些问题,缓存会损失一些信息,因为缓存只能通过单向LSTM学到正在缓存中的词的表示,另外由于它是一个从右到左的单向LSTM,因此它会损失从左到右这部分信息。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

为了解决这个问题,我们提出了 Bi-LSTM模块

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

我们提出的Incremental Tree-LSTM和传统的Dependency-Based Recursive NN效果对比

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

图中大写ABCD代表四个词,下面的小写可以认为它的向量化表示。

首相生成一个A指向B的弧,把A和B的子向量同时放到一个LSTM单元里面,组合起来用a+b表示,放在A下面,以此类推,每次找到新的子节点都会把原来已找到的子节点拿来一起输入,就不会损失C的信息。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

上面提出的两个模块儿替换原来转移系统后的效果图

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

简单介绍一下得到的实验结果,首先是在一个中文语义依存图的数据集SemEval 2016 Task9进行实验,其中最重要的两个评测指标LF和NLF。图中BS是增加了第一种模块后的性能,IT是增加第二个模块儿后的性能,BS-ST是两个模块同时使用后整个模型的性能。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

我们的模型和其他模型的性能对比

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

接下来是在SemEval 2015 Task 18上的英语数据集上的实验。这个数据的测试集包括两部分,紫色(in-domain)是指和训练数据来自同领域的数据,绿色(out-of-domain)是指和训练数据来自不同领域的数据,所以性能表现也不一样。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

值得一提的是,我们的模型可以通过模型融合的方法,在训练过程中用不同的随机化种子,训练多个模型, 在预测的时候,用多个模型分别进行预测,得到多个当前状态下要执行的转移动作的概率分布,把多个概率分布对应的叠加起来,作为接下来判定的标准,这样的简单模型融合对模型性能有较大的提升效果。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

最后给大家安利一个我们实验室的中文语言处理工具包,包括最底层的分词,词性标注,一直到上层的句法分时,语义分析都能够提供。可以下载到本地直接使用,也可以通过接口在线接入。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

以上就是全部的分享内容。

雷锋网更多公开课直播预告敬请关注公众号「AI 研习社」。如果错过了直播课程,还可到AI慕课学院查找该期的 视频回放 。

原创文章,未经授权禁止转载。详情见 转载须知 。

 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

全局中部横幅
一呼百应,全球制造供应链产品交易平台,产品营销平台

一呼百应(youboy.com)优选710多万家制造业,覆盖原材料、工业品、劳保用品、包装印刷、化工橡塑、电子仪表、五金建材、电动工具、机械配件、原材料等2000多品类供应链产品。提供从原料--生产--加工--现货等供应链环节的供应产品和服务。

房贷计算器2024年最新版

苏雀计算房贷首选商业贷款计算器,包括LPR利率查询、商业贷款计算器、公积金贷款计算器.计算月供就用2024房贷计算器。

东阳市虎鹿镇扬名苗木场

扬名苗木场是经工商局注册专业从事果树良种研究、良种筛选、栽培、推广于一体的综合性苗圃。本苗圃拥有自己的果树种植基地、繁育基地及果树研究所,种植面积达100余亩,拥有果树优良品种50多个,每年出圃果树超过30万株!苗木畅销全国,深得广大新老客户的信赖。

发财致富网

发财致富网是创业者发财致富,免费发布供求信息、招商加盟、网络推广以及免费信息发布服务,汇聚行业信息推广发布的网站,免费发布的各行业品牌供求信息-发财草助你发财致富-发财草网。

施耐德代理商

天津华瑞博洋为您提供施耐德代理商,施耐德变频器代理商和施耐德代理的产品销售业务。我们经销商施耐德全系列的产品:变频器、PLC、接触器、继电器、平板电源开关、按钮、指示灯、热继电器、软起动器、空气开关、塑壳断路器、框架断路器、伺服电机、伺服驱动器等,客户遍布全国各地,库存齐全,原装正品。

在线汉语新华字典

新华字典在线查字,支持部首拼音笔画多种查字法。新华字典,新华字典在线查字,康熙字典,字典在线查字,字典在线查询,在线字典,在线新华字典,康熙字典在线查字,现代汉语词典,新华字典部首查字,新华词典,新华字典在线查询,新华字典电子版,新华字典拼音查字,新华字典在线查笔画

啤酒桶

啤酒桶|TEL:18605320671山东银丰-中国啤酒桶顶级品牌生产企业。专业生产啤酒桶、保鲜桶、扎啤桶、不锈钢啤酒桶、保温桶、清洗机、灌装机等20多年,服务2000多个品牌企业,提供品质、服务、节省三者完美结合的产品。

北京中航未来科技集团有限公司

中航未来集团是一家集教育投资、教育培训、教育开发、教学产品研发、教育管理、实训实习、校企合作、职业教育、实体办学、教育服务、教育扶贫、就业服务等于一体的大型综合性教育科技集团,目前以航空职业教育为核心,主要致力于职业教育(现代服务、未来科技)、国际教育、人力资源、创新产业以及通航产业的发展与合作。 截至目前,中航未来集团已经在全国与200余所院校开展合作项目,在职员工及专兼职教师1000多人,累计培训学员200000余人次。

干冰清洗机

东莞市胜明自动化设备有限公司主要生产销售干冰清洗机、全自动干冰去毛刺机、模具清洗机等机械设备,可租可售,同时提供橡胶模具清洗、印刷机清洗、发动机积碳清洗、干冰清洗、干冰批发等服务

好项目管理软件,jira部署搭建,禅道pingcode,bug管理及协同工具

北京新享科技有限公司依托低代码技术打造一款专业、易用安全、国产化的项目管理软件-UniPro,应用于缺陷管理、敏捷开发、Bug管理、研发管理等多种场景。更多UniPro、Scrum、Jira、ONES、PingCode、禅道详情请在线咨询。

江西中科消防器材有限公司【官网】

江西中科消防器材有限公司,位于江西省新余市经济开发区新兴产业园。是一家专业从事气体消防灭火产品的研发、生产、销售及消防工程设计、施工与服务为一体的现代化企业。并且拥有一批立志于消防事业、精通消防产品技术、熟悉消防市场的专业技术团队与管理团队。

全局底部横幅