基于转移的语义依存图分析 哈工大 2018 录用论文解读 AAAI (基于转移的语言是什么)

文章编号:43302 资讯动态 2024-12-09 2018语义依存图哈工大AAAI

雷锋网AI科技评论 :语义依存是中文语义的深层分析,完善的语义表示体系对语义依存分析有重要作用。本文介绍的工作来自哈工大 SCIR 实验室录用于 AAAI 2018 的论文《A Neural Transition-Based Approach For Semantic Dependency Graph Parsing》。

在近期雷锋网 GAIR 大讲堂举办的线上公开课上,来自哈尔滨工业大学在读博士生王宇轩分享了一篇他在 AAAI 2018 投中的论文:基于转移的语义依存图分析。

以下是王宇轩同学在线上直播课上的分享内容,雷锋网编辑做了简要回顾,完整视频回放链接请点击:

分享内容:

同学们,大家好,今天主要分享的是用一种基于转移的方法来进行语义依存图的分析。

首先介绍一下什么是语义依存分析。语义依存图是近年来提出的对树结构句法或语义表示的扩展,它与树结构的主要区别是允许一些词拥有多个父节点,从而使其成为有向无环图(direct edacyclic graph,DAG)。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

右上图是2012年和北京语言大学合作定义和标注的语义依存树,通过一些依存弧把句子中有语义关系的词连接起来。它是树结构,所以成为语义依存树。右下角是语义依存图结构,因为在依存树里面,有一些词之间的关系受限于树结构,不能很好刻画,所以就引入了依存图概念。

语义依存图与传统树结构的区别

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

左上第一个是句法依存树,中间为语义依存树,最下面是语义依存图。图结构与原来传统的树结构表示最大的不同就是存在有多个父节点,比如图中的“我们”存在两个父节点。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

上图左边三个结构是另一种语义依存图结构。它们是在英文语料上进行标注,并且有三种标注规范,分别是DM、PAS、PSD。由此可以看出在同一个句子中,由于标注规范不同,图结构也是不同的。这是依存图的第二个特点,具有多种标注规范。第三个特点事具有非投射性,弧之间有交叉。

语义依存图实际上就是有向无环图, 这篇论文的目的就是提出一个能适应多种标注规范的有向无环图的一个分析器。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

我们采用的是基于转移的语义依存分析方法。该方法主要分为两部分结构,一是预测,二是执行。预测部分是由一个分类器实现。执行部分需要一个转移算法 ,包括一些预定义的转移动作等。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

关于转移系统

首先有个缓存(buffer),用来保存将要处理的词。接下来是一个栈(stack),保存正在处理的词。还需要有一个存储器(memory),用来记录已经生成的弧。最后是一个deque, 暂时跳过一些词。转移状态包括一个保存正在处理中的词的栈(Stack),一个保存待处理词的缓存(Buffer),和一个记录已经生成的依存弧的存储器。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

用来处理传统依存树结构的转移系统,以Choi等人在2013年提出的转移系统为例。

生成图中标红的弧线,首先要通过一个LEFT-REDUCE转移动作,LEFT是生成一条由缓存顶的词指向栈顶词的一条弧,REDUCE,是指生成弧之后,将栈顶词消除掉。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

如何生成图中黄色的弧,首先执行一个LEFT-PASS转移动作,暂时不把“他”消除,经过一系列转移动作,再执行LEFT-REDUCE交互, 消除“他”。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

接下来是用一个具体例子介绍整个转移系统,包括更多的转移动作,具体可观看 视频回放。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

基于转移的语义依存分析方法中的分类器

图中的分类器存在一些问题,缓存会损失一些信息,因为缓存只能通过单向LSTM学到正在缓存中的词的表示,另外由于它是一个从右到左的单向LSTM,因此它会损失从左到右这部分信息。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

为了解决这个问题,我们提出了 Bi-LSTM模块

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

我们提出的Incremental Tree-LSTM和传统的Dependency-Based Recursive NN效果对比

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

图中大写ABCD代表四个词,下面的小写可以认为它的向量化表示。

首相生成一个A指向B的弧,把A和B的子向量同时放到一个LSTM单元里面,组合起来用a+b表示,放在A下面,以此类推,每次找到新的子节点都会把原来已找到的子节点拿来一起输入,就不会损失C的信息。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

上面提出的两个模块儿替换原来转移系统后的效果图

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

简单介绍一下得到的实验结果,首先是在一个中文语义依存图的数据集SemEval 2016 Task9进行实验,其中最重要的两个评测指标LF和NLF。图中BS是增加了第一种模块后的性能,IT是增加第二个模块儿后的性能,BS-ST是两个模块同时使用后整个模型的性能。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

我们的模型和其他模型的性能对比

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

接下来是在SemEval 2015 Task 18上的英语数据集上的实验。这个数据的测试集包括两部分,紫色(in-domain)是指和训练数据来自同领域的数据,绿色(out-of-domain)是指和训练数据来自不同领域的数据,所以性能表现也不一样。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

值得一提的是,我们的模型可以通过模型融合的方法,在训练过程中用不同的随机化种子,训练多个模型, 在预测的时候,用多个模型分别进行预测,得到多个当前状态下要执行的转移动作的概率分布,把多个概率分布对应的叠加起来,作为接下来判定的标准,这样的简单模型融合对模型性能有较大的提升效果。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

最后给大家安利一个我们实验室的中文语言处理工具包,包括最底层的分词,词性标注,一直到上层的句法分时,语义分析都能够提供。可以下载到本地直接使用,也可以通过接口在线接入。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

以上就是全部的分享内容。

雷锋网更多公开课直播预告敬请关注公众号「AI 研习社」。如果错过了直播课程,还可到AI慕课学院查找该期的 视频回放 。

原创文章,未经授权禁止转载。详情见 转载须知 。

哈工大 AAAI 2018 录用论文解读:基于转移的语义依存图分析 | 分享总结

全局中部横幅
2024CMA全新备考资料包

高顿教育不仅提供2024年CMA免费备考资料、历年真题、备考经验等相关资源,还提供CMA培训课程与辅导网课等具体服务

江苏金通环境科技有限公司

江苏金通环境科技有限公司成立于2017年,是一家专注于环保产品研究、开发、生产及销售的高科技企业,公司坐落于风景秀丽的江南水乡江苏金坛。 公司自成立以来,始终坚持以人才为本、诚信立业的经营原则,荟萃业界精英,将先进的信息技术、管理方法及企业经验与企业的具体实际相结合,使企业在激烈的市场竞争中始终坚持着较强竞争力,实现企业快速、稳定地发展。 公司人才结构合理,拥有多名高新技术骨干,多支经验丰富的安装队伍,保证公司在各个项目中出色完成各项工作内容,并得到甲方的一致好评。 雄厚的技术力量,优质低价的产品,精湛的安装工艺,一流的营销售后服务,是您最佳的选择,也愿意成为您最可信赖的长期合作伙伴。

泡菜火锅面怎么做

泡菜火锅面的做法,泡菜火锅面怎么做请看步骤:1.辣白菜切小块,豆腐切块,海带切几刀,五花肉切片2.锅里热少许油,放入五花肉,小火煎至肉出油,变得金黄。然后倒入辣白菜和汁继续翻炒一会出香味3.倒入淘米水,烧开后加入海带和豆腐转中火继续炖10-15分钟...

巴别鸟

巴别鸟为企业提供企业网盘、企业云盘、私有云存储、移动办公等文件管理共享的协同办公服务,在线档案管理、审批管理、同步协作、权限管理等,领先业界高达A+的安全评级妥当保护企业数字资产

防爆空调

深圳市鹏深冷暖设备有限公司主营:防爆空调、防爆除湿机、防爆加湿机、船用空调、全新风防爆空调、直膨屋顶式中央空调、防爆冰箱冷柜、防爆冷库机组、防爆机房空调、防爆直膨式风管式空调,防腐船用空调、石化,电力,军用系列产品齐全

闪蒸干燥机

江苏达菱干燥工程是一家致力于闪蒸干燥机,污泥干燥机,桨叶干燥机,双锥回转干燥机,真空耙式干燥机,腐殖酸烘干设备的研发与高效应用,产品在多领域成功应用,咨询热线:13861066069.

牛铺兴

宜昌牛铺兴-宜昌商铺信息网!宜昌商铺转让出租、宜昌快速转店、生意转让、商铺、写字楼、厂库房招租转让,找店转店先上牛铺兴直接联系店主或房东,宜昌商铺信息共享服务平台宜昌牛铺兴!

广东铝圆片

江门市新会区柏洪金属制品有限公司是一家致力于铝圆片定制的广东铝圆片生产厂家,拥有科学、完整的质量管理体系,欢迎各界朋友莅临江门柏洪参观、指导与合作洽谈。

泗水县元昊石材厂(普通合伙)

泗水县元昊石材厂(普通合伙)专业从事鲁灰石材,鲁灰板材,泗水鲁灰石,黄锈石,白锈石以及山东灰麻的生产和销售。是中国鲁灰石材进出口基地企业,闻名中外石材经营门户,地理位置较好,矿资源丰富,通讯水路交通方便,联系电话:15254778777

无尘车间

中电南方净化科技 (400-883-7763)是一家一站式净化工程服务商,服务范围包括:洁净工程,无尘车间,洁净厂房,洁净室,无尘室,药厂、食品厂、电子厂净化车间,无尘车间装修施工、建设、承包等,无尘车间建设.

酷大师

在线3D建模——让建模更加高效简单,酷大师是一款优秀的三维建模图形设计平台,云端建模、高清渲染,帮助设计师快速解决建模难题。

盖州网站建设

盖州网络公司提供网站建设、软件开发、APP定制、微信小程序开发、网页设计制作、产品SEO排名优化、网络推广、域名注册、ssl证书、升级改版、安全维护、ICP备案和技术支持!

全局底部横幅