哈工大丁效 基于神经符号的认知推理方法 (哈工大 丁效)
在过去十年的人工智能浪潮中，以深度学习为代表的人工智能技术已基本实现了视觉、听觉等感知智能，但依然无法很好地做到思考、推理等认知智能。
4月9日，哈尔滨工业大学计算学部副研究员丁效，在AI Time青年科学家——AI 2000学者专场论坛上，做了《基于神经符号的认知推理方法》的报告，分享了神经网络方法执行符号推理任务的最新进展，同时也给出了将符号知识注入神经网络的思路以及如何将神经网络与符号系统相融合。
以下是演讲原文，AI科技评论做了不改变原意的整理。
今天和大家分享神经符号认知推理方面的研究工作。人工智能（AI）已经历了第一代符号智能，第二代感知智能以及当前的认知智能。认知智能是一种融合的状态，强调表示学习与复杂知识推理的有机结合是人工智能进步的阶梯。
实际上，在自然语言处理（NLP）领域，预训练模型规模以每年约10倍的速度增长， 模型的通用智能水平显著增强。如上图，无论是计算的复杂度、参数以及训练时间，随着时间的推移，都有跨越性的发展，也促使模型性能大幅度提升。
同时，预训练语言模型还有很大的发展空间。例如询问GPT-3：烤箱和铅笔哪个更重？脚有几只眼睛？等问题，它的回答的结果差强人意。根本原因是缺少对知识的推理的能力，以及对推理结果的可解释性。
如何解决？我认为需要开发新的计算范式，即将基于感知的深度学习和基于认知的符号计算，进行融合。
传统基于符号的表示，例如在NLP领域，对于句子的处理是分词，文本中有1万个词就对应1万维。
现在分布式的表示方法是基于神经网络，需要学习出每个词的向量，此向量维度不高，也不会那么稀疏，它是低维稠密的实数值向量，很容易捕获文本的语义信息。
利用符号系统和利用上下文表示的系统有什么区别？首先对于词汇的理解，一定离不开上下文的语义的理解。例如：小明离开星巴克和乔布斯离开苹果公司，同样是离开一词，前者可能表示消费完了，离开某个商店，后者可能表示辞职。因此，两种语义是截然不同的。
传统的NLP任务从语料中提取特征，利用统计关系学习建模语义结构，属于符号系统处理方法。给定若干个任务，例如共旨消解、语义角色标注、依存分析或者NER等等任务，传统方法是手工提取一些特征，然后把特征输入到一些统计模型当中，然后得出分类结果、预测结果。
传统的 NLP的处理方式，提取特征可以认为是符号系统，即手工提取的特征本身就可以用来解释最后的预测结果，这是典型的可解释的方式。
基于神经网络的分布式的语义表示，在处理各种NLP任务时，“省略”了特征提取步骤，有几个特点：1. 单词用稠密的低维向量表示；2.上下文语义表示是单词语义表示的组合；3.表示向量与组合方式需要在大量的数据上进行训练；4.能够得到词的任务特异表示。
虽然运用神经网络能够得到远超以前的性能，但也有“需要大量训练数据”、“可解释性差”、“推理基于表面特征”等缺点。
神经方法和符号方法各有哪些优缺点？符号AI对于规则、知识，能够可程序化，可以用编程的方式直接把规则编写到程序当中，然后可以进行精确、严格的匹配、推理，得到的结果也是符合规则的，因此解释性强。缺点是构造成本太高，覆盖率低，稳定性也不太够。
神经方法的优点是表示能力非常强，任务的适应性很强，无论生成任务，还是分类任务，亦或回归任务都能“拿下”。缺点是学习最简单的模式，距离人的智慧还有很大的距离，以及一直被诟病的黑盒、不可解释性等等。
显然，如果有方法将神经与符号相融合就能优势互补。目前，有三种方法可供参考：
1.神经网络方法执行符号推理任务，神经网络在此过程当中可能帮助我们把词进行泛化。
2. 符号知识注入神经网络。进行损失函数设计，或者进行一些正则化的约束，或者进行数据增广等操作。
3. 神经网络与符号系统相融合。即不以符号为主，也不以神经为主，而是进行有机融合。
在NLP处理领域，如果想获得以“类人”方式学习和思考的机器，需要在语义合成、推理、常识学习，学会学习等四个方面努力。NLP中的推理是指文本推理能够推动另外三个任务不断的进步。
文本推理是指给定文本形式的前提(Premise)与前提相关的某一假设(Hypothesis)，建模文本语义与文本结构，以判断前提与假设之间的关系。具体的例子如下图所示：
双过程理论是指人的思考和学习是有两个系统：直觉系统和逻辑系统。直觉系统帮助我们进行一些直觉的无思决策，快速回答问题；逻辑系统要调用大脑当中存储的知识进行逻辑的推理。
下面介绍实现刚才提到的三种不同认知推理任务的方法。
符号推理的任务有很多，自动定理证明、多项选择问答、逻辑规则归纳。由于时间有限，主要介绍多项选择问答任务。
在去年的EMNLP 2021一篇论文中，我们采用自然逻辑，帮助完成多项式选择的问答任务。
自然逻辑是一种语义单调性的逻辑系统，它主要是定义了7种单词之间的语义关系，包括等价、前向蕴含、反向蕴含、前向蕴含、反义、并列、覆盖、独立等等。然后我们要在遵循自然逻辑的前提下，在文本上进行推理，例如把句子进行增删改操作，然后保持语义的不变性，进行替换。
给定句子： 所有的动物需要水
自然逻辑： 动物 ⊒ (反向蕴含) 狗
替换操作后： 所有的动物需要水 ⊑ 所有的狗需要水
推理中的换词对NLP中的多项选择问答任务非常有必要。例如上图中的任务形式：给定问题：啮齿动物吃植物？知识库当中有一条知识是：松鼠吃松子。
第一步需要进行单词的替换，将啮齿动物替换成仓鼠，然后把植物替换成果实，或者把植物可以替换成庄稼。
接下来不断替换，把植物替换成谷物，把果实替换成坚果，把啮齿动物替换成田鼠，经过一步一步的的替换，最终替换到了知识库当中的某一条知识。因此，基于自然逻辑进行多项选择问答这条路径就是可解释的。其实，不仅是可以替换，也可以增加词、删除词、修改词。
问题在于是基于语义词典进行词的替换，而语义词典是非常有限的。再者没有考虑上下文的语义关系。
引入神经网络的方法，可以将词的替换直接进行神经化。具体过程可以分为4步：
1. 利用预训练语言模型生成候选单词
2. 判断原单词和候选单词之间的语义关系
3. 根据上下文的单调性将词级别的语义关系映射到句子级别
4. 保留满足恒等和反向蕴含关系的候选句
符号知识注入神经网络的方式有很多，可以利用逻辑规则约束神经网络的模型；可以利用基于逻辑规则进行数据增强的任务。
例如数据增强，给定三元组 B的首都是A（A,首都,B），可以扩展出A位于B。具体一些，知识库总已经有: （北京，首都，中国），则基于该规则可以补充额外的三元组（北京，位于，中国）。
如何利用逻辑规则，约束神经模型？上图是事件时间常识知识预测任务，其中预测为对应的时间单元：给定事件起床，推测频率、持续时间以及典型发生时间。
这些事件的常识知识有什么用？可以把事件的常识知识注入到预训练语言模型当中，让模型对事件时间的常识知识能够掌握，会让模型在进行时间相关的推理的工作中更加高效。
存在的问题在于，从文本中无监督抽取的时间常识可能存在报告偏差（Reporting Bias）。例如常见的情况的在文本中并未显式提及：自然文本中几乎不会有“睡醒之后，我一般要花几分钟的时间起床”等类似的表达！在文本表达中会对非寻常现象加以强调：我每天都得花一个小时才能起床！。
如何解决？利用不同维度间的时间常识知识之间的约束关系，减缓报告误差。对于“我是在妈妈准备早餐期间起床的”，利用事件间时序关系可以得出：起床的持续时间短于准备早餐 ；“自己在家准备早餐，十分钟就可以搞定” 可以得出：准备早餐的持续时间大概约为10分钟。
下表详细总结了类似于上述所有的可能的互补关系：
此规则怎样利用？我们设计了基于软逻辑规则的时间的常识预测。给定输入：我是在妈妈
将概率软逻辑规则放到神经网络模型当中，将其制作成损失函数。这一步是在交叉熵损失函数的基础上，添加了概率软逻辑的约束损失，使得模型在做的时间推理的过程当中，既考虑概率软逻辑的规则，同时考虑对于语义理解之后的的推理结果。
融合神经和符号的推理系统，在进行数值运算，因果逻辑推理，一阶谓词逻辑规则等方面具有优势。它可以利用神经网络模块，显式建模符号规则。
传统的因果推理模型多数以黑盒方式，直接从标注的因果事件对中学习因果知识。因此可能利用部分与标签存在相关关系的统计特征做出判断，致推理结果的不稳定，不可靠，不可解释。
如何还原背后的因果决策机制？我们提出引入中间证据事件，还原背后的因果逻辑链条。这种因果逻辑链条提供了更强的可解释性。在ACL 2021上，我们的工作ExCAR: 事理图谱知识增强的因果推理框架，能够从预先构建的事理图谱中获取中间证据事件。
具体而言是使用条件马尔可夫神经逻辑网络(CMNLN)，其中逻辑网络具有较强的可解释性与可靠性。神经逻辑网络是指利用神经网络表示规则，并赋予每个因果规则以权重(因果强度)，以应对规则集合中可能存在的噪音与统计关系的复杂性。条件马尔可夫还能支持因果叠加效应，即对于同一规则，不同的前件可能对因果强度带来不同的影响。基本逻辑是：证据事件→逻辑规则→因果逻辑图。
下面从人机交互的角度，思考机器学习。当前的机器学习过程：极度依赖静态的标注数据集。例如标签蕴含的信息有限，这导致学习效率低下、对于复杂任务，标注尤为昂贵、数据过时导致模型无法使用。
机器向人的学习远远不只是说去学标注的数据，可以学习的种类非常多样，例如点击用户的行为数据，以及用户的解释信息。实际上用户的解释的信息对于机器学习而言是非常重要的。
如上图的例子，小明根据ab/b=a，推导出SinX/n=six。老师则认为这是不对的，因为Sin是整体，是三角函数。
因此，基于上述观察，我们在ACL 2022会议论文中提出，不仅进行因果推理的任务，还需要给出相应的解释。不只是针对某因果对解释，可以是概念性的解释。
例如将铁块加入盐酸中，导致铁块被溶解。需要生成概念性的解释酸具有腐蚀性，显然这不只是因果对的解释。
当前的因果推理系统仍缺乏此类常识。例如，现有的因果推理数据集只提供因果对及其标签，缺少对因果关系原理层面的解释。而人类能够同时运用具体的因果知识，以及对于因果机制的深入理解以高效、可靠地推理出因果关系。因此，未来认知推理，它一定需要和脑科学进行结合。
原创文章，未经授权禁止转载。详情见 转载须知 。
百家号，是百度为创作者打造的集创作、发布、变现于一体的内容创作平台，也是众多企业号实现营销转化的运营新阵地。
我要自学网-免费视频教程,提供全方位软件学习，有3D教程，平面教程，多媒体制作教程，办公信息化教程，机械设计教程，网站制作教程,电脑培训
新疆塑圣新型建材有限公司。是一家集研发、生产与销售为一体的建材板饰面板专业制造企业，位于阜康市产业园阜康苏通小微创业园，西依吐乌大高速公路，南临111国道，交通便捷，地理位置得天独厚。
天津市昊天橡塑制造有限公司天津市昊天橡塑制造有限公司蝶阀阀座橡胶密封件-阀座,橡胶阀座,蝶阀,蝶阀阀座,橡胶密封圈,D341衬胶阀体,挂胶,中线法兰蝶阀,丁腈阀座。
脚本自媒体网址导航-精选网址分类目录，网址导航，免费网址提交，网站推广，网址大全，自媒体创作平台，在线电子印章生成工具（永久免费）。
法律头条在线是一个实时更新法律资讯、提供专业法律解读与分析的权威平台。我们汇集国内外最新的法律动态、政策法规，为用户提供一站式的法律信息服务，帮助他们更好地理解和应对法律问题。通过专业的法律视角和深入的行业洞察，我们致力于成为用户身边可信赖的法律资讯顾问。
日本进口轴承公司作为AGMS轴承的授权经销商，我们提供进口NTN轴承,NSK轴承,SKF轴承,HRB轴承,ZWZ轴承,TIMKEN轴承,NSK进口轴承,EZO轴承,NMB轴承,FAG轴承,不锈钢轴承,外球面轴承,带座外球面轴承,圆锥滚子轴承,调心滚子轴承,推力球轴承,圆柱滚子轴承,调心球轴承,角接触球轴承,高温轴承,轴承座,耐高温轴承,外球面轴承座的销售.
汝岩（上海）自动化科技有限公司主营业务包含:非标自动化设备的研发.设计.生产.销售以及售后服务于一体的高新技术企业。配套提供工装夹具、智能机器人、各类检测设备、自动化生产线等。公司恪守诚信,创新,务实,服务的宗旨,奉行以人为本,科技先行,质量至上,追求卓越的经营理念,如有产品需求,欢迎致电:18217283091
爱视眼科网致力于为您提供关于眼科疾病、眼科手术、眼部常见问题和眼科治疗方法的详细信息。我们的目标是帮助您更好地了解眼部疾病症状以及如何进行合适的治疗。
深圳专业传感器生产厂家，合顺传感专注于气体传感器领域，提供全系列解决方案。包括高精度电化学一氧化碳传感器、半导体燃气传感器、催化燃烧式气体传感器、电化学氧气传感器、粉尘颗粒传感器、二氧化碳传感器，以及红外甲烷/冷媒传感器等定制服务，精准检测，安全环保。
乐用微信应用开发平台是微信第三方合作伙伴,拥有小程序生成工具,在这里您能找到您想要的各种模块功能并快速生成您想要的小程序.无需编码,无需程序员,300秒就可以完成快速制作。
由中国中文信息学会社会媒体处理专委会主办、哈尔滨工业大学承办的第七届全国社会媒体处理大会，SMP2018，将于2018年8月2日，4日在哈尔滨召开，雷锋网作为战略合作媒体将带来专题报道，SMP专注于以社会媒体处理为主题的科学研究与工程开发，为传播社会媒体处理最新的学术研究与技术成果提供广泛的交流平台，旨在构建社会媒体处理领域的产学研生...。
由中国中文信息学会社会媒体处理专委会主办、哈尔滨工业大学承办的第七届全国社会媒体处理大会，SMP2018，将于2018年8月2日，4日在哈尔滨召开，雷锋网作为战略合作媒体将带来专题报道，SMP专注于以社会媒体处理为主题的科学研究与工程开发，为传播社会媒体处理最新的学术研究与技术成果提供广泛的交流平台，旨在构建社会媒体处理领域的产学研生...。
近日，AI科技评论获悉，阿里副总裁、达摩院自动驾驶实验室负责人王刚已经离职，并将在清洁机器人领域创业，感谢王刚为达摩院无人驾驶技术作出的贡献，祝福王刚，阿里官方用这句祝福为我们证实了消息的真实性，这一刻，距离他入职阿里那天，已经过去了五年，达摩院的无人驾驶奠基人王刚在2005年本科毕业于哈尔滨工业大学电信学院，到2010年，他获得...。
2020年6月7日，哈尔滨工业大学迎来百年校庆，作为一所以理工科为主的全国重点大学，哈尔滨工业大学成立100年，不仅仅哈工大自身的一件大事，也是我国科学技术领域的一件大事，图自哈尔滨工业大学官网不仅如此，由于哈尔滨工业大学在我国AI技术人才培养中的重要角色，哈工大百年校庆也算是AI领域的一件大事，借此大背景，雷锋网也简单盘点一下哈尔滨...。
AAAI2018，the32ndAAAIConferenceonArtificialIntelligence，将于2018年2月2日至7日在美国新奥尔良举行，AAAI是人工智能领域的顶级国际会议，每年举办一次，哈尔滨工业大学社会计算与信息检索研究中心共有3篇论文被AAAI2018录用，下面是论文列表及介绍，•ExploringImpl...。
雷锋网按，2017年7月8日，由中国计算机学会，CCF，主办，雷锋网与香港中文大学，深圳，承办的全球人工智能与机器人峰会，CCF，GAIR，进入第二天，在智能助手专场，来自哈尔滨工业大学的刘挺教授为我们带来了题为，人机对话技术的进展，的主题演讲，刘挺，哈尔滨工业大学教授，社会计算与信息检索研究中心主任，多次担任国家863重点项目总体组...。
雷锋网AI科技评论消息，5月5日，哈尔滨工业大学，下称哈工大，人工智能研究院揭牌仪式暨，智•创未来，人工智能高端论坛于哈尔滨举行，哈工大人工智能研究院于今日正式成立，围绕理论、技术、平台、应用4个层次、7个方向构建，哈尔滨工业大学计算机学院院长、软件学院院长王亚东教授担任研究院院长，哈工大人工智能研究院首批研究人员共30位，平均年龄4...。
12月2日，2024IKCEST第六届，一带一路，国际大数据竞赛暨第十届百度&，西安交大大数据竞赛，以下简称，国际大数据竞赛，落下帷幕，近4000支队伍围绕，AI生成体育赛事解说，赛题竞逐数月，各大奖项由来自哈尔滨工业大学、西安交通大学、北京大学等高校的17支队伍获得，其中，来自中国香港的13岁中学生杨阳获得三等奖，成为办赛1...。
雷锋网AI科技评论按，近期由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办的全球人工智能与机器人峰会，CCF，GAIR，将于6月底在深圳举办，其中哈尔滨工业大学刘挺教授将担任自然语言处理专场主席，雷锋网了解到，刘挺教授作为国内NLP方向的领军人物，其GoogleScholar总引用率高达8412次，顶会论文总量世界排名...。
雷锋网AI科技评论按，由中国计算机学会，CCF，主办，福州市人民政府、福州大学承办，福建师范大学、福建工程学院协办的2017中国计算机大会，CNCC2017，于10.26—10.28日在福州•海峡国际会展中心举办，大会除了14场特邀报告，还有2场大会主题论坛、40余场学术论坛、30余场特色活动以及3个颁奖大会，同期还将有80余家企业举...。
6月1日，度小满与哈尔滨工业大学宣布共同成立，哈尔滨工业大学，度小满人工智能，大模型，联合研究中心，双方将围绕大模型基座研发、大模型技术原理及其应用技术等领域展开前沿研究，旨在提升大模型的技术创新能力和实际应用效果，双方还将共同培养生成式人工智能技术领域的领军人才，推动前沿技术的产业化应用加速，在签约仪式上，度小满CEO朱光表示，，...。
作者，岑大师编辑，蒋宝尚7月5日，哈尔滨工业大学在线举行计算学部成立大会，同时也庆祝了计算学部校友会成立，整个成立仪式分为三个篇章，在第一个篇章，辉煌计算，再启辉煌，中众多校友、领导、兄弟院校对学部的成立表示祝贺，也给予了计算学部继续乘风破浪、披荆斩棘，打造国之重器的殷切希望，在哈工大校长周玉和计算学部主任刘挺举行完揭牌仪式之后，刘挺...。
9月9日，星竞威武集团，NASDAQ，NIPG，宣布正式进军游戏发行领域，并成立游戏发行部门，以进一步完善自身在数字娱乐生态的战略布局，基于自身在电竞领域的丰富经验，以及对市场趋势的把握和洞察，星竞威武集团游戏发行业务将以电竞向游戏为切入点，并向更广泛的游戏品类发起探索，未来，游戏发行业务将布局包括小程序游戏、手机游戏和PC游戏在内的...。
5月9日至11日，由科技部、工信部和江苏省人民政府指导，苏州市人民政府和新一代人工智能产业技术创新战略联盟共同主办，苏州工业园区管委会和苏州启智创新科技有限公司联合承办的2019全球人工智能产品应用博览会在苏州博览中心如期举行，本届全球智博会以，见智·见未来，为主题，共分，展、会、赛、奖、演，五大板块，包括开幕式及主论坛、产品博览会、...。
消息，5月25日，亚马逊旗下第一家实体服装店AmazonStyle正式开业，这家服装店位于位于加利福尼亚，店内已经上新了知名品牌和一些设计新秀的作品，AmazonStyle亚马逊通过先进的技术，为顾客提供线上线下相结合的购物体验，顾客进入店铺后，即可使用亚马逊的应用程序扫描二维码查看任一商品的颜色、尺寸等各种信息，当顾客选中商品...。
在现代科技飞速发展的情况下，各行各业都有了很大的发展，烘焙行业也快速发展着，先进设备的使用，提高生产产品效率的同时，也拓展出了更多产品，经济条件允许的情况下，消费者们也有了购买更多美食的机会，当然也包括烘焙产品，创业者们非常看好烘焙行业的发展，然后注意到爸爸糖手工吐司，有机会和此店合作，很多加盟商会牢牢抓住，如此才有许多人询问，爸爸糖...。
给早晨洗洁净等喂屎是相当有阅历，先拿木棍猛敲它的狗头，等它狂吠的时刻就一勺屎塞进它狗嘴里，它会边吞屎边狂吠，而后又是一勺，如此重复喂屎，直到喂饱，到了早晨它就闭上狗嘴，宁静的缩回狗窝里，...。
