神经网络无法实现可解释 重温三十年前对于 NN AI 的批判 (神经网络无法收敛)
随着深度神经网络 (DNN) 用于决定贷款批准、工作申请、批准法院保释等与人们利益息息相关或者一些生死攸关的决定（例如在高速公路上突然停车），去解释这些决定，而不仅仅是产生一个预测分数，是至关重要的。
可解释人工智能 (XAI) 的研究最近集中在反事实（counterfactual）例子的概念上。这个想法很简单：首先制造一些有预期输出的反事实样例并输入到原来的网络中；然后，读取隐层单元解释为什么网络会产生一些其他输出。更正式地说：
下面则是更加具体的一个例子：
然而，一篇由Browne 和 Swift提出的论文[1] (以下简称 B&W）最近表明，反事实示例只是稍微更有意义的对抗性示例，这些示例是通过对输入执行小的且不可观察的扰动而产生的，从而导致网络对它们进行错误分类具有很高的自信度。
此外，反事实的例子「解释」了一些特征应该是什么才能得到正确的预测，但「没有打开黑匣子」；也就是说，没有解释算法是如何工作的。文章继续争辩说，反事实的例子并没有为可解释性提供解决方案，并且「没有语义就没有解释」。
事实上，文章甚至提出了更强有力的建议：
而Walid S. Saba本人则对（1）持悲观态度，换句话说他遗憾地承认我们的失败，以下是他的理由。
虽然大众完全同意B&W的观点，即“没有语义就没有解释”，但解释深度神经网络中隐藏层表示的语义为深度学习系统产生令人满意的解释的希望之所以不能够实现，作者认为，原因正是出自三十多年前Fodor 和 Pylyshyn [2]中概述的原因。
Walid S. Saba接着论证到：在解释问题出在哪里之前，我们需要注意到，纯粹的外延模型（例如神经网络）不能对系统性（systematicity）和组合性（compositionality）进行建模，因为它们不承认具有可再衍生的句法和相应语义的符号结构。
因此，神经网络中的表示并不是真正与任何可解释的事物相对应的“符号”——而是分布的、相关的和连续的数值，它们本身并不意味着任何可以在概念上解释的东西。
用更简单的术语来说，神经网络中的子符号表示本身并不指代人类在概念上可以理解的任何事物（隐藏单元本身不能代表任何形而上学意义的对象）。相反，它是一组隐藏单元，它们通常共同代表一些显着特征（例如，猫的胡须）。
但这正是神经网络无法实现可解释性的原因，即因为几个隐藏特征的组合是不可确定的——一旦组合完成（通过一些线性组合函数），单个单元就会丢失（我们将在下面展示）。
可解释性是“反向推理”
作者讨论过为什么 Fodor 和 Pylyshyn 得出的结论是 NN 不能对系统性（因此是可解释的）推论进行建模[2]。
在符号系统中，有定义明确的组合语义函数，它们根据成分的意义计算复合词的意义。但是这种组合是可逆的——
也就是说，人们总是可以得到产生该输出的(输入)组件，并且正是因为在符号系统中，人们可以访问一种“句法结构”，这一结构含有如何组装组件的地图。而这在 NN 中都并非如此。一旦向量（张量）在 NN 中组合，它们的分解就无法确定（向量（包括标量）可以分解的方式是无限的！）
为了说明为什么这是问题的核心，让我们考虑一下 B&W 提出的在 DNN 中提取语义以实现可解释性的建议。B&W 的建议是遵循以下原则：
输入图像被标记为“建筑”，因为通常激活轮毂盖的隐藏神经元 41435 的激活值为 0.32。如果隐藏神经元 41435 的激活值为 0.87，则输入图像将被标记为“汽车”。
要了解为什么这不会导致可解释性，只需注意要求神经元 41435 的激活为 0.87 是不够的。为简单起见，假设神经元 41435 只有两个输入，x1 和 x2。我们现在所拥有的如下图 1 所示：
图注：拥有两个输入的单一神经元的输出为0.87
现在假设我们的激活函数 f 是流行的 ReLU 函数，那么可以产生 z = 0.87 的输出。这意味着对于下表中显示的 x1、x2、w1 和 w2 的值，可以得到 0.87 的输出。
表注：多种输入方式都可以产生0.87的数值
查看上表，很容易看出 x1、x2、w1 和 w2 的线性组合有无数个，它们会产生输出 0.87。这里的重点是 NN 中的组合性是不可逆的，因此无法从任何神经元或任何神经元集合中捕获有意义的语义。
为了与 B&W 的口号“没有语义就没有解释”保持一致，我们声明永远无法从 NN 获得任何解释。简而言之，没有组合性就没有语义，没有语义就没有解释，DNN 无法对组合性进行建模。这可以形式化如下：
3. DNN 中的组合性是不可逆的[2]
顺便说一句，DNN 中的组合性是不可逆的这一事实除了无法产生可解释的预测之外还有其他后果，尤其是在需要更高层次推理的领域，如自然语言理解 (NLU)。
特别是，这样的系统确实无法解释一个孩子如何仅从 (
因为这样的系统没有“记忆”，而且它们的组成不能颠倒，理论上它们需要无数个例子来学习这个简单的结构。【编者注：这一点正好是乔姆斯基对于结构主义语言学的质疑，并由此开启了影响语言学半个多世纪的转化生成语法。】
最后，作者强调，三十多年前Fodor 和 Pylyshyn [2]提出了对 NN 作为认知架构的批评——他们展示了为什么 NN 不能对系统性、生产力和组合性进行建模，所有这些都是谈论任何“语义”所必须的——而这一令人信服的批评从未得到完美的回答。
随着解决人工智能可解释性问题的需求变得至关重要，我们必须重新审视那篇经典论文，因为它显示了将统计模式识别等同于人工智能进步的局限性。
版权文章，未经授权禁止转载。详情见 转载须知 。
站长工具提供htpasswd在线生成器，支持MD5、crypt、SHA、plain多种加密算法生成结果。
绞合线,丝包线选择东莞市鑫和线材有限公司,我司是专注漆包线生产及销售的厂家，主要产品有漆包绞线，耐高温漆包线，铝漆包线及微细漆包线，麦拉线，uew漆包线，扁平漆包线，PEW漆包线等，多年专业经验，服务过上数十家知名客户，欢迎咨询
邮乐网由中国邮政与TOM集团携手呈现的创新网上购物平台!网购新西兰奶粉、土特产、鞋帽箱包、个人护理、数码、小家电、居家百货、母婴、手机充值全网最低，原产地直销原汁原味，尽在邮乐,为您提供愉悦的网上购物体验.
枣阳网站建设，会员软件，异业联盟软件，枣阳小程序
诸城市万利源机械科技有限公司拥有先进的机加工中心、全自动焊接中心以及全套的检验设备。主要产品有：全自动解冻流水线，蒸煮漂烫流水线，巴士杀菌冷却流水线等多种规格型号产品，可广泛应用于各种肉制品、水产品，馅料制品、豆制品、奶制品等的加工生产以及农副产品深加工、化工医药的生产等，公司以市场为导向，重视产品结构调整，不断更新和开发新产品。
青岛齐力机械有限公司专业生产PUR平贴机,覆膜机,正负压,开料机,PUR包覆机等木工设备.欢迎来电:18661850377厂家直销规格全,质量可靠有保障.青岛齐力机械有限公司做踏实的木工机械生产商供应商.
重庆专业皮肤科医院在哪里?重庆迪邦皮肤病医院是重庆白癜风/牛皮癣皮肤病治疗最好专科医院，集临床、诊疗、预防为一体的皮肤病专科医院.致力于治疗白癜风、银屑病等各类皮肤病疾病。咨询热线：400-698-8568
十谷啤酒是山东阳春啤酒有限公司旗下主营特色啤酒品牌之一，山东阳春啤酒有限公司是一家有35年酿酒历史的啤酒厂家、啤酒代工厂，也是国内知名精酿原浆啤酒厂家，从啤酒技术研发、原材物料采购、OEM生产加工、啤酒销售等为客户提供一整套的服务方案！
该设备主要由糖化系统、发酵系统、过滤系统、灌装系统、CIP洗涤系统、配电及发酵恒温自控系统、制冷系统等组成。
彩谱色差仪品牌是一家提供色彩色差仪,光泽度仪,分光测色仪,雾度仪,高光谱相机,配色软件等颜色检测设备的研发及销售一体的供应厂商,为油漆,涂料,塑料,纺织,油墨,食品等行业领域的行业提供专业的色彩检测设备.
开创网是一个推荐分享免费手机游戏下载、热门手机游戏攻略、最新开好玩的手机游戏解读的专业手机游戏平台,每天实时更新手游排行榜。
平潭网,平潭国际旅游岛官方新闻网站,全国唯一对台官方新闻网站，由平潭综合实验区党工委主办。作为平潭综合实验区唯一的新闻门户网站,是平潭对外宣传的最重要平台。
雷锋网AI科技评论按，DeepMind提出的WaveNet是目前顶级的语音生成模型，论文最初于2016年9月发表，雷锋网AI科技评论也立即跟进报道DeepMind发布原始音频波形深度生成模型WaveNet，WaveNet抛弃了以往通过声学模型拼接语音音素的做法，完全通过深度神经网络生成原始音频波形，并且大幅提高了语音生成质量，今年10...。
雷锋网AI科技评论按，本文作者张拳石，上海交通大学副教授，研究方向为机器学习、计算机视觉，本文首发于知乎，雷锋网AI科技评论获其授权转载，以下为正文内容，本来想把题目取为，从炼丹到化学，，但是这样的题目太言过其实，远不是近期可以做到的，学术研究需要严谨，但是，寻找适当的数学工具去建模深度神经网络表达能力和训练能力，将基于经验主义的调参...。
2012年，被称为深度学习鼻祖的杰夫·辛顿，GeoffreyEverestHinton，在NIPS上发布文章介绍了通过训练大型深度卷积神经网络把ILSVRC训练集中的图像进行分类实现了误差率的大幅降低，这也被认为是这一轮AI热潮的开始，随后，深度神经网络日益流行，许多优秀的变体相继出现，如AlexNet、GoogLeNet、VGGNe...。
雷锋网AI科技评论按，近几年，由于深度神经网络的快速发展，自然语言处理借此取得了重大突破，但同时也达到了它的发展瓶颈期，因此，研究如何让AI像人类一样去学习自然语言成为了现在研究者们最关心的问题，近期，在雷锋网GAIR大讲堂上，来自卡内基·梅隆大学三年级博士生杨植麟同学分享了无监督学习和情景化学习的一些最新进展，其中包括一篇ICLRO...。
雷锋网按，本文由图普科技工程师撰文分享，这几天被GoogleI，O开发者大会刷屏，尤其是会上Google的现任CEO桑德尔·皮查伊，SundarPichai，公布了在AlphaGo战胜李世石的，秘密武器，就是一块晶片，TPU，张量处理单元，TensorProcessingUnit，，，它使得机器学习类深度神经网络模型在每瓦特性能性能...。
美国东北大学体验式人工智能研究所的高级研究科学家WalidS.Saba从组合语义的角度出发，提出一个观点，深度学习无法构造一个可逆的组合语义，所以它无法实现可解释AI，可解释AI，XAI，随着深度神经网络，DNN，用于决定贷款批准、工作申请、批准法院保释等与人们利益息息相关或者一些生死攸关的决定，例如在高速公路上突然停车，，去解释这些...。
可解释性对人工智能发展来说至关重要，但在可解释系统的可信度方面，理解其可能带来的负面效应亦同等重要，近日，佐治亚理工学院研究团队发表最新研究，重点讨论了可解释人工智能系统，XAI，中一种重要却未被阐明的负面效应，在这篇论文中，作者提出，可解释性陷阱，EPs，的概念，指出即使设计者最初没有操控用户的意图，模型的可解释性也可能带来意料之...。
打开一个黑盒子，黑盒子变成了白盒子，但是白盒子中又出现了更多的黑盒子，探索可解释AI是一条长远的道路，在刚刚过去的2021年，人工智能领域最热门的新兴话题之一，就是，可信AI，2021年6月，蚂蚁集团在全球人工智能大会上首次公布，可信AI，技术架构体系；7月，京东探索研究院又在世界人工智能大会上发布中国首个，可信人工智能白皮书，，且...。
AI、量子计算、神经形态计算都是当下的热词，但他们并非全新的技术，这些几十年前就被提出的技术，因为各种因素的限制，至今仍未达到相对理想的状态，在这三者中，AI目前最为火热，其中很重要的原因是深度神经网络的突破，那么，神经形态计算到底是不是可实现，什么时候才会爆发，业内专家北京大学信息科学技术学院教授，北京智源人工智能研究院院长黄铁军给...。
2011年图灵奖得主、因果科学之父JudeaPearl曾提出著名的，因果阶梯，论，PearlCausalHierarchy，PCH，他认为，因果推断有三个层级，最低的第一层级是相关，association，，涉及的是预测，而不涉及因果关系，只讨论变量之间的关联，比如公鸡打鸣与日出之间的相关关系，第二层级是干预，interventio...。
轮到物理学家来揭示神经网络的本质了，他们在尝试让宇宙为我们处理数据，在一个隔音的板条箱里有着一个世界上最糟糕的神经网络，在看到数字6的图像后，这个神经网络会暂停片刻，然后显示出自己识别出的数字，0，康奈尔大学的物理学家兼工程师PeterMcMahon主导了这个神经网络的开发，他不好意思地笑着说，这是因为手写的数字看起来很潦草，一位从N...。
这里的参数logdir指向SummaryWriter序列化数据的存储路径，如果logdir目录的子目录中包含另一次运行时的数据，那么TensorBoard会展示所有运行的数据，一旦TensorBoard开始运行，你可以通过在浏览器中输入来查看TensorBoard，进入TensorBoard的界面时，你会在右上角看到导航选项卡，每一个...。
专业化的早教机构科学的课程体系致力于给孩子们提供的早教课程学习，启迪孩子的智慧，培养孩子主动思考的能力，运动早教是早教机构中不可忽视的品牌，它以西方多元智能的教育理念为基础，并根据儿童的发展特点、个性特点进行课程设计，那现在它的课程是科学而又先进的，那以此来看运动早教怎么样，这个品牌的早教机构有着专业化的课程、细致化的课程划分、与个性...。
在现在的学生每天都会忙着学习课堂上的课程以外，许多家长为了能够给孩子创造更多的学习机会，一些课外辅导机构也就成了现在大多数家长的选择，一些比较突出的品牌当然也就会备受关注，罗兰数字音乐教育除了让学生在放学之后有更多的放松空间，也会让他们改善学习的看法，大多数的学生都不会对学习感觉到厌烦，那么，罗兰数字音乐教育特色有哪些，罗兰数字音乐教...。
上海是高楼林立的金融贸易中心，也是许多年轻人心中的时尚之都，近年来，上海也在加快推进城市数字化治理，致力于形成国家，数字长三角，和，数字丝绸之路，的应用样板，但将时钟拨回到十多年前，中国的移动互联网浪潮方兴未艾，人们所使用的手机仍处于Java单机应用的，天堂，，图片加载的质量完全取决于你购买了多少份量的流量套餐，数字化，大概能够将企业...。
发表在知麻投影仪2024，7，2317，03知麻P20是知麻最新发布的高亮品质旗舰投影仪，具体知麻P20投影仪怎么样呢，下面就分享知麻P20投影仪的详细参数配置，看看知麻P20投影仪优缺点有哪些，是否可以满足用户的日常使用需求，知麻P20投影仪怎么样，1.画质上知麻P20采用业内领先的LED脉冲光源控制技术，可极大程度的降低光耗，让光...。
内衣是人们生活的必需品，内衣，是指贴身穿的衣物，包括背心、汗衫、短裤、胸罩等，通常是直接接触皮肤的，是现代人不可少的服饰之一，内衣有吸汗、矫型、衬托身体、保暖及不受来自身体的污秽的危害的作用，有时会被视为性征，内衣，本质上是要有包容性，这样才能有效地给乳房和臀部以承托力，随着内衣面料的不断更新，人们越来越追求新技术产品，单纯棉制品己不...。
