神经网络无法实现可解释 重温三十年前对于 NN AI 的批判 (神经网络无法收敛)
随着深度神经网络 (DNN) 用于决定贷款批准、工作申请、批准法院保释等与人们利益息息相关或者一些生死攸关的决定（例如在高速公路上突然停车），去解释这些决定，而不仅仅是产生一个预测分数，是至关重要的。
可解释人工智能 (XAI) 的研究最近集中在反事实（counterfactual）例子的概念上。这个想法很简单：首先制造一些有预期输出的反事实样例并输入到原来的网络中；然后，读取隐层单元解释为什么网络会产生一些其他输出。更正式地说：
下面则是更加具体的一个例子：
然而，一篇由Browne 和 Swift提出的论文[1] (以下简称 B&W）最近表明，反事实示例只是稍微更有意义的对抗性示例，这些示例是通过对输入执行小的且不可观察的扰动而产生的，从而导致网络对它们进行错误分类具有很高的自信度。
此外，反事实的例子「解释」了一些特征应该是什么才能得到正确的预测，但「没有打开黑匣子」；也就是说，没有解释算法是如何工作的。文章继续争辩说，反事实的例子并没有为可解释性提供解决方案，并且「没有语义就没有解释」。
事实上，文章甚至提出了更强有力的建议：
而Walid S. Saba本人则对（1）持悲观态度，换句话说他遗憾地承认我们的失败，以下是他的理由。
虽然大众完全同意B&W的观点，即“没有语义就没有解释”，但解释深度神经网络中隐藏层表示的语义为深度学习系统产生令人满意的解释的希望之所以不能够实现，作者认为，原因正是出自三十多年前Fodor 和 Pylyshyn [2]中概述的原因。
Walid S. Saba接着论证到：在解释问题出在哪里之前，我们需要注意到，纯粹的外延模型（例如神经网络）不能对系统性（systematicity）和组合性（compositionality）进行建模，因为它们不承认具有可再衍生的句法和相应语义的符号结构。
因此，神经网络中的表示并不是真正与任何可解释的事物相对应的“符号”——而是分布的、相关的和连续的数值，它们本身并不意味着任何可以在概念上解释的东西。
用更简单的术语来说，神经网络中的子符号表示本身并不指代人类在概念上可以理解的任何事物（隐藏单元本身不能代表任何形而上学意义的对象）。相反，它是一组隐藏单元，它们通常共同代表一些显着特征（例如，猫的胡须）。
但这正是神经网络无法实现可解释性的原因，即因为几个隐藏特征的组合是不可确定的——一旦组合完成（通过一些线性组合函数），单个单元就会丢失（我们将在下面展示）。
可解释性是“反向推理”
作者讨论过为什么 Fodor 和 Pylyshyn 得出的结论是 NN 不能对系统性（因此是可解释的）推论进行建模[2]。
在符号系统中，有定义明确的组合语义函数，它们根据成分的意义计算复合词的意义。但是这种组合是可逆的——
也就是说，人们总是可以得到产生该输出的(输入)组件，并且正是因为在符号系统中，人们可以访问一种“句法结构”，这一结构含有如何组装组件的地图。而这在 NN 中都并非如此。一旦向量（张量）在 NN 中组合，它们的分解就无法确定（向量（包括标量）可以分解的方式是无限的！）
为了说明为什么这是问题的核心，让我们考虑一下 B&W 提出的在 DNN 中提取语义以实现可解释性的建议。B&W 的建议是遵循以下原则：
输入图像被标记为“建筑”，因为通常激活轮毂盖的隐藏神经元 41435 的激活值为 0.32。如果隐藏神经元 41435 的激活值为 0.87，则输入图像将被标记为“汽车”。
要了解为什么这不会导致可解释性，只需注意要求神经元 41435 的激活为 0.87 是不够的。为简单起见，假设神经元 41435 只有两个输入，x1 和 x2。我们现在所拥有的如下图 1 所示：
图注：拥有两个输入的单一神经元的输出为0.87
现在假设我们的激活函数 f 是流行的 ReLU 函数，那么可以产生 z = 0.87 的输出。这意味着对于下表中显示的 x1、x2、w1 和 w2 的值，可以得到 0.87 的输出。
表注：多种输入方式都可以产生0.87的数值
查看上表，很容易看出 x1、x2、w1 和 w2 的线性组合有无数个，它们会产生输出 0.87。这里的重点是 NN 中的组合性是不可逆的，因此无法从任何神经元或任何神经元集合中捕获有意义的语义。
为了与 B&W 的口号“没有语义就没有解释”保持一致，我们声明永远无法从 NN 获得任何解释。简而言之，没有组合性就没有语义，没有语义就没有解释，DNN 无法对组合性进行建模。这可以形式化如下：
3. DNN 中的组合性是不可逆的[2]
顺便说一句，DNN 中的组合性是不可逆的这一事实除了无法产生可解释的预测之外还有其他后果，尤其是在需要更高层次推理的领域，如自然语言理解 (NLU)。
特别是，这样的系统确实无法解释一个孩子如何仅从 (
因为这样的系统没有“记忆”，而且它们的组成不能颠倒，理论上它们需要无数个例子来学习这个简单的结构。【编者注：这一点正好是乔姆斯基对于结构主义语言学的质疑，并由此开启了影响语言学半个多世纪的转化生成语法。】
最后，作者强调，三十多年前Fodor 和 Pylyshyn [2]提出了对 NN 作为认知架构的批评——他们展示了为什么 NN 不能对系统性、生产力和组合性进行建模，所有这些都是谈论任何“语义”所必须的——而这一令人信服的批评从未得到完美的回答。
随着解决人工智能可解释性问题的需求变得至关重要，我们必须重新审视那篇经典论文，因为它显示了将统计模式识别等同于人工智能进步的局限性。
版权文章，未经授权禁止转载。详情见 转载须知 。
于月仙50岁不幸离世，有个愿望没能实现，一年后丈夫做法让人动容,本视频由人物赏析提供,543275次播放,好看视频是由百度团队打造的集内涵和颜值于一身的专业短视频聚合平台
优站分类网是自动收录网站，收录各类优秀的中文网站,本站有齐全的导航，查资料网站，查企业网站可以直接使用优站分类来进行查询。
重庆分类目录网站是专注收录各行业优秀的网站！提供网站分类信息检索、整理目录分类排序、按目录行业分类或关键词搜索查询；同时也是网站推广、网站排名、发布外链及提高网站权重等的分类目录平台。
深圳市甲岸科技有限公司专业定制生产等离子设备清洗机、表面等离子体发生器、舒曼电晕机处理设备、塑料管电晕处理机、真空等离子清洗机、氧等离子体清洗机、硅胶表面电晕处理机、金属表面耐磨等离子表面处理机、等离子体表面处理仪、等离子清洗设备等。
深圳市浩太科技有限公司
提供大自然奇观、生态旅行和环保旅游的信息等旅游资讯。
山东济宁嘉祥县红旗水泥制品有限公司是一家专业生产水泥电线杆、水泥电杆的水泥电线杆厂家，为您专业提供2022年的水泥电线杆价格，我公司拥有9条水泥电杆生产线，年生产8米水泥电杆2万根、10米水泥电线杆2.3万根、12米电线杆6万根、15米水泥杆1.6万根，是一家为数不多的大型水泥电线杆厂家电话，期待与您的合作···
浙江金蛋科技有限公司是一家从事科技人才项目引进、科技成果孵化转移、国际人才项目交流合作的科技型企业孵化平台。
武汉铭新荣宇礼盒定做厂家主营武汉礼盒定做,武汉瓦楞纸箱定做,纸箱定做业务多年,在武汉礼盒定制领域具有良好口碑,是值得您信赖的武汉纸箱定做厂家,如需武汉礼盒定做欢迎联系我们！
宜兴市和恒精密陶瓷有限公司主要从事氧化锆陶瓷，氧化铝陶瓷，陶瓷加工，精密陶瓷，耐磨陶瓷，工程陶瓷各类陶瓷结构件的生产、加工、定制。，全国咨询热线:13585038117
【惠合胶体磨研磨设备厂】是专业的胶体磨,高压均质机厂家,快速咨询获取胶体磨价格及参数,请拨打0571-86578098
家政人力资官网
作为一门高度抽象化和具有逻辑推理特性的研究，数学建模似乎离我们很遥远，事实上，日常生活中运用到数学模型解决问题的事例俯拾皆是，打车系统里，算法会匹配距离乘客更近的司机、规划最快到达目的地的行程路线；购物平台上，算法会调配库存充足的出货仓、计算中途的运转站和物流配送车辆......对大部分人来说，使用数学工具是件门槛极高的事情，但大模型...。
4月9日，北京798艺术区，蓝港科技创始人王峰、携手百度度秘事业部总经理景鲲，共同发布了一款搭载百度DuerOS操作系统、主打听觉与互动娱乐的小青AI音箱，比较遗憾的是，现场并未展示该，智能音箱，的交互能力，雷锋网注意到，蓝港互动集团创始人王峰于发布会全程处于较为亢奋的状态，具体表现为不停得拍照——拍展示PPT、拍演讲嘉宾、拍站台捧场...。
2019年CES展开幕当日，海信正式展出自主研发的70吋三色激光电视，这不仅在业界首次将激光电视的尺寸下探到70吋，而且也是首次将三色激光显示技术运用到中小尺寸的电视，其技术难度超乎想象，并形成了与同尺寸液晶电视的正面竞争，这成为2019CES上备受关注的一大技术创新，也将对2019年的彩电市场格局产生重大影响，70吋与100吋三色激...。
资讯体育汽车房产游览教育时兴科技财经文娱更多无阻碍关心版登录视频加载失败，可以刷新试试00，00，00，00介绍曾经究竟了单兵航行器亮相珠海航展，网友纷繁喊话，求定制款，谁能拒绝御剑航行啊?椒点资讯颁布于，......。
郑秀妍在社交平台晒出一组美照，照片里的她衣着吊带泳衣，身披白衬衫，在夏威夷的阳光下绽开愁容，细腰长腿身体超好，...。
不能，桃木被以为具备辟邪的作用，这种崇奉源于中国现代的文明传统，桃木在中国传统文明中被视为一种能够辟邪的东西，具备弱小的风水力气，可以协助人们辟除凶恶的力气，包全家庭安康，依据周易的切实，桃木也可以招财、远离凶煞，起到避邪辟煞的作用，为什么桃木能辟邪疑问一，桃木真的可以辟邪吗，本草纲目，作者李时珍说，桃味辛气恶，故能厌邪气，人常...。
新京报讯，首席记者孙海光，7月1日，亚洲羽毛球联结会和印尼羽毛球协会颁布通告称，在印尼举办的2024亚洲青年羽毛球锦标赛混合集团小组赛中，中国羽毛球队17岁小将张志杰6月30日在较量中突然晕倒，随后被紧急送往医院，但仍于外地期间23时20分逝世，两位医学专家在接受新京报记者记者采访时示意，面对突然昏迷、心脏骤停的患者，第一期间启动高品...。
3个回答，回答期间，2021年7月8日是的，2020年9月8日，有网友爆料，快手方丈李舒克的徒弟宏楠，在低压线下拍摄视频时，钓鱼线不慎触到低压电线异常身...更多对于网红夹包哥遇害因跳舞时和嫌犯对视的疑问>，>，市级司法局是不是有一个人民调解委员会?可以负责轻微刑事案件被害人和嫌疑人双方民事方面赔偿调解?人民调解委员会是依法设...。
花儿为什么这样红电影在星光影院可以观看，依据查问关系资料花儿为什么这样红在星光影院可以收费观看，该影片由新疆维吾尔自治区党委宣传部组织筹划、天山电影制片，怎样下载星光影院星光影院可以经过手机阅读器搜查启动下载，星光影院app官网版是收费观看高清影视剧的手机软件，有着十分流利的播放形式，带有精准搜查配置，可以极速婚配你青睐追的剧，影视资...。
源样明体字体不仅将文字进行个性化处理，而且标点符号也进行了改变。该字体一共7种字重，让你在使用的时候有更多的选择。字体使用也是非常方便的。如果你需要欢迎下载！源样明体ttf简介：源样明体字体粗细适中，字形端正大方得体，包括了Bold、extralight、heavy、
win7aero效果是一个非常好看的桌面效果，能够让系统界面透明化，很多用户看到了之后，都想在自己的电脑上开启，但是不知道win7aero怎么打开
很多安卓游戏都需要手机登陆谷歌账户并且同步数据，因此作为游戏玩家的你，就必须拥有一个谷歌账户了。下面手把手、一步一步教你如何注册谷歌账户。注册谷歌账户必须联网，建议使用速度较快的Wi-Fi网络。由于不同的安卓版本有不同的设定页面，可能前几步有一点小
2013年9月，苹果在iPhone5s发布会上，面向全世界介绍了基于指纹识别的TouchID功能，开启了整个智能手机行业全面走向指纹识别的大潮，四年后，苹果在最新发布的iPhoneX上用FaceID取代了TouchID，又让人脸识别开始风靡整个行业——此后的三代iPhone新品上，TouchID消失无踪，但其实，TouchID并未被苹...。
苹果前员工承认跳槽小鹏汽车前窃取商业机密信息，小鹏汽车发声，与苹果案件无关联8月23日，据报道，被控在跳槽小鹏汽车前窃取苹果汽车部门商业机密的苹果前员工张晓浪向美国圣何塞联邦法院认罪，法庭文件显示，张晓浪与美国政府达成的认罪协议为保密状态，在承认盗窃商业机密的重罪后，他将面临最多10年刑期以及25万美元罚款，本案的量刑宣判计划于11月...。
关于知识管理，曾有一位企业管理者向我们这样表示，他目前最关心的是发展新客户、推出新产品，同时他也会亲自过问财务，其次比较关心的是研发，至于知识管理，确实也是刚需，但优先级可能不比前面这几桩事情高；知识管理的工具又经常建了之后使用率不高，占用开支，他和管理层在推动知识管理建设上的意愿，是相对较弱的，这是较为典型的一种经营思维，管理者认为...。
腾讯首度披露，近六成员工超30岁、员工年流失率上升，马化腾承认腾讯面临挑战，收入利润增速放缓，正借机换挡5月16日，腾讯发布了，腾讯可持续社会价值报告2021，在这份报告中，腾讯详细地披露了自己公司的员工构成，报告显示，2021年腾讯员工总数为68226人，30岁以下的员工为28608人，占比为41.9%，30岁以上的员工为3961...。
中铁建电气化局集团第三工程有限公司联系方式，公司，公司邮箱，该公司在爱企查共有5条联系方式，其中有电话号码3条，公司介绍，中铁建电气化局集团第三工程有限公司是2001，04，27在河北省保定市高碑店市成立的责任有限公司，注册地址位于高碑店市兴华北路57号，中铁建电气化局集团第三工程有限公司法定代表人陈宪祖，注册资本20，000万，元，...。
