神经网络无法实现可解释 重温三十年前对于 NN AI 的批判 (神经网络无法收敛)
随着深度神经网络 (DNN) 用于决定贷款批准、工作申请、批准法院保释等与人们利益息息相关或者一些生死攸关的决定（例如在高速公路上突然停车），去解释这些决定，而不仅仅是产生一个预测分数，是至关重要的。
可解释人工智能 (XAI) 的研究最近集中在反事实（counterfactual）例子的概念上。这个想法很简单：首先制造一些有预期输出的反事实样例并输入到原来的网络中；然后，读取隐层单元解释为什么网络会产生一些其他输出。更正式地说：
下面则是更加具体的一个例子：
然而，一篇由Browne 和 Swift提出的论文[1] (以下简称 B&W）最近表明，反事实示例只是稍微更有意义的对抗性示例，这些示例是通过对输入执行小的且不可观察的扰动而产生的，从而导致网络对它们进行错误分类具有很高的自信度。
此外，反事实的例子「解释」了一些特征应该是什么才能得到正确的预测，但「没有打开黑匣子」；也就是说，没有解释算法是如何工作的。文章继续争辩说，反事实的例子并没有为可解释性提供解决方案，并且「没有语义就没有解释」。
事实上，文章甚至提出了更强有力的建议：
而Walid S. Saba本人则对（1）持悲观态度，换句话说他遗憾地承认我们的失败，以下是他的理由。
虽然大众完全同意B&W的观点，即“没有语义就没有解释”，但解释深度神经网络中隐藏层表示的语义为深度学习系统产生令人满意的解释的希望之所以不能够实现，作者认为，原因正是出自三十多年前Fodor 和 Pylyshyn [2]中概述的原因。
Walid S. Saba接着论证到：在解释问题出在哪里之前，我们需要注意到，纯粹的外延模型（例如神经网络）不能对系统性（systematicity）和组合性（compositionality）进行建模，因为它们不承认具有可再衍生的句法和相应语义的符号结构。
因此，神经网络中的表示并不是真正与任何可解释的事物相对应的“符号”——而是分布的、相关的和连续的数值，它们本身并不意味着任何可以在概念上解释的东西。
用更简单的术语来说，神经网络中的子符号表示本身并不指代人类在概念上可以理解的任何事物（隐藏单元本身不能代表任何形而上学意义的对象）。相反，它是一组隐藏单元，它们通常共同代表一些显着特征（例如，猫的胡须）。
但这正是神经网络无法实现可解释性的原因，即因为几个隐藏特征的组合是不可确定的——一旦组合完成（通过一些线性组合函数），单个单元就会丢失（我们将在下面展示）。
可解释性是“反向推理”
作者讨论过为什么 Fodor 和 Pylyshyn 得出的结论是 NN 不能对系统性（因此是可解释的）推论进行建模[2]。
在符号系统中，有定义明确的组合语义函数，它们根据成分的意义计算复合词的意义。但是这种组合是可逆的——
也就是说，人们总是可以得到产生该输出的(输入)组件，并且正是因为在符号系统中，人们可以访问一种“句法结构”，这一结构含有如何组装组件的地图。而这在 NN 中都并非如此。一旦向量（张量）在 NN 中组合，它们的分解就无法确定（向量（包括标量）可以分解的方式是无限的！）
为了说明为什么这是问题的核心，让我们考虑一下 B&W 提出的在 DNN 中提取语义以实现可解释性的建议。B&W 的建议是遵循以下原则：
输入图像被标记为“建筑”，因为通常激活轮毂盖的隐藏神经元 41435 的激活值为 0.32。如果隐藏神经元 41435 的激活值为 0.87，则输入图像将被标记为“汽车”。
要了解为什么这不会导致可解释性，只需注意要求神经元 41435 的激活为 0.87 是不够的。为简单起见，假设神经元 41435 只有两个输入，x1 和 x2。我们现在所拥有的如下图 1 所示：
图注：拥有两个输入的单一神经元的输出为0.87
现在假设我们的激活函数 f 是流行的 ReLU 函数，那么可以产生 z = 0.87 的输出。这意味着对于下表中显示的 x1、x2、w1 和 w2 的值，可以得到 0.87 的输出。
表注：多种输入方式都可以产生0.87的数值
查看上表，很容易看出 x1、x2、w1 和 w2 的线性组合有无数个，它们会产生输出 0.87。这里的重点是 NN 中的组合性是不可逆的，因此无法从任何神经元或任何神经元集合中捕获有意义的语义。
为了与 B&W 的口号“没有语义就没有解释”保持一致，我们声明永远无法从 NN 获得任何解释。简而言之，没有组合性就没有语义，没有语义就没有解释，DNN 无法对组合性进行建模。这可以形式化如下：
3. DNN 中的组合性是不可逆的[2]
顺便说一句，DNN 中的组合性是不可逆的这一事实除了无法产生可解释的预测之外还有其他后果，尤其是在需要更高层次推理的领域，如自然语言理解 (NLU)。
特别是，这样的系统确实无法解释一个孩子如何仅从 (
因为这样的系统没有“记忆”，而且它们的组成不能颠倒，理论上它们需要无数个例子来学习这个简单的结构。【编者注：这一点正好是乔姆斯基对于结构主义语言学的质疑，并由此开启了影响语言学半个多世纪的转化生成语法。】
最后，作者强调，三十多年前Fodor 和 Pylyshyn [2]提出了对 NN 作为认知架构的批评——他们展示了为什么 NN 不能对系统性、生产力和组合性进行建模，所有这些都是谈论任何“语义”所必须的——而这一令人信服的批评从未得到完美的回答。
随着解决人工智能可解释性问题的需求变得至关重要，我们必须重新审视那篇经典论文，因为它显示了将统计模式识别等同于人工智能进步的局限性。
版权文章，未经授权禁止转载。详情见 转载须知 。
网站排行榜是站长之家旗下专业提供中文网站排名服务的栏目，收集了国内各行业排名前列的众多知名网站，是国内专业、领先的中文网站排行榜。
海口琼山绿夏网络科技工作室是一家从事网站建设、小程序开发、易语言开发，支付系统开发，支付接口集成等为核心的科技工作室。工作室主要以技术研发创新为主，把握互联网行业的需求，利用互联网核心技术为客户提供安全、稳定、快速便捷的一体化解决方案。
俄罗斯卫星通讯社新闻（Sputnik）24小时全天候追踪全球每日热点新闻及时报道国内外最新及重大新闻资讯，内容覆盖国内及国际突发新闻事件。卫星社秉承国际视野，力求及时、客观、权威、独立地报道全球资讯。
4399双人小游戏大全收录国内外双人类小游戏、免费双人小游戏、双人赛车小游戏、双人闯关小游戏、双人小游戏无敌版、双人打僵尸小游戏。好玩就拉朋友们一起来玩吧！
CSDN是全球知名中文IT技术交流平台,创建于1999年,包含原创博客、精品问答、职业培训、技术论坛、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区.
倚栏轩提供经典短句、好句子、好文章在线阅读。包括但不限于伤感、优美短句，好句子大全，好文章摘抄等栏目内容。
道旭物流公司凭借专业能力及服务意识，为客户提供超值的一体化三方物流服务;并不断地创新服务内容，使客户始终能够体验物流公司提供的“安全、及时高效、优质”的服务，全国服务热线4000116156
北京市军鹰星润滑油加工厂
临海市新睿电子科技有限公司_从事电机驱动器及电机等机电产品的研发、生产、销售为一体的高科技企业
材数库提供全球金属材料数据免费查询，已涵盖80+标准体系。涉及材料标准和化学成分、物理、力学性能等数据。快速找到对应的材料牌号及牌号等效组和供货信息
人才职业网rencaijob.com为大型综合型中国及海外全球人才招聘求职网站，提供方向招、团队招、批招批推、招聘会、培训城等招聘求职服务。方向招提供省市国家招聘、行业招聘、毕业生招聘、技工普工招聘、海外全球招聘、外籍招聘、海归招聘、国外工作、一带一路人才招聘、残疾人招聘、退役军人招聘、兼职灵活用工招聘、多语言简历等，以及高级人才猎头服务和招聘外包。
四川黎铭家华建筑工程有限公司
最近有很多玩家私信小编问有没有元宇宙游戏下载大全2022，元宇宙系列游戏也是近几年火爆全网的一种游戏类型，因为大家对现实的生活中充满了压抑，在休息的过程中可以借助游戏暂时的逃离，去到另外一个世界，那小编也给大家推荐了几款非常好玩儿的元宇宙游戏，感兴趣的玩家可以来体验，1、，我的世界，接下来，小编推荐的这款游戏是我的世界，这是一款全新的...。
阿里宣布晋升9名高管，菜鸟总裁万霖、集团副CFO徐宏升至M71月13日，阿里在内网发布了新一轮组织部晋升名单，共37人，涉及所有晋升到级别为P10，资深总监，、M6，副总裁，、M7，资深副总裁，的中高级管理者，其中，刚被提拔为淘宝逛逛负责人的魏萌晋升为P10；菜鸟总裁万霖、集团副CFO徐宏升任为M7，而晋升为M6的高管一共有七位，分别...。
直播吧11月12日讯足协官网确认，25，26赛季亚冠精英联赛中超参赛名额仍为2，1，同时领有1个亚冠二级联赛间接参赛名额，其中中超、足协杯冠军取得亚冠精英联赛间接参赛名额，中超亚军取得亚冠精英联赛非间接参赛名额，各会员协会、相关俱乐部，为明白2025，2026赛季亚足联俱乐部赛事名额事宜，理顺中超联赛、中国足协杯赛与亚足联俱乐部赛事的...。
我于2024年7月15日在淘宝电商平台，静止智能潮品，购置了一款产品名叫，图1，小米米家新款watchGT8遥遥上游版智能运入手表蓝牙通话多配置手环，其商品概略页也是有着小米商标让生产者感觉他们这个是小米手表，图2，但实践上收到货后发现基本不是小米品牌的而是其余的杂牌手表，商家的行为曾经侵犯了生产者权力依据生产者权力包全法规则，当运...。
2022年好用的不限字数的英汉互译软件介绍，咱们在学习外语的时刻经常会碰到一些生词或许生的句子，不少人经常使用手机翻译的时刻经常会被字数或许碰到不要钱的软件，上方小编介绍几个好用的不不要钱的软件，翻译软件在生存中经常使用的频率还是很高的，有些咱们在看电视的时刻，护着咱们购置物品的时刻经常会碰到一些生词不意识的句子等等状况，经常使用手机...。
用什么软件制造鸽子图片这个要看你的技术怎样样了，要是有这方面的技术那就是pohotoshop了，这个软件能使你轻易的加工图片，不过有点复杂，要是偶然的做个图片还不想学习pohotoshop那么你就用光影魔术手了这个软件便捷而且经常使用便捷立马奏成果，不过我倡导你两者接合经常使用那样两个方面都能不充无余，手机上能用的ps软件有哪些，1、...。
在Word中假设产生高低页表格断开的状况，或许是由于页面设置不当或许表格属性设置有误，可以尝试以下方法处置，方法一，调整页面设置1.选中上一页和下一页的段落，即表格高低两个段落，2.在顶部菜单栏当选用，页面规划，选项卡，3.点击，分隔符，选项，而后选用，延续，4.点击，规划，选项，找到，纸张，选项卡，在，换行和分页，中敞开勾选，管...。
记者，谭登方7月11日，有网友爆料称，自己将重庆一警车在高速上别车并且实线变道的视频拍上去颁布到网上后，收到了派出所民警的电话，民正告知该网友，过后这辆警车正在口头义务，11日晚，新黄河记者就此事咨询到重庆市丰都县公安局，其上班人员示意，该警车过后确实是在口头义务，依据该网友颁布的行车记载仪监控视频显示，2024年7月10日下午3时许...。
极星polestar2作为一款中型三厢五座轿车，其保险费用形成如下，首先，每年的交强险费用固定为950元，这是国度法律规则的强迫性保险，每位车主必定购置，而关于车船经常使用税，则按车辆排量计算，极星polestar2的月费用为40元，全年总计480元，商业险的费用则具备更大的灵敏性，详细取决于您选用的险种，介绍购置的险种包含三者责任险...。
6月16日，福建龙岩上杭县蓝溪镇，有湖里村村民反映称抢先水库开闸放水，洪水水位极速下跌造成屋宇倒塌，有亲人被埋可怜离世，梅永村应该是重灾区，日前，蓝溪镇梅永村村民苏先生打进华商报微风资讯热线，反映同日水库泄洪没有提早通知村民及时转移，形成黄潭、湖里、岐滩、梅永、蓝溪和觉坊等6个村落被淹，他们村有7位老人未能及时转移罹难，蓝溪村大桥...。
黑云一键重装系统只需按“确认”剩下只需要等着就可以了。直到把你的电脑还原成一个最初装机的状态。你不需要在去找驱动，只要你的电脑是2000年以后的电脑，全部自动安装最新最稳定的驱动。不安装任何流氓软件，所有常用软件，也由你自己选择安装。更新说明1，修改
星际殖民地中文版是一款结合自动化和探索程序生成的无尽宇宙探索游戏。探索无尽的宇宙，创造最高效的殖民地
十一，期间走访家电卖场时却发现，以往热闹的黄金周彩电销售景象并没有回归，有关分析认为，随着互联网电视掀起的价格战逐渐退潮，对于正处于存量市场的彩电行业来说，，技术，场景，尺寸，健康目前成为了各大企业竞逐的主旋律，互联网电视，熄火，近日，一则广电总局要求在今年底前实现开机就看电视，开机广告、关机广告将不再被允许的消息，这对于饱受互...。
智能化科技已然融入到各行各业中，其中无人售货机发展潜力颇大，韵意心无人售货店打造智能无人售货店，以二十四小时自动售货的模式，让店面经营三百六十五天天天有账进入，红火发展效应和契机下，也让品牌总部面向市场诚邀加盟合伙人，那么怎么加盟韵意心无人售货店，加盟费多少钱，怎么加盟韵意心无人售货店设备采用全钢加厚机身，安全坚固，自重约一千斤，安全...。
春节后的第一个小长假即将来临，不少人已经筹备着在春暖花开之际，来一场说走就走的中短途自驾游，对于近些年来数目增长迅速的新能源车主们来说，亦是如此，但其中就会涉及到这个群体老生常谈的问题——续航焦虑，早在年前，高德地图就推出了全球首个具备自学习能力的新能源导航服务，能够综合坡度、气温、路况变化等全方面因素，提供更精细化的能耗计算、路线规...。
小米手机是一款性价比极高的手机品牌，但是有时候我们会遇到喇叭破音的问题，这不仅影响了我们的通话和音乐体验，也会让我们感到非常困扰，那么，小米手机喇叭破音怎么办呢，下面，我们就来详细介绍一下小米手机喇叭破音修复方法，清洁喇叭网小米手机喇叭网上会积累很多灰尘和污垢，这些污垢会影响喇叭的正常工作，导致破音，因此，我们可以用软刷或者牙刷轻轻刷...。
创维天赐系统可以先打开ADB，然后通过悟空遥控器或者电视应用安装器进行推送安装软件，具体方法如下，一、打开电视，系统设置，，选择，本机信息，，然后遥控器按，上上下下左右左右，键，进入，工厂菜单，打开常用开关后，将ADB打开；二、打开手机自带的应用市场，然后搜索下载，悟空遥控器，；三、确认手机与电视处于同一网络下，否则无法识别设备，，选...。
