一致地解释深度神经网络 准确 革命性的新方法 裴健团队KDD新作 (解释一致原则)

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

雷锋网 AI 科技评论按:你有没有想过,深度神经网络是依据什么来准确识别有猫的图片的?随着深度神经网络在金融、医疗及自动驾驶等领域的广泛应用,深度神经网络无法明确解释自身决策行为的问题也引起了越来越多的关注。明确解释深度神经网络的决策行为,能够大幅提升各类用户对深度神经网络的信任,并显著降低大规模使用深度神经网络所带来的潜在风险,是基于深度神经网络的人工智能应用成功落地的重要一环。

论文视频简介

雷锋网 AI 科技评论近期也有多篇文章从不同角度探讨了深度神经网络的可解释性。总的来说,现有的三种解释方法都有各自的问题。

「隐层神经元分析方法」(Hidden Neuron Analysis Methods)

该方法通过分析和可视化神经网络中隐层神经元的局部特征来解释深度神经网络的行为。以谷歌的研究《 谷歌的新CNN特征可视化方法 》及其后续的《 可解释性的基石 》为例,这类方法能够有效提取隐层神经元学到的局部特征,但无法明确解释深度神经网络的整体行为。

「模仿者模型方法」(Mimic Model Methods)

该方法通过训练一个可解释的 模仿者模型 来模仿和解释深度神经网络。在输入相同的前提下,模仿者模型具有与深度神经网络相似的输出。因此,有研究人员利用模仿者模型来解释深度神经网络。但是,模仿者模型和被模仿的神经网络并非完全相同。即便两个模型在某些相同的输入上具有相似的输出,其内部的决策机制也可以有很大的区别。因此,模仿者模型无法准确地解释深度神经网络。

「局部解释方法」(Local Interpretation Methods)

该方法首先在输入实例的邻域内采样一组 近邻实例 ,然后训练一个线性模型来拟合神经网络在近邻实例上的决策输出,最后使用线性模型的决策特征来解释该神经网络对输入实例的决策行为。这类方法有两点问题。首先,因为线性模型与神经网络并不相同,所以局部解释方法无法提供准确解释。其次,由于线性模型的决策特征依赖于近邻数据,而通过采样获得的近邻数据具有很强的随机性,因此这类方法对相似输入实例的解释可能非常不一致,对同一输入实例的多次解释也有可能不同。

综上所述,虽然上述方法能够增进我们对于神经网络工作机制的理解,但是它们无法对深度神经网络的行为提供准确、一致的解释。

我们为什么需要准确、一致的解释?

首先,如果一个解释是不准确的,我们就无法确定解释结果和模型的真实决策是否相符,解释本身就是不可信的。其次,如果对于多个相似实例的解释不一致,我们将不可避免地遇到多个解释自相矛盾的情况,解释的有效性也会因此受到质疑。

准确、一致的解释符合人类认知的客观规律。但是,对于错综复杂的深度神经网络,我们能否找到准确、一致的解释方法呢?

西蒙弗雷泽大学(Simon Fraser University,SFU)计算科学学院裴健教授团队的论文《Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution》(图 1)不仅为这个问题给出了肯定的答案,更给出了一种形式优美的解析解,在大家关注的模型解释性的多个方面都取得了出色的表现。

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 1: 论文标题及作者列表

雷锋网 AI 科技评论把论文的主要内容介绍如下。

这篇论文研究了以 分段线性函数 为激活函数的 分段线性神经网络(Piecewise Linear Neural Network, PLNN) 。分段线性函数在不同的定义域区间内对应不同的线性函数。经典的 MaxOut 、ReLU以及ReLU的一些变体都是分段线性函数。从微分学的角度来看,只要分段数目足够多,连续光滑的 sigmoid 、tanh 等激活函数也都可以用分段线性函数来无限逼近。

与现有的规范做法一样, 该论文通过求解一个分段线性神经网络的决策特征来解释的决策行为。但与现有方法大为不同的是,论文对的解释具有如下两个独特的优点

1. 准确性(Exactness) :该论文构造了一个具有简洁 解析形式 的新模型,并证明了和在数学上等价。因此,的决策特征能够 准确 描述的真实决策行为。

2. 一致性(Consistency) :该论文证明了是一个分段线性函数,并以 解析形式 给出了在其定义域中的各个分段区间,以及在每个区间上的线性决策函数。因为在相同分段区间中的所有输入实例共享同一个线性决策函数的决策特征,所以由模型对这些输入实例所提供的解释是 完全一致 的。

OpenBox - 通向准确性和一致性的金钥匙

该论文的作者们提出了全新的 OpenBox方法对分段线性神经网络(PLNN)的决策行为提供准确、一致的解释。「OpenBox」 这个名字也很贴切地描述了作者们使用简洁的解析方法「打开」深度神经网络这个「黑盒子」的过程。

OpenBox 方法适用于所有 PLNN。本文将用以 PReLU 为激活函数的 PLNN 为例子详细介绍 OpenBox 方法的技术要点。

1. 对单个输入实例的准确解释方法

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 2:隐层神经元的激活状态(status)

如图 2 所示,对于以 PReLU 为激活函数的隐层神经元,其 激活状态(status) 分为两种情况:(1)当 status = 0 时,< 0,该神经元使用左半段的线性函数来建立输入和输出之间的映射关系;(2)当 status = 1 时,>= 0,该神经元使用右半段的线性函数来建立到的映射。 值得注意的是,不论神经元处于何种激活状态,和之间的映射关系始终是线性的

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 3:一个 PLNN 和其隐层神经元的激活状态

如图 3 所示,给定一个输入实例,我们可以将所有隐层神经元的激活状态按绿色虚线所示的顺序排列成一个向量 Conf()。这个向量被称作 PLNN 对输入实例的 配置(Configuration)

由于 PLNN 的网络结构和参数都是给定的,所有神经元的激活状态都唯一依赖于输入实例,因此 Conf() 由输入实例唯一决定。因为本身是一个给定的常量,所以 Conf() 也是一个常量。因此,图 3 中 PLNN 的每个隐层神经元的运算实质上都是由常量 Conf() 所确定的线性运算。因为一系列线性运算的嵌套依然是线性运算, 所以在Conf()为常量的情况下,PLNN中所有隐藏层的运算整体等价于一个简单的线性运算

综上所述,对于任意给定的输入实例,整个PLNN严格等价于如公式1所示的线性分类器。其中,二元组(,)以解析形式准确地给出了该PLNN对于输入实例x的决策平面。 (注:证明及求解过程请参见原文)

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

公式 1

显然,解释 PLNN 在单个输入实例上的决策行为并不能很好地解释 PLNN 的总体行为。下面我们将介绍 OpenBox 如何解释 PLNN 的总体行为。

2. 对一个分段线性神经网络的准确、一致解释方法

作者们发现,在 PLNN 的网络结构和参数给定的情况下,公式 1 中的线性分类器由 Conf() 决定。 这意味着对于任意两个不同的输入实例和而言,只要Conf()=Conf(),和就共享同一个线性分类器,而且对和的解释也将完全一致

那么,输入实例和需要满足什么条件,才能使 Conf()=Conf() 呢?

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 4:在 Conf() 给定的情况下,每一个隐层神经元的输入所必须满足的不等式约束

通过进一步推导,作者们发现在 Conf() 给定的情况下,每一个隐层神经元的输入都必须满足由该神经元激活状态所决定的不等式约束。图 4 给出了当 Conf(x) = [1, 0, 1, 0, 0, 1, 1] 时, PLNN 的所有隐层神经元的输入z必须满足的一组 线性不等式约束

因为每个隐层神经元的输入都是输入实例的线性函数,所以这组关于输入的线性不等式约束实质上是对输入实例的一组线性不等式约束。我们将这组线性不等式约束的集合定义为。

很显然,所有满足中线性不等式约束的输入实例都具有相同的Conf(),因此这些实例共享同一个线性分类器,并具有完全一致的解释。

实质上,中的每一个不等式都定义了一个线性边界,所有线性边界一起组成了一个 凸多面体(Convex Polytope,CP) 。在凸多面体中的所有输入实例都满足中的所有不等式,因此这些输入实例都具有相同的 Conf(),并且共享同一个线性分类器。我们把这个存在于局部区域的凸多面体和它所对应的线性分类器统称为 局部线性分类器(Local Linear CLAssifier,LLC)

对于任意给定的PLNN,不同的隐层神经元激活状态对应着不同的Conf(),而每一个Conf()都确定了一个局部线性分类器。因此,一个PLNN严格等价于一组局部线性分类器。我们把这组局部线性分类器的集合标记为,并将其作为PLNN的解释模型。

因为和PLNN是等价的,而且同一个凸多面体中的所有实例都共享同样的解释,所以由所得到的解释是准确且一致的。

给定一个输入实例,我们如何使用来解释 PLNN 对的决策行为呢?

首先,我们从中找到所属的局部线性分类器。然后,我们解析出该局部线性分类器的 决策特征(Decision Feature) 以及其凸多面体的 边界特征(Polytope Boundary Feature,PBF) 。最后,我们使用决策特征来解释 PLNN 对的决策行为,并使用边界特征来解释被当前局部线性分类器包含的原因。

论文还对计算的时间复杂度进行了严格的理论分析和证明。 对于个不同的输入实例,若每个输入实例的特征维数为,OpenBox解释所有输入实例的时间复杂度仅为O()。因为特征维数通常被看作常量,所以OpenBox的时间复杂度是线性的。

作者们把OpenBox和目前最顶级的解释方法LIME[Ribeiro.KDD 2016]做了实验对比。实验重点关注以下五个问题:

1. 局部线性分类器长什么样?

2. LIME和OpenBox给出的解释是否准确、一致?

3. 局部线性分类器的决策特征易于理解吗?如果附加非负、稀疏约束,能继续提升这些决策特征的语义特性吗?

4. 如何解释局部线性分类器的边界特征(PBF)?

5. 利用 OpenBox提供的解释,我们能否构造新样本来欺骗 PLNN?能否查出 PLNN 在某些样本上做出错误决策的原因?

实验一:合成数据集可视化局部线性分类器

如图 5(a) 所示,作者们通过二维欧式空间中的均匀采样生成了一个包含 20,000个实例的合成数据集 SYN。其中,红色和蓝色样本点分别代表正例和负例。

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 5:OpenBox 在合成数据集 SYN 上的实验结果

由于实验目标是可视化模型中的所有局部线性分类器,整个实验过程无需使用测试数据,因此作者们使用 SYN 中的所有样本来训练 PLNN。图 5(b)显示了 PLNN 在 SYN 上的预测结果。

图 5(c) 可视化了模型中每一个局部线性分类器对应的凸多面体。 作者们用相同的颜色标出了属于同一个局部线性分类器的所有实例,发现属于相同局部线性分类器的实例都包含于同一个凸多面体(在二维空间中表现为凸多边形)。显然,这个结果完全符合论文的理论分析。

图 5(d) 展示了构成模型的决策边界的所有局部线性分类器。图中的每一条实线都表示一个局部线性分类器的决策边界,这些局部线性分类器共同构成了模型的总体决策边界。对比图5(b)和5(d)可以发现模型的总体决策边界和PLNN的决策边界完全一致。这个结果证实了模型和PLNN之间的等价性。

实验二:FMNIST 数据集验证解释的准确性和一致性

该实验在 FMNIST 数据集上对比了 LIME 和 OpenBox(模型M)所提供解释的准确性和一致性。

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 6: OpenBox 和 LIME 在 FMNIST-2 数据集上的准确性(Exactness)和一致性(Consistency)

首先,作者们通过比较 LIME、OpenBox(模型)和PLNN 对 FMNIST-2 数据集中 600 个测试样本的决策输出来衡量 LIME 和 OpenBox 各自解释模型的准确性。如图 6(a) 所示,LIME的决策输出和 PLNN 的决策输出有着很大不同,这说明 LIME 的解释模型和 PLNN 非常不同,因此它无法准确解释 PLNN 的决策行为。相比之下,OpenBox 计算出的模型和 PLNN 对于所有测试样本的决策输出完全相同,这说明模型M等价于PLNN,因此它能够准确地解释 PLNN 的决策行为。

随后,作者们使用输入实例和其最近邻实例的解释结果的余弦相似度(Cosine Similarity)来衡量 LIME 和 OpenBox 所提供解释的一致性。余弦相似度越高,解释模型所提供解释的一致性就越高。如图 6(b) 所示,由于模型对同一凸多面体内的实例提供完全相同的解释,OpenBox的余弦相似度几乎总保持为1。但是最近邻实例与 输入实例并不总是属于同一个凸多面体,因此 OpenBox 在某些实例上的余弦相似度小于 1。相比之下,LIME 的余弦相似度远低于 OpenBox,这说明 OpenBox 所提供解释的一致性远高于 LIME。

实验三:OpenBox 提取的决策特征具有人类可理解的强语义特点

除了准确性和一致性,一个好的解释还必须具有人类可理解的强语义特点。在本实验中,作者们将 OpenBox 在 FMNIST-1 数据集上提取的决策特征可视化,发现这些特征具有易于理解的强语义特点。

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 7: OpenBox 和逻辑回归(Logistic Regression,LR)在 FMNIST-1 数据集上的决策特征(Decision Feature,DF)

图 7(a) 和 7(f) 给出了 FMNIST-1 中的两类图像的平均图(Average Image)。其中,图 7(a) 对应正例样本 短靴(Ankle Boot) ,图 7(f) 对应负例样本 包包(Bag)

作者们训练了多个罗辑回归模型(Logistic Regression,LR)作为基线(Baseline)。其中,LR 模型是以短靴为正样本训练得到的,LR-F 模型是以包包为正样本训练得到的,LR-NS 和LR-NSF分别是在 LR 和 LR-F 的基础上附加稀疏、非负约束得到的。此外,作者们还训练了两个 PLNN 模型作为 OpenBox 的解释对象。其中,PLNN 是以短靴为正样本训练得到的,PLNN-NS 是在 PLNN 的基础上附加稀疏、非负约束得到的。

图 7 给出了上述所有模型的决策特征,其中 PLNN 和 PLNN-NS 的决策特征由 OpenBox 提供。很明显,PLNN 的决策特征与 LR 和LR-F 的决策特征具有极为相似语义。将这些决策特征与图 7(a) 和 7(f) 中的平均图仔细对比可以发现,这些决策特征准确地描述了短靴和包包之间的差别。更有趣的是,PLNN 的决策特征比 LR 和 LR-F 的决策特征包含了更多细节信息。这是因为 PLNN 的每一个局部线性分类器仅需区分包含于凸多面体中的一小部分样本,所以 PLNN 能够使用大量的局部线性分类器捕捉更多细节特征。然而,LR 和 LR-F 只能使用一个线性平面划分所有正负例样本,因此它们只能捕捉大量样本的平均差异。因为 PLNN 捕捉到了更多细节特征,所以它取得了比 LR 和 LR-F 好得多的分类精度。

通过对比 PLNN-NS,LR-NS 和 LR-NSF 的决策特征,我们发现非负、稀疏约束对于增强 PLNN-NS 决策特征的语义同样有效。我们还观察到 PLNN-NS 捕获了比 LR-NS 和 LR-NSF 多得多的细节特征,也因此取得了相对较高的分类精度。

实验四:OpenBox 提取的边界特征也具有很强的语义特性

关于 OpenBox 所提取的局部线性分类器,不仅其决策特征具有很强的语义特点,其凸多面体的边界特征也具有很强的语义特性。

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

图 8: OpenBox 在 FMNIST-1 数据集上提取的边界特征(Polytope Boundary Feature,PBF)

在本实验中,作者们在 FMNIST-1 上训练了一个 PLNN,并用 OpenBox 解析出该 PLNN 的三个局部线性分类器对应的凸多面体。图 8(a)-(d) 给出了这些凸多面体的边界特征,它们分别对应了{包包,短靴,包包,包包}。图 8(e) 给出了定义这些边界特征的线性不等式,以及其对应的凸多面体中所包含的各类别样本数量。关于图 8(e) 中的线性不等式,「/」代表该不等式定义的边界为无效边界;「> 0」代表凸多面体内的样本与该不等式的边界特征具有很强的相关性;「<= 0」 代表凸多面体内的样本与该不等式的边界特征没有强相关性。

以图 8(e) 中的第一个凸多面体为例,由其线性不等式的状态可知该凸多面体所包含的样本与图 8(b)-(c) 中短靴和包包的边界特征有强相关性。因此,第一个凸多面体中包含了大量的短靴和包包。类似的,对图 8(e) 中的第二个凸多面体而言,其中的样本仅与短靴的边界特征呈正相关,因此该凸多面体中的样本仅有短靴而没有包包。通过上述实验结果不难看出, OpenBox 提取的边界特征具有很强的语义特性

除了上述精彩实验,作者们还利用 OpenBox 提供的解释来构造欺骗 PLNN 的新样本,以及查找 PLNN 在某些样本上做出错误决策的原因。在这些有趣的任务上,论文中的实验也给出了明显优于现有方法的结果。

作者们通过证明分段线性神经网络严格等价于一组局部线性分类器,以简洁的解析形式给出了一种准确、一致且高效的神经网络解释方法——OpenBox。大量实验结果表明,OpenBox 不仅可以准确、一致地描述分段线性神经网络的总体行为,还能够对分段线性神经网络进行有效的欺骗攻击和错误查找。作者们谈到,他们将继续拓展这一方法,使其能够有效地解释使用连续、光滑激活函数(如:sigmoid、tanh)的深度神经网络。

详细内容请参见原论文:

本文协助撰写:论文第一作者,褚令洋博士。

更多会议内容报道、优秀论文解读,请继续关注雷锋网AI 科技评论

参考文献

[1]Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "Why should i trust you?: Explaining the predictions of any classifier."Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge DISCovery and target="_blank">转载须知。

裴健团队KDD新作:革命性的新方法,准确、一致地解释深度神经

全局中部横幅
常州高端冷库,冷库厂家,星级酒店冷库,医药试剂库,化工防爆库,食品速冻库,蔬菜保鲜库,常州冷库板厂家

常州明珠制冷设备有限公司成立于2006年,地域位于富庶的太湖之滨江苏常州,属冷库保温结构国内领先的生产基地。公司凭借强大的营销网络及高质量的设计能力、生产工艺、技术实力和无微不至的售后服务体系,经过多年的发展公司目前已拥有完善的设计、生产、销售、安装、总员工150余人的规模。 公司严格要求每一位员工立志于每一个细节·每一套设备都是样板精品工程!

找住家保姆,月嫂,育儿嫂,照顾老人小孩子阿姨

来橙网找带小孩子保姆,月子保姆,专业育儿嫂,育婴师,照顾不能/半自理老人,烧饭保洁阿姨,住家保姆多少钱_价格。众多专业的住家保姆任您挑选。

广东群英工业材料有限公司

广东群英工业材料有限公司专业研发、生产、销售各种工程塑料、绝缘材料、硅橡胶制品,工业传动带及有色金属制品。一直以来公司本着诚信经营,共创双赢的经营理念为广大客户提供优质的产品及配套服务,赢得广大客户的一致信赖、尊重、认可。本公司目前在汕头、深圳、广州、苏州、温州都有大型的配送仓库及生产加工中心,货物库存充足。能够为广大客户提供快捷、便利的服务。让我们携手向前、一起奋斗、共同进步,共同成功。产

UU在线工具

UU在线工具是一个免费便捷的在线工具站,无需下载,即来即用,简洁高效,让数据处理更简单和高效。

江阴外贸谷歌推广

江苏小度网络运营服务有限公司定位于全网数字营销专家,公司服务范畴有:google优化推广,外贸seo整站优化,谷歌推广竞价广告,词条创建,百度seo推广,内外贸网站建设,以及facebook推广,外贸代运营等服务。拥有专业海外推广团队及执创人员,十年以上专业内外贸推广经验,为您的网站量身定制打造高质量的流量及询盘。

在线教育系统

科汛云开店是国内领先的在线教育网校系统和教育软件提供商,提供标准及定制化网校系统和SAAS平台网校、网校搭建、学校SCRM、线上直播课堂教学,为您提供包括网校管理、数据统计、招生方案、考试测评、教学教务等在内的专业在线教育网校系统解决方案。

中企泽远是专注

中企泽远资产评估公司是国家财政部授权的评估机构,国家评估协会会员单位,全国36个城市设有分支机构。公司秉承着道德,职业,信仰三位一体的原则,全方位打造企业文化,提倡主动服务于客户,做企业综合服务的领导者!

友映

友映,异地情侣最火社交应用,情侣,社交应用,边看边聊。

上海卓之越信息技术有限公司

上海卓之越信息技术有限公司(BESTCONSULTING)成立于2007年,是一家专注于SAP实施服务、大模型AI应用开发、数据治理、安全运维服务的技术服务提供商。从事的领域涉及SAP实施及运维服务、数据分析、零代码数据治理、大模型AI应用开发、安全运维服务等。

全局底部横幅