信息瓶颈 再解读 携手 聚焦 信息压缩 MIT 理论 IBM (信息瓶颈算法)
深度学习的发展带给人工智能领域的影响可谓是革命性的，然而该领域目前还存在很多未解决的问题，其中就包括不可解释性等问题。而希伯来大学计算机科学家和神经学家Naftali Tishby 等人提出的「信息瓶颈」理论，则尝试来解决神经网络的一系列问题，自提出以来便一直受到 AI 界的广泛关注。IBM 研究院也开展相关研究来分析这一理论，以期能够解决神经网络中的某些问题，相关成果发表在 IBM 研究院官网博客上，雷锋网 AI 科技评论编译如下。
虽然对于神经网络理论的研究工作日趋增多，但我们对于深度学习的宏观行为理解仍存在许多不足之处。例如，训练期间由哪些因素驱动内部表征的演变、学习到的表征属性以及如何充分训练神经网络去处理信息等方面存在的问题，一直都没有得到解决。此外，我们对于神经网络的了解大多数都源于揣测，而缺乏实证。
「信息瓶颈」理论试图解决上述这些问题。作为 MIT- IBM Watson AI 实验室双方密切合作的成果，我们在 2019 年国际机器学习大会（ICML）会议论文「深度神经网络中信息流的评估」（Estimating Information Flow in Deep Neural Networks），从数学和经验的角度对「信息瓶颈」理论进行了分析，其中更是特别聚焦于其预测的「信息压缩」现象。
「信息瓶颈」理论（Schwartz-Ziv & Tishby 2017 年论文等，见参考文献）试图解释涉及信息压缩的神经网络泛化问题，这个概念是指在神经网络学习对输入编码时，输入 X 和隐藏层 T（图 1）之间的互信息在训练过程中迅速上升，之后在神经网络学习丢弃与任务无关的非关联信息（图 2）时，该互信息缓慢下降（压缩）。每一个连续的层都被视为在不断压缩输入。最终证明，这种淘汰掉无关信息的方式，可以使分类器的泛化效果更好，因为这样的话，当被给定一种新的此前从未见过的输入，神经网络仅仅提取出相关信息，而不会受到无关信息的误导。
图 1：深度神经网络的前馈（假设的）
图 2：信息瓶颈。图中显示了训练过程中 5 个隐藏层中互信息的轨迹
虽然某种程度上这是一个较为诱人的观点，但遗憾的是，当网络是确定性的时候，输入 X 和隐藏层 T 之间的互信息并不依赖于网络参数（而在实践中，几乎所有的神经网络都是确定性的）。为了解决这个问题，先前的工作通过对每个神经元进行分箱处理（量化）和互信息进行计算（成为分箱隐藏层的离散熵），得出互信息的估计值。图 3 表明该计算与分箱大小高度相关，从而证实它并没有对互信息进行计算。
图 3：分箱估计的不连续性
噪声神经网络与互信息评估
当网络是确定性的时候，互信息是非信息性的，而当网络是随机性的时候，互信息是富信息性的。因此，我们通过在每个神经元输出中添加高斯噪声 Z 来定义形成的噪声神经网络（图 4）。这种噪声同时存在于神经网络的训练和测试中，从而使相关的互信息评估变得有意义。在这种情况下，我们提出了一种有效的互信息评估方式，它能以极大极小最优速度收敛为真实的互信息（且不依赖于分箱）。
将聚类作为压缩的驱动因素
我们的论文通过将单神经元分类和噪声通道上的信息传输联系起来，能够开发出一个数学直觉，即信息压缩（在随机网络中严格观察或在确定性网络中使用分箱估计）通常都应该由内部表征聚类引起。具体来说就是，在隐藏表征 T 中，映射同一类 Y 的不同输入 X 的隐藏层与彼此越来越接近。
要从经验上评估这一点，可参考 Schwartz-Ziv、 Tishby 在其 2017 年一篇论文中提出的数据和模型，该模型使用具有双曲正切函数（tanh）激活的全连接 12-10-7-5-5-4-3-2 体系结构对 12 维输入进行二进制分类。图 5 显示了标准偏差 0.005（测试精度 97%）的加性噪声结果，说明了各训练期中互信息估计、训练/测试损失和不断演变的内部表征之间的关系。互信息的上升和下降对应着表征在每一层中的扩展或聚合程度。例如，当高斯函数开始沿着一条曲线彼此偏离时（参见顶部第 5 层隐藏表征的散点图），在 28 epoch 之前，互信息一直呈增长趋势；到 80 epoch 左右，它们开始聚合，互信息随之下降。随着训练的进行，饱和的双曲正切单元将高斯函数推到立方体的相反角落，进一步减少了互信息。
图 5：训练过程中的 I(X;Y) 压缩。最上面一行显示的是在选定 epochs 中隐藏表征的最终层的散点图，按颜色进行类标签编码
如图 6 所示，我们使用权重的正交规范化规则（Cisse 等人 2017 年论文），不仅可以消除这种压缩，实际上也改进了泛化。隐藏表征不再聚合在一起，这与信息压缩的缺失是直接对应的。我们在这方面进行了更多的实验，从而有力地证实了信息压缩是由聚类引起的。
图 6：使用正交规范化消除压缩
由聚类引起的「压缩」概念之所以重要，基于两个原因。首先，它揭开了「信息压缩」的神秘面纱，用一个更具体的公式取而代之。其次，它为直接研究聚类打开了大门，聚类可能不会遭遇源自与互信息估计相关的维数的极端「诅咒」（我们证明了样本复杂度在维数上呈指数级增长）。事实上，我们能够将聚类的若干（初步的）测量方法延展到针对 MNIST 扫描数字任务进行分类的全卷积神经网络上，从而在训练过程中观察到类似的「压缩」行为。
此外，与「信息瓶颈」理论相反，我们发现压缩对于泛化来说并不是必要的，不过，鼓励使用压缩（通过几何聚类）是否能够促进更好的泛化性能仍然是一个有待解决的问题。
参考文献：
[Shwartz-Ziv, R. and Tishby, N. Opening the black box of deep neural networks via information. arXiv:1703.00810, 2017]
[Cisse, M., Bojanowski, P., Grave, E., Dauphin, Y., and Usunier, N. ParsEVAl networks: Improving robustness to adversarial examples. In Proceedings of the International Conference on machine Learning (ICML), 2017]
via：
原创文章，未经授权禁止转载。详情见 转载须知 。
网址大全(m.duba.com)——安全实用的上网导航。及时收录各种分类的优秀网站,提供简单便捷的上网导航服务。安全上网，从网址大全开始。
浙江国富装饰24小时服务热线：13777594082(微信同号),公司专业承接办公室厂房、教育培训、餐饮酒店、美容医美、口腔医院、展厅展馆、健身运动等各式工装装修设计项目,年行业经验,设计乙级施工贰级资质,欢迎您的咨询！
对电脑一窍不通零基础从哪开始学，小白买电脑怎么不被坑，文员必会的电脑常用知识，提高你的工作效率，基础的电脑故障维修方式，如果你对计算机知识感兴趣，欢迎来到电脑知识网！
上海秘莱科技有限公司成立于2024年03月21日，注册地位于上海市崇明区绿华镇富华路79号（上海绿华经济开发区），法定代表人为李林。经营范围包括一般项目：技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广；网络与信息安全软件开发；网络技术服务；互联网销售（除销售需要许可的商品）；软件开发。（除依法须经批准的项目外，凭营业执照依法自主开展经营活动）
JRS直播吧所有喜欢足球吧的小伙伴们提供了欧洲杯直播，足球直播，英超直播，以及低调看直播和NBA直播吧的精彩新闻资讯，是一个专业的JRS直播吧网站哦！
广东钲捷智能科技有限公司:车铣复合机床
霍山汇能汽车零部件制造有限公司
巧房专业房产管理系统，为小店、直营连锁、集团加盟等不同规模的房地产中介提供房源管理、营销获客、交易财务管理等房产业务全场景的系统服务，找好房上巧房。
广东宏诚石油集团有限公司
雷神众测,安全众测,红队服务,网络安全,BugBounty,RedTeam|BountyTeam，加入雷神众测网聚优秀的安全力量连接数万白帽,快速发现企业安全问题
傲神传作为一款3D免费网络游戏，利用先进的立体图像技术完美地把中国神话传奇世界的展现出来，优质的网络技术支持，让傲神传游戏顺畅轻松，pk精彩；aszol.com是傲神传唯一官方网站，当前傲神传为完全免费游戏模式。
浙江至德钢业有限公司专业生产不锈钢管件厂家，产品有不锈钢弯头,等径三通,异径四通,偏心大小头,同心异径管,不锈钢封头,管帽,翻边,法兰等，也可以根据客户要求制造非标管件。
深度学习的发展带给人工智能领域的影响可谓是革命性的，然而该领域目前还存在很多未解决的问题，其中就包括不可解释性等问题，而希伯来大学计算机科学家和神经学家NaftaliTishby等人提出的，信息瓶颈，理论，则尝试来解决神经网络的一系列问题，自提出以来便一直受到AI界的广泛关注，IBM研究院也开展相关研究来分析这一理论，以期能够解决神经...。
随着人们对休闲娱乐方面的需求越来越高，儿童乐园的发展也是如火如荼，现在很多人都想智慧之选创业，尤其是想智慧之选儿童乐园这样一个不错的项目，近不少创业者问小编，在商场里开一个儿童乐园怎么样，好吗，下面儿童乐园对此为大家做一个分析，1、商场人流量多我们知道，儿童乐园的核心就是人流量、客流量，而商场就是一个人群聚集地，人都是一种群聚类动物，...。
编者按，本文作者为美国数据分析专家BilalMahmood，他是用户数据分析平台Bolt的创始人之一，在本文中，他详细介绍了一种称为K，MeansClustering，k均值聚类，的算法，其中包括如何衡量算法效果，以及如何确定你需要生成的数据段集数量，雷锋网编译整理，更多AI开发技术文章，关注AI研习社，微信号，okweiwu，Bi...。
在你入门之前，我强烈建议你学几门机器学习的入门课程来掌握一些诸如聚类、回归、评估指标等基本概念，1.科尔辛基大学的ElementsofAI注，我已经学了许多线上的机器学习课程，我上一些课的本意是为了娱乐，不过总能学到一些新知识，ElementsofAI这门课是我参加过的最易懂，免费且有趣的AI课程之一，他们增加了第二部分联系构建，我...。
雷锋网AI掘金志按，7月12日，7月14日，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，在大会第三天的〖智能商业专场〗，阿里巴巴集团副总裁、CEO助理肖利华，京东零售首席科学家兼技术副总裁胡鲁辉...。
新春伊始，在严监管态势下沉寂已久的消费金融行业，终于迎来了一次，创新，萌芽，日前，重庆市政府在官网披露了，重庆市金融改革发展，十四五，规划，2021—2025年，以下简称，规划，，文件指出，探索将消费金融公司改制为数字银行，规划，指出，提升消费金融服务能力，发挥好消费金融领域人才、政策和产业优势，支持商业银行适度扩大消费信贷...。
发表在明基投影仪2021，10，2510，28明基投影仪是可以设置开机密码功能的，可以更好的保护你的隐私，但如果你忘记了明基投影仪的密码，要如何操作才能再次打开投影仪呢，下面我们来看看方法，1、如果密码功能被激活，您在每次打开投影机时都需要输入六位数密码，如果密码输入错误，提示如下，2、如果您忘了密码，可使用密码恢复程序，首先按住投影...。
发表在专业问答2023，8，210，01展示机型信息，品牌型号，坚果J10S、ThinkPadX1系统版本，JMGO4.0、Win11坚果投影仪连接电脑投屏可以通过有线连接、无线连接或同屏器连接实现，下面就为坚果投影仪如何电脑投屏的详细方法做具体说明，坚果投影仪如何电脑投屏方法一，有线连接1.有线连接设备使用HDMI线连接电脑和坚果投...。
发表在哈趣投影仪2024，11，511，07哈趣Q1是哈趣最新发布的投影仪，外观造型上与过去的哈趣产品有所不同，但是依然遵循为用户提供有趣、好玩、高品质的家用投影仪的理想，那么哈趣Q1投影仪的实际体验如何呢，下面就分享哈趣Q1的实测体验，看看这款投影仪究竟如何，01，哈趣Q1投影仪外观哈趣Q1投影仪作为一款主打年轻用户的投影产品，外包...。
